User-agent: *   # Первая строка. 
Disallow: /cgi-bin/  #Не индексировать то, что в каталоге cgi-bin
Disallow: /scripts/   #Не индексировать то, что в каталоге scripts