Стандарт исключения для поисковых систем

Все поисковые системы при индексации того или иного сайта берут информацию о разрешениях и запретах на включение в базу данных каких-либо директорий и отдельных html-документов из файла robots.txt, размещаемого Web-мастером в каталоге, отведенном на сервере для публикации вашего ресурса. Рекомендуется исключить из списка разрешенных для индексации объектов

директории, в которых размещаются интерактивные скрипты и лог-файлы, а также документы, помещение которых в базу данных поисковой системы вы не считаете нужным: чем меньше страниц серверу предстоит проиндексировать, тем быстрее пройдет процесс регистрации.

Общий формат записи директив в файле robots.txt выглядит следующим образом:

ПАРАМЕТР: ЗНАЧЕНИЕ

Символ пробела между полями «параметр» и «значение» является опциональным, то есть его можно опустить без каких-либо последствий. Формат записи в поле «параметр» регистронезависим, то есть серверу все равно, в заглавном или строчном регистре записана директива. Если строка в файле robots.txt начинается с символа «#», поисковый сервер игнорирует ее, воспринимая как комментарий.

В стандарте robots.txt (в отличие от стандартов HTML и CSS) пустые строки, не содержащие ни одного символа, считаются значащими: они отделяют друг от друга разделы описания допусков и запретов, предназначенных для различных поисковых машин.

Первой директивой файла robots.txt является параметр User-Agent. С него же должен начинаться каждый раздел данного файла, отделенный от других разделов пустой строкой. Значением этого параметра служит имя поискового робота, для которого вы устанавливаете права доступа. Если в одном блоке описаний вы хотите задать параметры для нескольких роботов, их имена надо перечислить через пробел. Если значением параметра User-Agent служит символ «*», то следующие далее директивы устанавливаются для всех поисковых систем, независимо от названия и территориальной принадлежности. Второй командой этого своеобразного макроязыка является директива DisalloW. Вместо ее значения следует подставить частичный URL документа или директории, не подлежащей индексации, причем записывать этот адрес следует согласно синтаксису обозначения структуры директорий на данном сервере. Например, запись DisalloW: /photos запрещает индексировать хранящийся в корневой директории сайта файл photos.html и расположенную там же директорию photos, а команда DisalloW: /photos/ — только саму директорию вместе совсем ее содержимым. Если значения команды DisalloW не указаны, поисковый сервер индексирует весь сайт целиком. С другой стороны, строка DisalloW: /,наоборот, запрещает индексировать данный ресурс — иными словами, вносить информацию о нем в базу данных поисковой системы.

Простые примеры листинга файла robots.txt приведены ниже. Пример 1.

#file-type: robots.txt for site http://WWW.mysite.ru 

User-Agent: Yandex

DisalloW: /cgi-bin/

DisalloW: /private/myfolder/index

DisalloW: /images/

DisalloW: not_found.html

DisalloW: forbidden.html

User-Agent: AltaVista HotBot Cybermapper

DisalloW: /cgi-bin/

DisalloW: /private/

DisalloW: /hobbies/index.html

DisalloW: not_found.html

#End of file

Пример 2.

#file-type: robots.txt for site http://WWW.mysite.ru

User-Agent: *

DisalloW: /cgi-bin/

DisalloW: /private/

DisalloW: not_found.html

DisalloW: forbidden.html

#End of file

Учтите, что файл robots.txt не должен содержать пустых строк, если первой директивой после разрыва строки не является команда User-Agent, а также то, что стандарт исключения для роботов не предусматривает использования масок, содержащих символы «*» и «?». Например, запись DisalloW: /folder/*.html запрещает индексацию файлов не с расширением .html, а с именем *, которых просто не существует на сервере. Одна команда DisalloW должна содержать только одну ссылку на документ или файл, а для размещения нескольких ссылок надо использовать то же количество команд DisalloW. В качестве значения данной команды необходимо указывать относительные пути к файлам и директориям, но ни в коем случае не абсолютные. Иными словами, ссылку на серверную папку следует записывать в виде «/folder», но никак не в виде «http://WWW.mysite.ru/folder«.

Список поисковых систем

Относительно полный список российских и зарубежных поисковых систем, а также тематических каталогов, регистрация в которых может быть вам полезна, приведен в табл.3 .

Таблица 3. Поисковые машины и тематические каталоги