Файл robots.txt существует в каждом web-проекте. Он позволяет нам запретить индексацию отдельно взятых файлов и директорий вашего ресурса. Когда робот-поисковик обнаруживает ваш сайт, то первым делом знакомится с содержимым файла robots.txt и дальше действует согласно ему. Если неправильно составить этот файл, то можно получить очень нежелательный результат. Именно поэтому очень важно владеть информацией о том, как правильно создавать robots.txt.

Файл должен иметь именно такое имя — robots.txt, и никакое другое. Все название файла должно быть написано в нижнем регистре. Располагаться этот файл должен исключительно в корневом каталоге сайта, другое размещение неприемлемо. Не маловажную роль играет и само содержимое файла. Из-за неверно составленного файла некоторые директории или страницы «выпадут» из индексации. Особое внимание обратите на содержание robots txt. Запрет индексации определенных директорий нужно делать в разных строках. Совместив их в одну, вы допускаете грубую ошибку. Также не забываете о том, что переносы в robots.txt недопустимы, на одну инструкцию выделяется одна строчка.

Перед тем как загрузить файл robots.txt на сервер, лучше проверьте его 3-4 раза, чтобы быть уверенным, что вы создали оптимальный robots txt.