robots.txt

Как выглядит файл robots.txt?

robots.txt — текстовый файл, в котором построчно указано, «к какому роботу» (User-agent) относится правило, «куда не заходить» (Disallow) и «куда можно» (Allow). В сентябре 2022 года (09.2022) Инженерный совет интернета (IETF) опубликовал стандарт RFC 9309.

Файл должен называться строго robots.txt, лежать в корневой папке сайта и быть текстовым файлом в кодировке UTF-8. Правила действуют только для того домена, протокола и порта, где лежит файл, поэтому поддоменам вроде «shop.yourshop.kr» нужен отдельный файл.

Названия директив (User-agent, Disallow) нечувствительны к регистру, а пути — чувствительны. «/Admin» и «/admin» считаются разными путями.

• User-agent: * → правило для всех роботов.
• Disallow: /admin/ → не читайте ничего внутри /admin/.
• Allow: / → всё остальное читать можно.
• Sitemap: https://yourshop.kr/sitemap.xml → карта сайта находится здесь.

Чем robots.txt отличается от noindex?

robots.txt говорит «не приходите читать», а noindex — «читать можно, но не включайте в результаты поиска». Google прямо указывает, что robots.txt — не способ убрать страницу из Google Поиска.

Страница, закрытая в robots.txt, может появиться в результатах поиска одним адресом без описания, если на неё где-то есть ссылки. Чтобы точно убрать её из поиска, используйте noindex и не закрывайте эту страницу в robots.txt — иначе робот не прочитает noindex.

На практике удобно разделить так: служебные страницы, которые клиентам не нужны, — noindex; адреса поиска и фильтров, где робот может бесконечно блуждать, — robots.txt; разделы с персональными данными — закрыть логином.

Как создать и проверить robots.txt?

Большинство конструкторов сайтов и фреймворков создают robots.txt автоматически. Вам достаточно перед запуском один раз открыть его и проверить по порядку ниже.

В Naver Search Advisor есть функции для простого создания и скачивания robots.txt, а также для мгновенной отправки исправленного файла на сбор и проверки, не закрыта ли конкретная страница. Google новый файл отдельно отправлять не нужно — он прочитает его сам.

Если после правки robots.txt хотите быстрее сообщить об этом Google, в отчёте о файле robots.txt в Search Console можно запросить повторное сканирование. Иначе ещё какое-то время может использоваться сохранённая старая версия.

1. 01Откройте «yourshop.kr/robots.txt» в режиме инкогнито и проверьте, отображается ли файл как текст.
2. 02Проверьте, нет ли под «User-agent: *» одной строки «Disallow: /». Если есть — закрыт весь сайт.
3. 03Проверьте, что в Disallow указаны только пути, которые роботам читать не нужно, например админ-панель.
4. 04Проверьте, что в строке Sitemap в конце указан полный адрес карты сайта.
5. 05В меню настроек Google Search Console, в отчёте о файле robots.txt, проверьте, нет ли ошибок.
6. 06В меню проверки в инструментах для веб-мастеров Naver Search Advisor отправьте robots.txt на сбор и протестируйте, отображаются ли основные страницы как доступные для сбора.

Что будет, если robots.txt нет или он выдаёт ошибку?

Если файла нет, поисковые роботы считают, что читать можно все страницы. И Naver, и Google трактуют ответ «не найдено», например 404, для robots.txt как отсутствие ограничений.

Ошибка сервера (5xx), наоборот, опасна. Naver трактует её как «ничего не разрешено», а Google первые 12 часов приостанавливает сканирование сайта, а затем до 30 дней использует последние прочитанные правила. При нестабильном сервере поисковые роботы могут вообще не прочитать сайт.

Полезно знать и другие правила. Google обычно хранит robots.txt до 24 часов, поэтому изменения могут вступить в силу не сразу, а всё, что сверх 500 КиБ, игнорирует. Naver сообщает, что если robots.txt возвращается как HTML-документ, правила внутри могут игнорироваться, а файл — считаться отсутствующим.

Как управлять AI-краулерами через robots.txt?

Для AI-краулеров тоже можно прописать разрешение или запрет по имени (User-agent). Например, OpenAI разделяет GPTBot для обучения и OAI-SearchBot для поиска ChatGPT, а Google под именем Google-Extended позволяет отдельно решить, использовать ли сайт для обучения Gemini и как основу для ответов.

AI Overviews и AI Mode в Google Поиске следуют настройкам обычного поискового робота Googlebot. Google заявляет, что Google-Extended не влияет на включение в поиск и позиции. И наоборот, если закрыть Googlebot, сайт может выпасть и из обычного поиска, и из AI-функций.

Сайту заведения чаще всего выгодно, чтобы на вопросы клиентов к AI выдавалась точная информация. Разделяйте краулеры для обучения и для поиска и в первую очередь рассмотрите вариант оставить открытым хотя бы краулеры AI-поиска. Учтите, что robots.txt — лишь рекомендация, и нет гарантии, что её соблюдают все краулеры.

Какие ошибки чаще всего совершают в robots.txt?

Если прописать в robots.txt пути, которые хочется скрыть, вы, по сути, сообщите их любому, кто откроет файл. Международный стандарт тоже указывает, что правила robots.txt не являются механизмом разграничения доступа и не заменяют мер безопасности.

Частая ошибка — закрывать пути к файлам стилей (CSS) и скриптов (JS). Поисковому роботу нужно читать и их, чтобы правильно понимать страницу, поэтому Naver тоже просит задавать для таких ресурсов те же правила, что и для страниц, или разрешать их.

Перед запуском проверяйте robots.txt и noindex в паре. Для разработчика снять запрет, установленный на время разработки, — правка одной строки, но если о ней забыть, сайт может на несколько недель исчезнуть из поиска.

• Оставлять после запуска «Disallow: /», добавленный во время разработки
• Закрывать в robots.txt и страницу с noindex, из-за чего noindex не читается
• Закрывать пути к CSS · JS · фавикону
• Класть robots.txt не в корень сайта, а во вложенную папку
• Писать пути с регистром букв, не совпадающим с реальным адресом