AI-краулер

Какие бывают AI-краулеры?

По задачам AI-краулеры делятся на три основных вида: краулеры, собирающие материалы для обучения AI-моделей; поисковые краулеры, заранее собирающие страницы для ответов AI-поиска; визиты по запросу пользователя — когда страницу читают в момент вопроса клиента.

Даже внутри одной компании у разных имён разные задачи, поэтому, говоря «закрыть AI-краулеры», нужно точно выбрать, что именно закрывать. Если закрыть обучение, но оставить открытым поиск, сайт может и дальше появляться в ответах AI-поиска.

OpenAI и Perplexity сообщают, что визиты по запросу пользователя выполняются по поручению самого клиента, поэтому robots.txt на них может не распространяться. А Anthropic указывает, что Claude-User тоже можно регулировать через robots.txt. Правила у компаний разные и могут меняться, поэтому время от времени сверяйтесь с официальной документацией.

Если закрыть Google-Extended, сайт пропадёт из Google Поиска?

Нет, Google заявляет, что Google-Extended не влияет на показ и позиции в Google Поиске. Google-Extended — не отдельный робот, а пометка в robots.txt, разрешающая или запрещающая использовать собранное Google для обучения моделей Gemini и граундинга (подкрепления ответа найденными материалами).

AI Overviews и AI Mode в Google Поиске подчиняются тем же условиям, что и обычный поиск. Страница должна быть проиндексирована и иметь возможность показываться со сниппетом, поэтому особенно осторожно с поисковым краулером Googlebot: если его закрыть, сайт может выпасть и из обычного поиска, и из AI-функций.

Итак, можно разделить так: Googlebot оставить открытым, а если не хотите, чтобы сайт использовался для обучения Gemini, закрыть только Google-Extended. Google заявляет, что видимость в поиске при этом не изменится.

Как настроить AI-краулеры в robots.txt?

robots.txt — файл с правилами доступа, который лежит в корне сайта (yourshop.kr/robots.txt). В нём парами указывают имя краулера (User-agent) и пути, которые разрешены или запрещены (Allow · Disallow).

robots.txt — это просьба соблюдать правила, а не замок. Официальные краулеры заявляют, что следуют им, но программы, выдающие себя за них, и некоторые визиты по запросу пользователей могут их не соблюдать. Информацию, которую действительно нельзя раскрывать, правильно держать за логином.

1. 01Откройте yourshop.kr/robots.txt в браузере и посмотрите, что в нём сейчас написано.
2. 02Проверьте, не осталась ли под «User-agent: *» строка, закрывающая всё, вроде «Disallow: /». Бывает, что тестовые настройки до запуска так и остаются.
3. 03Решите отдельно для краулеров обучения (GPTBot · ClaudeBot · Google-Extended) и поиска (OAI-SearchBot · Claude-SearchBot · PerplexityBot), открывать их или закрывать.
4. 04Укажите имена только тех краулеров, которых закрываете, с «Disallow: /», а остальных не упоминайте или откройте через «Allow: /».
5. 05Закрывайте только пути, ненужные для поиска, — админ-панель, экран завершения оплаты.
6. 06Если есть поддомен (например, shop.yourshop.kr), положите отдельный robots.txt и туда.
7. 07После правок перепроверьте в отчёте о файле robots.txt в Search Console и в проверке robots.txt в Search Advisor.

Можно ли закрыть краулеры для обучения и оставить открытыми только поисковые?

Да, так можно разделить. OpenAI сообщает, что закрытие GPTBot означает запрет использовать контент сайта для обучения базовых моделей, а сайты, закрывшие OAI-SearchBot, не показываются в ответах поиска ChatGPT.

Anthropic тоже поясняет, что при закрытии ClaudeBot последующий контент исключается из материалов для обучения, а при закрытии Claude-SearchBot сайт выпадает из индекса для поисковых ответов. Сайт заведения нужен, чтобы рассказывать о себе клиентам, поэтому поисковые краулеры оставьте открытыми, а краулеры для обучения — на ваше усмотрение.

Тем, у кого сам контент — продукт (авторские колонки · рецепты · учебные материалы), вполне разумно закрыть краулеры для обучения. А если большая часть информации — часы работы, адрес, цены, которые должны быть широко известны, выгода от закрытия невелика.

Когда AI-краулеры закрывают по ошибке?

Бывает, что доступ закрыт, хотя robots.txt никто не трогал. В функциях безопасности хостинга или CDN (сервиса, размещающего копии сайта по всему миру) есть настройки массовой блокировки AI-краулеров, и если они включены, краулеры не попадут на сайт независимо от robots.txt.

Обычно всё проясняют два вопроса веб-студии: «Какие краулеры открыты и закрыты в robots.txt?» и «Включена ли блокировка AI-ботов в настройках хостинга · безопасности?» Если визиты слишком частые и создают нагрузку, некоторые краулеры, например ClaudeBot, заявляют о поддержке настройки интервала обхода (Crawl-delay).

• Включённый до запуска «запрет индексации» не отключили после запуска
• Функция «блокировка AI-ботов» в сервисе безопасности включена по умолчанию
• Из-за частых визитов целиком заблокированы IP-адреса: Anthropic предупреждает, что блокировка по IP может работать некорректно, и рекомендует robots.txt
• Содержимое видно только после выполнения JavaScript, и некоторые краулеры читают пустую страницу