搜索 · AI曝光AI Crawler · GPTBot · OAI-SearchBot · ClaudeBot · PerplexityBot
AI爬虫
AI爬虫是ChatGPT等AI服务派来读取网站内容的自动访问程序。
它就像AI公司派来的采访记者。如果把门锁上，记者就没法写关于您店铺的报道。
再详细一点
网站里有个叫robots.txt的文件，用来决定让哪些爬虫进来。如果不小心被挡住了，就很难出现在AI回答中。
常见的有OpenAI的GPTBot和OAI-SearchBot、Anthropic的ClaudeBot、Perplexity的PerplexityBot。有些公司会把用于AI训练的爬虫和用于搜索回答的爬虫分开。
也可以选择挡住训练用的、放行搜索回答用的。店铺网站的目的是让顾客知道您，所以大多数情况下全部放行更有利。
AI爬虫有哪些种类？
AI爬虫按用途大致分为三类：收集AI模型训练资料的爬虫、预先收集AI搜索答案所需页面的搜索用爬虫，以及在顾客提问的那一刻来读取页面的用户请求式访问。
即使是同一家公司，不同名称的爬虫作用也不同，所以说“屏蔽AI爬虫”时，必须准确选择要屏蔽哪一个。即使屏蔽了训练用爬虫，只要搜索用爬虫还开放着，店铺就可能继续出现在AI搜索答案中。
OpenAI和Perplexity表示，用户请求式访问是用户亲自发起的，因此robots.txt可能不适用。而Anthropic则说明Claude-User也可以通过robots.txt控制。各公司的政策不同且可能变化，最好时不时查看一下官方文档。
表格可以左右滑动查看
| 公司 | 名称 | 用途 | 能否用robots.txt控制 |
|---|---|---|---|
| OpenAI | GPTBot | 收集生成式AI基础模型的训练资料 | 可以 |
| OpenAI | OAI-SearchBot | 为在ChatGPT搜索中展示网站而收集 | 可以 |
| OpenAI | ChatGPT-User | 用户向ChatGPT提问时访问页面 | 可能不适用 |
| Anthropic | ClaudeBot | 收集可能用于模型训练的资料 | 可以 |
| Anthropic | Claude-SearchBot | 为提升搜索答案质量而收集 | 可以 |
| Anthropic | Claude-User | 用户向Claude提问时访问页面 | 可以 |
| Perplexity | PerplexityBot | 为在Perplexity搜索结果中展示网站而收集 | 可以 |
| Perplexity | Perplexity-User | 用户提问时抓取页面 | 通常不遵守 |
| Google-Extended | 决定内容能否用于Gemini训练 · 接地（Grounding）的标识（并非单独访问的机器人） | 仅作为robots.txt中的标识使用 |
屏蔽Google-Extended会从Google搜索中消失吗？
不会，Google表示Google-Extended不会影响Google搜索中的曝光或排名。Google-Extended不是单独来访问的机器人，而是写在robots.txt中的一个标识，用来表明Google收集的内容能否用于Gemini模型训练和接地（生成答案时以搜索内容作为依据）。
Google搜索的AI概览和AI模式遵循与普通搜索相同的条件。页面必须被普通搜索收录并能带着摘要显示，所以如果屏蔽了搜索爬虫Googlebot，就可能同时从普通搜索和AI功能中消失，这一点要特别小心。
总结一下，可以这样区分：Googlebot保持开放，如果不希望内容被用于Gemini训练，就只屏蔽Google-Extended。Google表示，这样做Google搜索中的曝光不会受影响。
robots.txt里怎么设置AI爬虫？
robots.txt是放在网站最顶层路径（店铺地址.kr/robots.txt）的出入说明文件。写法是把爬虫名称（User-agent）和允许 · 禁止访问的路径（Allow · Disallow）成对写上。
robots.txt是一种“请遵守”的约定，而不是一把锁。官方爬虫表示会遵守，但冒用名称的程序或部分用户请求式访问可能不会遵守。真正不能公开的信息，应该放在需要登录才能看到的地方。
- 01用浏览器打开店铺地址.kr/robots.txt，看看现在写了什么。
- 02检查“User-agent: *”下面是否还留着“Disallow: /”这种屏蔽全站的行。有时上线前的测试设置会原封不动地留下来。
- 03分别决定训练用（GPTBot · ClaudeBot · Google-Extended）和搜索用（OAI-SearchBot · Claude-SearchBot · PerplexityBot）爬虫是开放还是屏蔽。
- 04只写上要屏蔽的爬虫名称并加上“Disallow: /”，其余的不另外写，或用“Allow: /”开放。
- 05只挑出管理页面 · 支付完成页面这类搜索不需要的路径进行屏蔽。
- 06如果有子域名（例如：shop.店铺地址.kr），也要在那个地址下单独放一个robots.txt。
- 07修改后，用Search Console的robots.txt报告和Naver Search Advisor的robots.txt验证再确认一遍。
可以只屏蔽训练用爬虫、只开放搜索用爬虫吗？
可以，能这样分开设置。OpenAI说明，屏蔽GPTBot即视为不允许将该网站内容用于基础模型训练；屏蔽了OAI-SearchBot的网站，则不会出现在ChatGPT的搜索答案中。
Anthropic也说明，屏蔽ClaudeBot后，此后的内容将不再纳入训练资料；屏蔽Claude-SearchBot，则会从用于搜索答案的索引中移除。店铺网站的目的是让顾客知道您，所以搜索用爬虫保持开放，训练用爬虫由您自行决定即可。
像亲自写的专栏 · 食谱 · 教学资料这类内容本身就是商品的网站，选择屏蔽训练用爬虫也完全合理。反过来，如果大部分是营业时间 · 位置 · 价格这类需要广而告之的信息，屏蔽也得不到多少好处。
什么情况下会不小心屏蔽AI爬虫？
即使没动过robots.txt，也可能被屏蔽。托管或CDN（把网站副本分布存放在全球各地的服务）的安全功能中，有一键屏蔽AI爬虫的设置，一旦开启，不管robots.txt怎么写，爬虫都进不来。
问制作公司两个问题，大多就能确认：“robots.txt里开放和屏蔽了哪些爬虫？”“托管 · 安全设置里是否开启了AI机器人屏蔽？”如果访问太频繁造成负担，也有像ClaudeBot这样表示支持访问间隔（Crawl-delay）设置的爬虫。
- 上线前开启的“禁止搜索”设置，上线后没有关闭
- 安全服务的“AI机器人屏蔽”功能默认开启
- 因访问量大而整段屏蔽IP地址：Anthropic表示IP屏蔽可能无法正常生效，建议使用robots.txt
- 网站做成必须执行JavaScript才能显示内容，导致部分爬虫只能读到空白页面
举个例子
- 有时网站的安全设置或防火墙会把AI爬虫当成“可疑访问”直接拦掉，所以上线后要检查一次。
只需确认这些
- robots.txt里有没有挡住主要的AI爬虫
- 安全设置 · 防火墙有没有拦截爬虫
- 重要信息是否用文字写出来（图片里的文字很难被读取）
我的店需要吗？
如果希望您的店铺出现在AI回答中，最好对AI爬虫放行。
在ISSYMO
所有产品我们都会设置成让主要AI爬虫可以读取。
常见问题
参考资料
最后更新于