AI爬蟲

AI爬蟲有哪些種類？

AI爬蟲依用途大致分成三種：蒐集AI模型訓練資料的爬蟲、預先蒐集AI搜尋回答會用到的頁面的搜尋用爬蟲，以及在客人提問的當下來讀取頁面的使用者請求型造訪。

即使是同一家公司，不同名稱的爬蟲角色也不同，所以說「封鎖AI爬蟲」時，要準確選擇封鎖哪一種。就算封鎖訓練用爬蟲，只要搜尋用爬蟲還開放，仍可能繼續出現在AI搜尋回答中。

OpenAI和Perplexity表示，使用者請求型造訪是客人直接要求的動作，所以robots.txt可能不適用。相反地，Anthropic說明Claude-User也可以用robots.txt控制。各公司政策不同，也可能變動，最好偶爾確認官方文件。

封鎖Google-Extended，會從Google搜尋中消失嗎？

不會，Google表示Google-Extended不會影響Google搜尋的曝光或排名。Google-Extended不是另外造訪的機器人，而是寫在robots.txt中的標記，用來決定Google蒐集的內容能否用於Gemini模型訓練和grounding（產生答案時以搜尋內容作為依據）。

Google搜尋的AI摘要和AI模式，遵循和一般搜尋相同的條件。頁面必須能被一般搜尋索引、並能附帶摘要片段顯示，所以如果封鎖搜尋爬蟲Googlebot，可能會同時從一般搜尋和AI功能中消失，要特別小心。

總結來說，可以開放Googlebot，如果不希望內容被用於Gemini訓練，就只封鎖Google-Extended。Google表示，這樣做Google搜尋曝光仍會維持不變。

robots.txt要怎麼設定AI爬蟲？

robots.txt是放在網站最上層路徑（店家網址.kr/robots.txt）的出入說明檔。把爬蟲名稱（User-agent）和要允許・封鎖的路徑（Allow・Disallow）成對寫下。

robots.txt是請對方遵守的約定，不是門鎖。官方爬蟲雖然表明會遵守，但冒用名稱的程式或部分使用者請求型造訪可能不會遵守。真正不能公開的資訊，應該放在登入之後。

1. 01用瀏覽器打開店家網址.kr/robots.txt，確認目前寫了什麼。
2. 02看看「User-agent: *」下方有沒有留著像「Disallow: /」這樣封鎖全站的行。有時上線前的測試設定會原封不動留下來。
3. 03分別決定訓練用（GPTBot・ClaudeBot・Google-Extended）和搜尋用（OAI-SearchBot・Claude-SearchBot・PerplexityBot）爬蟲要開放還是封鎖。
4. 04只寫上要封鎖的爬蟲名稱並加上「Disallow: /」，其他的不另外寫，或用「Allow: /」開放。
5. 05只挑管理後台・付款完成畫面這類搜尋用不到的路徑來封鎖。
6. 06如果有子網域（例如shop.店家網址.kr），那個網址也要另外放一份robots.txt。
7. 07修改後，用Search Console的robots.txt報告和Search Advisor的robots.txt驗證再確認一次。

可以只封鎖訓練用、開放搜尋用爬蟲嗎？

可以，能這樣分開設定。OpenAI說明，封鎖GPTBot代表不希望網站內容被用於基礎模型訓練；封鎖OAI-SearchBot的網站則不會顯示在ChatGPT搜尋回答中。

Anthropic也說明，封鎖ClaudeBot後，之後的內容會從訓練資料中排除；封鎖Claude-SearchBot則會從搜尋回答用的索引中排除。店家網站的目的是讓客人知道您，所以搜尋用爬蟲建議開放，訓練用爬蟲則由老闆自行判斷即可。

像親自撰寫的專欄・食譜・教材這類內容本身就是商品的店家，選擇封鎖訓練用爬蟲也很合理。反過來，如果大部分是營業時間・地點・價格這類需要廣為人知的資訊，封鎖的好處就不大。

什麼情況下會不小心擋住AI爬蟲？

有時即使沒動過robots.txt，也會被擋住。主機或CDN（把網站副本分散存放在世界各地的服務）的安全功能中，有一次封鎖所有AI爬蟲的設定，一旦開啟，不管robots.txt怎麼寫，爬蟲都進不來。

向製作公司問兩件事，大多就能確認：「robots.txt開放和封鎖了哪些爬蟲？」「主機・安全設定有沒有開啟AI機器人封鎖？」如果造訪太頻繁造成負擔，也有像ClaudeBot這樣表明支援造訪間隔（Crawl-delay）設定的爬蟲。

• 上線前開啟的「阻擋搜尋」設定，上線後沒有關掉
• 安全服務的「AI機器人封鎖」功能預設為開啟
• 因為造訪太多就把IP位址整批封鎖：Anthropic表示IP封鎖可能無法正常運作，建議使用robots.txt
• 網站必須執行JavaScript才看得到內容，導致部分爬蟲只讀到空白畫面