robots.txt

robots.txt는 어떻게 생겼나요?

robots.txt는 ‘어떤 로봇에게(User-agent)’, ‘어디는 들어가지 말고(Disallow)’, ‘어디는 들어와도 된다(Allow)’를 한 줄씩 적은 글자 파일이에요. 2022년 9월 국제 인터넷 표준 기구(IETF)가 RFC 9309로 표준 문서를 냈어요.

파일 이름은 반드시 robots.txt, 위치는 사이트 맨 위 폴더, 형식은 UTF-8 글자 파일이어야 해요. 규칙은 그 파일이 있는 도메인 · 프로토콜 · 포트에만 적용돼서, ‘shop.가게주소.kr’ 같은 하위 도메인은 따로 파일이 필요해요.

줄 이름(User-agent, Disallow)은 대소문자를 가리지 않지만, 경로는 가려요. ‘/Admin’과 ‘/admin’은 다른 경로로 봐요.

• User-agent: * → 모든 로봇에게 적용해요.
• Disallow: /admin/ → /admin/ 아래는 읽지 말아 주세요.
• Allow: / → 나머지는 모두 읽어도 돼요.
• Sitemap: https://가게주소.kr/sitemap.xml → 사이트맵은 여기 있어요.

robots.txt와 noindex는 뭐가 다른가요?

robots.txt는 ‘읽으러 오지 마세요’이고, noindex는 ‘읽어도 되지만 검색 결과에는 넣지 마세요’예요. 구글은 robots.txt가 페이지를 구글 검색에서 빼는 수단이 아니라고 분명히 안내해요.

robots.txt로 막은 페이지도 다른 곳에 링크가 있으면 설명 없이 주소만 검색 결과에 나올 수 있어요. 검색에서 확실히 빼려면 noindex를 쓰고, 그 페이지는 robots.txt로 막지 않아야 로봇이 noindex를 읽을 수 있어요.

실제로는 이렇게 나눠 쓰면 돼요. 손님에게 보여 줄 필요 없는 안내 페이지는 noindex, 로봇이 끝없이 헤맬 수 있는 검색 · 필터 주소는 robots.txt, 개인 정보가 있는 곳은 로그인으로 막아요.

robots.txt는 어떻게 만들고 확인하나요?

대부분의 홈페이지 제작 도구와 프레임워크는 robots.txt를 자동으로 만들어 줘요. 사장님은 공개 전에 한 번 열어 보고, 아래 순서로 확인하면 돼요.

네이버 서치어드바이저에는 robots.txt를 간단히 만들어 내려받는 기능과, 고친 파일을 바로 수집 요청하고 특정 페이지가 막히는지 테스트하는 기능이 있어요. 구글은 새 파일을 따로 제출할 필요 없이 알아서 읽어 가요.

robots.txt를 고친 뒤 구글에 빨리 알리고 싶다면 서치 콘솔 robots.txt 보고서에서 다시 크롤링을 요청할 수 있어요. 그렇지 않으면 저장해 둔 예전 파일이 한동안 쓰일 수 있어요.

1. 01시크릿 창에서 ‘가게주소.kr/robots.txt’를 열어 파일이 글자로 보이는지 확인해요.
2. 02‘User-agent: *’ 아래 ‘Disallow: /’ 한 줄만 있는지 확인해요. 있다면 사이트 전체가 막힌 상태예요.
3. 03관리자 화면처럼 로봇이 읽을 필요 없는 경로만 Disallow로 적혀 있는지 봐요.
4. 04맨 아래 Sitemap 줄에 사이트맵 전체 주소가 있는지 확인해요.
5. 05구글 서치 콘솔 설정 메뉴의 robots.txt 보고서에서 오류가 없는지 확인해요.
6. 06네이버 서치어드바이저 웹마스터 도구의 검증 메뉴에서 robots.txt를 수집 요청하고, 주요 페이지가 수집 가능으로 나오는지 테스트해요.

robots.txt가 없거나 오류가 나면 어떻게 되나요?

파일이 없으면 검색 로봇은 모든 페이지를 읽어도 된다고 봐요. 네이버와 구글 모두 robots.txt가 404처럼 ‘없음’ 응답을 주면 제한이 없는 것으로 해석해요.

서버 오류(5xx)는 반대로 위험해요. 네이버는 이를 ‘모두 허용하지 않음’으로 해석하고, 구글은 처음 12시간 동안 사이트 크롤링을 멈추고 이후 최대 30일간 마지막으로 읽은 규칙을 써요. 서버가 불안정하면 검색 로봇이 홈페이지를 아예 못 읽을 수 있어요.

그 밖에도 알아 두면 좋은 기준이 있어요. 구글은 robots.txt를 보통 최대 24시간 동안 저장해 두고 쓰기 때문에 고친 내용이 바로 반영되지 않을 수 있고, 500KiB를 넘는 부분은 무시해요. 네이버는 robots.txt가 HTML 문서로 돌아오면 안의 규칙을 무시하고 ‘없음’으로 볼 수 있다고 안내해요.

AI 크롤러는 robots.txt로 어떻게 다루나요?

AI 크롤러도 이름(User-agent)별로 허용 · 차단을 적을 수 있어요. 예를 들어 OpenAI는 학습용 GPTBot과 챗GPT 검색용 OAI-SearchBot을 나눠 쓰고, 구글은 Google-Extended라는 이름으로 제미나이 학습과 답변 근거 활용 여부를 따로 정할 수 있게 해요.

구글 검색의 AI 개요와 AI 모드는 일반 검색 로봇인 Googlebot 설정을 따라요. 구글은 Google-Extended가 검색 포함 여부나 순위에 영향을 주지 않는다고 밝히고 있어요. 반대로 Googlebot을 막으면 일반 검색과 AI 기능 모두에서 빠질 수 있어요.

가게 홈페이지라면 손님이 AI에게 물었을 때 정확한 정보가 나오는 게 이득인 경우가 많아요. 학습용과 검색용을 나눠 생각하고, 적어도 AI 검색용 크롤러는 열어 두는 쪽을 먼저 검토해 보세요. 다만 robots.txt는 권고라서 모든 크롤러가 지킨다는 보장은 없어요.

robots.txt에서 자주 하는 실수는 무엇인가요?

숨기고 싶은 경로를 robots.txt에 적어 두면, 그 파일을 열어 본 누구에게나 경로를 알려 주는 셈이 돼요. 국제 표준 문서도 robots.txt 규칙은 접근 권한 장치가 아니며 보안 대책을 대신할 수 없다고 적고 있어요.

디자인 파일(CSS)이나 스크립트(JS) 경로를 막는 것도 흔한 실수예요. 검색 로봇은 이 파일들까지 읽어야 화면을 제대로 이해할 수 있어서, 네이버도 이런 리소스는 페이지와 같은 규칙으로 두거나 허용해 달라고 안내해요.

공개 직전에는 robots.txt와 noindex를 한 쌍으로 확인하세요. 제작 중 차단을 푸는 일은 개발자에게는 한 줄 수정이지만, 놓치면 몇 주 동안 검색에서 사라질 수 있어요.

• 제작 중에 넣은 ‘Disallow: /’를 공개 후에도 남겨 두기
• noindex를 단 페이지를 robots.txt로도 막아서 noindex가 안 읽히게 하기
• CSS · JS · 파비콘 경로를 막기
• robots.txt를 사이트 맨 위가 아닌 하위 폴더에 두기
• 경로의 대소문자를 실제 주소와 다르게 적기