블로그 글이 검색 결과와 AI 답변에 쓰이기를 원한다면 robots.txt에서 검색엔진 크롤러와 AI 서비스의 검색·답변용 크롤러를 막지 않아야 합니다. 글이 AI 모델 학습에 쓰이는 것만 원하지 않는다면, 학습용 크롤러 이름만 골라 막는 방법이 있습니다. 모든 AI 크롤러를 한꺼번에 막으면 학습뿐 아니라 답변 속 인용 기회까지 함께 닫힐 수 있습니다.
robots.txt는 AI 답변 노출의 첫 관문입니다
robots.txt는 사이트 맨 위 주소에 두는 짧은 텍스트 파일입니다. 크롤러가 사이트에 들어오면 이 파일을 먼저 읽고, 어떤 주소를 가져가도 되는지 판단합니다. 글을 아무리 잘 써도 크롤러가 본문을 가져가지 못하면 검색 색인에도, AI 답변의 근거 후보에도 오르기 어렵습니다.
문제는 이 파일이 한 번 정해진 뒤 잘 들여다보지 않는 곳이라는 점입니다. 사이트를 처음 만들 때 넣은 차단 규칙이나, AI 학습을 우려해 급히 추가한 규칙이 그대로 남아 있는 경우가 많습니다. 그래서 GEO(Generative Engine Optimization, 생성형 AI 답변 최적화)를 시작할 때는 글을 고치기 전에 robots.txt부터 확인하는 편이 순서에 맞습니다.
AI 크롤러는 목적에 따라 나뉩니다
AI 서비스를 운영하는 회사들은 수집 목적에 따라 크롤러 이름(User-agent)을 나누어 공개하고 있습니다. 크게 보면 모델을 학습시키는 데 쓰는 수집과, 사용자가 질문했을 때 답변에 넣을 웹 문서를 찾는 수집으로 나뉩니다.
학습 목적의 이름
- OpenAI는 GPTBot을 모델 학습용 크롤러로 안내합니다.
- Google은 Google-Extended라는 별도 이름으로 Gemini 등 AI 모델의 학습·활용 여부를 정하게 합니다. Google 검색 센터 문서는 이 설정이 Google 검색 노출과 순위에 영향을 주지 않는다고 설명합니다.
검색·답변 목적의 이름
- OpenAI는 OAI-SearchBot을 ChatGPT 검색 결과에 문서를 보여 주기 위한 크롤러로 안내합니다.
- Google 검색의 AI 기능은 일반 검색과 같은 Googlebot 수집과 색인을 바탕으로 합니다.
- 네이버 검색은 Yeti라는 이름의 크롤러로 문서를 수집합니다.
크롤러 이름과 역할은 각 회사가 바꿀 수 있습니다. 규칙을 고치기 전에 Google 검색 센터, 네이버 서치어드바이저, 각 AI 회사의 크롤러 안내 문서에서 현재 이름을 다시 확인하는 것이 안전합니다.
막을 때 생기는 일과 열 때 생기는 일
robots.txt에 어떤 이름을 적느냐에 따라 결과가 달라집니다. 판단 기준은 «학습에 쓰이는 것»과 «답변에 인용되는 것»을 따로 생각하는 것입니다.
- 모든 크롤러 차단: User-agent: * 아래에 Disallow: / 를 두면 검색엔진까지 막힙니다. 검색 색인과 AI 답변 노출 모두 기대하기 어렵습니다.
- AI 이름만 일괄 차단: 알려진 AI 크롤러 이름을 모두 막으면 학습은 피할 수 있지만, 검색·답변용 크롤러도 함께 막혀 AI 답변 속 인용 기회가 줄어듭니다.
- 학습용만 골라 차단: User-agent: GPTBot, User-agent: Google-Extended처럼 학습 목적 이름에만 Disallow를 두고 검색·답변용 이름은 그대로 둡니다. 학습 사용을 줄이면서 검색과 답변 노출의 길은 남겨 둘 수 있습니다.
어느 쪽이 맞는지는 사업 판단입니다. 다만 블로그로 검색과 AI 답변 노출을 늘리는 것이 목표라면, 검색·답변용 크롤러를 막는 규칙은 목표와 반대 방향으로 작동한다는 점을 알고 선택해야 합니다.
robots.txt와 noindex는 역할이 다릅니다
robots.txt는 «가져가지 말라»는 수집 규칙이고, noindex는 «검색 결과에 싣지 말라»는 색인 규칙입니다. 둘을 혼동하면 의도와 다른 결과가 나옵니다.
Google 검색 센터 문서는 robots.txt가 페이지를 검색 결과에서 빼는 수단이 아니라고 설명합니다. 다른 곳에서 링크된 주소는 robots.txt로 막혀 있어도 본문 없이 주소만 색인될 수 있습니다. 반대로 noindex를 넣은 페이지를 robots.txt로 막으면, 크롤러가 페이지를 읽지 못해 noindex 지시도 보지 못합니다.
- 검색 결과에서 빼고 싶은 페이지에는 noindex를 넣고, 크롤러가 그 페이지를 읽을 수 있게 둡니다.
- 수집 자체를 원하지 않는 영역(관리 화면, 임시 페이지 등)은 robots.txt로 막습니다.
- 노출하고 싶은 글 주소는 두 규칙 어디에도 걸리지 않았는지 확인합니다.
내 블로그 robots.txt를 점검하는 순서
점검은 브라우저 하나로 할 수 있습니다. 순서대로 확인하면 차단 때문에 글이 빠지는 일을 미리 막을 수 있습니다.
- 내 도메인 뒤에 /robots.txt를 붙여 파일을 열고, User-agent: * 아래에 Disallow: / 가 있는지 확인합니다.
- AI 관련 크롤러 이름이 적혀 있다면 각각 학습용인지 검색·답변용인지 공식 문서와 대조합니다.
- Sitemap 줄이 있는지, 적힌 sitemap 주소가 실제로 열리는지 확인합니다.
- 노출하고 싶은 글 주소 하나를 골라 Disallow 경로에 걸리지 않는지 확인합니다.
- Google 서치 콘솔과 네이버 서치어드바이저의 robots.txt 확인 기능으로 크롤러가 읽는 내용과 일치하는지 봅니다.
oblog는 글을 발행하면 robots.txt와 sitemap.xml을 자동으로 적용합니다. 그래도 내 도메인을 연결했거나 크롤러 정책을 정했다면, 발행 뒤 위 순서로 실제 파일 내용을 한 번 확인하는 것이 좋습니다. 규칙을 바꾼 뒤에는 크롤러가 파일을 다시 읽을 때까지 시간이 걸리므로, 변경 날짜를 기록하고 이후 노출 변화를 비교합니다.
자주 묻는 질문
AI 학습을 막으면 Google 검색 순위가 떨어집니까?
Google 검색 센터 문서는 Google-Extended 설정이 Google 검색 노출과 순위에 영향을 주지 않는다고 설명합니다. 다만 Googlebot 자체를 막으면 검색 색인에서 빠질 수 있으므로 두 이름을 구분해 적어야 합니다.
robots.txt로 막으면 검색 결과에서 바로 사라집니까?
그렇지 않습니다. robots.txt는 수집 규칙이라, 다른 곳에서 링크된 주소는 본문 없이 주소만 색인될 수 있습니다. 검색 결과에서 빼려면 noindex를 넣고 크롤러가 그 페이지를 읽을 수 있게 두어야 합니다.
robots.txt를 고치면 언제 반영됩니까?
크롤러가 파일을 다시 읽어야 반영되므로 즉시 바뀌지는 않습니다. 변경 날짜를 기록하고, 서치 콘솔과 서치어드바이저에서 크롤러가 읽은 내용을 확인하면 반영 여부를 판단할 수 있습니다.
AI 크롤러 이름은 어디서 확인합니까?
각 AI 회사가 공개하는 크롤러 안내 문서와 Google 검색 센터, 네이버 서치어드바이저 문서에서 확인합니다. 이름과 역할은 바뀔 수 있으므로 규칙을 고치기 전에 현재 문서를 다시 보는 것이 안전합니다.
