검색 로봇에게 「여기는 들어와도 되고, 여기는 들어오면 안 됩니다」라고 알려 주는 안내판입니다.
기본 개념
검색 사이트는 로봇을 보내 인터넷의 글을 읽어 갑니다. robots.txt는 그 로봇이 가장 먼저 읽는 출입 안내판입니다. 「글은 수집 허용, 관리화면은 수집 불가」와 같은 내용이 적혀 있습니다.
robots.txt (출입 안내판)
✓ 수집 허용 — 글 · 분류 · 첫 화면
✕ 수집 불가 — 관리화면 · 로그인 · 검색결과
목차(사이트맵)는 이 주소에 있습니다 → /sitemap.xml
oblog 에서는
- 블로그마다 안내판을 따로 생성합니다.
- 글과 분류 화면은 수집을 허용합니다. 검색에 노출되어야 하기 때문입니다.
- 관리화면·로그인·검색결과 화면은 수집을 차단합니다. 검색에 노출될 필요가 없는 곳입니다.
- 안내판에 사이트맵 위치도 함께 기재합니다.
직접 확인하는 법
주소창에 내블로그주소/robots.txt를 넣어 보세요. Allow는 「수집 허용」, Disallow는 「수집 불가」라는 뜻입니다.
자주 묻는 질문
Q. AI 로봇도 막나요?
A. 막지 않습니다. AI가 내 글을 읽어야 답에 쓸 수 있기 때문입니다.
Q. 내가 고칠 수 있나요?
A. 보통은 고칠 필요가 없습니다. 특별히 막고 싶은 곳이 있으면 문의해 주세요.
진행 중 어려움이 있으면 담당자가 직접 지원해 드립니다. 복잡한 설정은 대행도 가능합니다.