테크니컬 SEO실무

robots.txtRobots Exclusion Protocol

DEFINITION

robots.txt는 사이트 루트에 두는 텍스트 파일로, 크롤러에게 사이트의 어느 경로를 크롤링해도 되는지 알려 주는 규칙을 담습니다.

위치: https://도메인/robots.txt
제어하는 것: 크롤링 (색인 아님)
공식 문서: Google · Bing

01검색봇에게 어디까지 들어오게 할 것인가

User-agent로 대상 크롤러를 고르고, Disallow로 들어오지 말아야 할 경로를, Allow로 그 안의 예외를 적습니다. 사이트맵 위치도 함께 알릴 수 있습니다.

# 모든 크롤러에 적용
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# 사이트맵 위치 안내
Sitemap: https://www.example.com/sitemap_index.xml

가장 기본적인 robots.txt

02크롤링 차단과 색인 제거는 같은 일이 아니다

robots.txt로 막으면 크롤러가 페이지 내용을 읽지 못할 뿐, URL 자체는 다른 곳의 링크를 통해 내용 없이 검색 결과에 남을 수 있습니다. 검색 결과에서 빼려면 페이지에 noindex를 넣어야 하는데, robots.txt로 막아 두면 그 noindex조차 읽히지 않습니다. 색인 제외는 인덱싱 쪽 도구로 처리합니다.

03한 줄의 설정 실수가 사이트 전체를 막는 경우

그 밖에 자주 보는 실수는 CSS·JS·이미지 경로를 막아 Google이 페이지를 제대로 렌더링하지 못하게 하는 경우, 비밀 경로를 robots.txt에 적어 오히려 공개하는 경우입니다. robots.txt는 강제력이 있는 보안 장치가 아니라 정상적인 크롤러가 따르는 약속입니다.

개발 서버에서 쓰던 설정

User-agent: * Disallow: /

운영 배포 때 그대로 올라가면 사이트 전체 크롤링 차단

운영 서버 설정

User-agent: * Disallow: /wp-admin/

관리 경로만 막고 나머지는 허용

04검색용·학습용 AI 크롤러를 나눠 다루는 법

OpenAI, Perplexity, Anthropic은 검색 노출용과 모델 학습용 크롤러를 구분해 공개합니다. 예를 들어 학습용 GPTBot은 막고 검색용 OAI-SearchBot은 허용할 수 있습니다. 서비스별 크롤러 이름과 예시 설정은 AI 검색 최적화의 기술 점검에 정리했습니다.

05배포 전 robots.txt에서 확인해야 할 것

https://도메인/robots.txt가 200으로 응답하는가
Disallow: / 같은 전체 차단 규칙이 남아 있지 않은가
렌더링에 필요한 CSS·JS·이미지 경로를 막지 않았는가
Search Console의 robots.txt 보고서에서 가져오기 오류가 없는가
중요 URL을 URL 검사로 열었을 때 '크롤링 허용됨'으로 나오는가

GO DEEPER · NODELIX 가이드

실행AI 검색 최적화: 크롤러 접근성과 기술 점검 가이드SEO 최적화 대행사도 모르는 상위 노출 알고리즘

SOURCES · 공식·권위 출처