서치 콘솔에서 페이지가 색인되지 않을 때 원인 찾는 순서

- 증상 확인 정말 색인 문제인가
- 상태값으로 갈래 고르기
- 설정으로 막힌 경우 갈래 1~3
- 발견됨인데 크롤링이 안 될 때
- 크롤링됐는데 색인이 안 될 때
- 상태값별 원인과 처방 한눈에 보기
- 자주 잘못 읽는 경우
- 재발 방지 체크리스트
- 자주 묻는 질문
새 서비스 페이지를 올리고 2주가 지났습니다. 사이트맵도 제출했고 서치 콘솔에서 색인 요청 버튼도 세 번 눌렀습니다. 그런데 URL 검사 결과는 여전히 "URL이 Google에 등록되어 있지 않음"입니다. 이럴 때 대부분은 요청 버튼을 한 번 더 누르거나 글을 조금 고쳐 다시 올립니다. 하지만 색인이 안 되는 이유는 상태값마다 전혀 다르고, 상태값을 읽지 않고 고치면 엉뚱한 곳만 손보게 됩니다. 이 글은 증상에서 출발해 어떤 순서로 원인을 좁혀 가는지, 원인별로 무엇을 고치는지, 다시 같은 일이 생기지 않게 하려면 무엇을 남겨 둬야 하는지를 진단 순서대로 정리했습니다.
📌 먼저 이것만
- 색인 문제는 상태값을 확인하는 데서 시작합니다. "발견됨"과 "크롤링됨"은 멈춘 단계가 달라 처방도 정반대입니다.
- noindex, robots.txt, canonical처럼 설정으로 막힌 경우는 원인만 찾으면 대부분 바로 풀립니다.
- "크롤링됨, 현재 색인이 생성되지 않음"은 Google이 이미 보고 판단한 상태라 색인 요청을 반복해도 잘 바뀌지 않습니다.
- 모든 URL을 색인시키는 것이 목표가 아닙니다. 색인되어야 할 페이지가 제외 목록에 있는지가 핵심입니다.
증상 확인
정말 색인 문제인가
"검색에 안 나온다"는 말에는 세 가지가 섞여 있습니다. 색인 자체가 안 된 경우, 색인은 됐는데 순위가 낮아 안 보이는 경우, 그리고 다른 URL이 대신 색인된 경우입니다. 이 셋을 구분하지 않으면 순위 문제를 색인 문제로 착각해 시간을 버립니다.
구분은 서치 콘솔 상단 검색창에 해당 URL을 넣는 URL 검사로 합니다. 결과 화면에서 세 가지만 보면 됩니다.
- 페이지 색인 생성 상태: "URL이 Google에 등록되어 있음"이면 색인 문제가 아니라 순위나 검색어 문제입니다.
- 마지막 크롤링 날짜: 비어 있으면 Google이 아직 방문하지 않은 것이고, 날짜가 있으면 방문은 했다는 뜻입니다.
- 사용자 선언 표준 URL과 Google 선택 표준 URL: 둘이 다르면 우리 페이지 대신 다른 주소가 대표로 색인되고 있습니다.
⚠️ 지금 순위가 출렁인다면
Search Engine Journal 보도에 따르면 Google은 2026년 11월 코어 업데이트를 진행 중이며, Search Status Dashboard에는 완료까지 최대 2주가 걸릴 수 있다고 안내되어 있습니다. 업데이트 기간의 순위 변동은 색인 문제와 다릅니다. URL 검사에서 "등록되어 있음"이 나온다면 색인을 고칠 일이 아니라 업데이트가 끝난 뒤 검색어별 변화를 다시 보는 것이 맞습니다.
상태값으로
갈래 고르기
색인이 안 된 URL이라면 URL 검사나 페이지 색인 생성 보고서에 이유가 한 줄로 적혀 있습니다. 실무에서 만나는 경우는 대부분 아래 다섯 갈래 중 하나입니다.
갈래 1~3은 사이트 설정이 Google을 막고 있는 경우입니다. 원인이 분명해서 찾기만 하면 대부분 바로 풀립니다. 시간이 걸리는 쪽은 갈래 4와 5입니다. 둘 다 "현재 색인이 생성되지 않음"으로 끝나서 같은 문제처럼 보이지만, 아래 그림처럼 멈춘 단계가 다릅니다.
설정으로 막힌 경우
갈래 1~3
갈래 1. noindex 태그에 의해 제외됨
페이지 소스에 noindex가 없는데도 이 상태가 뜨는 경우가 많습니다. noindex는 HTML 안의 meta 태그뿐 아니라 서버 응답 헤더(X-Robots-Tag)로도 붙기 때문입니다. 호스팅, CDN, 보안 플러그인, 개발 서버 설정이 헤더를 붙이는 경우가 있어 소스 보기만으로는 놓칩니다. 헤더는 터미널에서 바로 확인할 수 있습니다.
# 응답 코드, X-Robots-Tag, 리다이렉트 위치만 골라 보기
curl -sI https://example.com/service/ | grep -i -E "^(HTTP|x-robots-tag|location)"
# 나쁜 예: 개발 서버용 헤더가 운영에 남아 있음
HTTP/2 200
x-robots-tag: noindex, nofollow
헤더가 원인이라면 웹 서버나 CDN 규칙에서 운영 도메인을 제외해야 합니다. 개발 서버를 막는 설정은 아래처럼 개발 서버 블록에만 두는 것이 안전합니다.
# nginx: 개발 서버(staging) 설정에만 넣고 운영 서버 설정에는 넣지 않음
server {
server_name staging.example.com;
add_header X-Robots-Tag "noindex, nofollow" always;
}
갈래 2. robots.txt에 의해 차단됨
리뉴얼 직후에 가장 흔한 원인입니다. 개발 중에 쓰던 robots.txt가 그대로 운영에 올라가면 사이트 전체가 막힙니다.
# 개발 서버에서 쓰던 파일이 운영에 올라간 경우: 사이트 전체 차단
User-agent: *
Disallow: /
# 운영에서는 막아야 할 경로만 지정
User-agent: *
Disallow: /admin/
Sitemap: https://example.com/sitemap_index.xml
여기서 자주 하는 실수가 하나 있습니다. 색인에서 빼고 싶은 페이지를 robots.txt로 막고 noindex도 함께 넣는 경우입니다. robots.txt로 막으면 Google이 페이지를 읽지 못하니 noindex도 볼 수 없습니다. 이미 색인된 페이지를 빼려면 robots.txt는 열어 두고 noindex만 두어야 합니다. 생성형 AI 크롤러까지 함께 관리해야 한다면 AI 크롤러 robots.txt 설정 가이드에서 Googlebot과 AI 크롤러를 따로 다루는 방법을 정리해 두었습니다.
갈래 3. Google이 다른 표준 URL을 선택함
canonical은 명령이 아니라 힌트입니다. 우리가 A를 대표 주소로 선언해도, 내부 링크와 사이트맵과 리다이렉트가 B를 가리키면 Google은 B를 고릅니다. 신호를 한쪽으로 모아야 합니다.
- canonical, 사이트맵, 내부 링크가 같은 주소 형태(https, www 여부, 끝 슬래시)를 쓰는지 확인합니다.
- http와 https, www와 non-www, 슬래시 유무가 모두 200으로 열리면 하나로 301 리다이렉트합니다.
- 내용이 거의 같은 페이지 여러 개(지역명만 바꾼 페이지 등)는 합치거나 차이를 분명히 만듭니다.
<!-- 모든 페이지에 자기 자신의 최종 주소를 절대 경로로 -->
<link rel="canonical" href="https://example.com/service/" />
발견됨인데
크롤링이 안 될 때
Google 페이지 색인 생성 보고서 도움말은 이 상태를 이렇게 설명합니다. Google이 페이지를 찾았지만 아직 크롤링하지 않았고, 크롤링하면 사이트에 과부하가 걸릴 것으로 예상해 일정을 미뤘다는 것입니다. 그래서 보고서의 마지막 크롤링 날짜가 비어 있습니다. 즉 이 상태의 1차 질문은 콘텐츠 품질이 아니라 "Google이 우리 서버를 편하게 방문할 수 있는가"입니다.
아래 순서대로 확인합니다.
서버 응답 확인
서치 콘솔 설정 메뉴의 크롤링 통계에서 응답 코드별 비율과 평균 응답 시간을 봅니다. Google 문서에 따르면 500, 503, 429 응답이 이어지면 Googlebot은 크롤링 속도를 스스로 낮춥니다. 방화벽이나 봇 차단 기능이 Googlebot을 막아 429나 403을 주고 있지 않은지도 확인합니다.
내부 링크 깊이 확인
사이트맵에만 있고 어느 페이지에서도 링크하지 않는 URL은 우선순위가 밀립니다. 메인이나 서비스 페이지에서 몇 번 클릭해야 도달하는지 세어 보고, 관련 글과 상위 페이지에서 내부 링크를 걸어 줍니다.
쓸모없는 URL 줄이기
정렬, 필터, 검색 결과, 추적 파라미터가 붙은 주소가 수천 개씩 만들어지면 Google의 방문 여력이 그쪽에 쓰입니다. 색인이 필요 없는 주소는 링크를 줄이고, 사이트맵에서 빼고, canonical로 대표 주소를 알려 줍니다.
사이트맵 정리
사이트맵에는 200 응답이면서 색인되길 원하는 표준 URL만 넣습니다. Google은 lastmod가 꾸준히 정확할 때만 참고한다고 밝혔으니, 매 배포마다 모든 날짜를 오늘로 바꾸는 방식은 피합니다.
<!-- 사이트맵: 실제로 내용이 바뀐 날짜만 -->
<url>
<loc>https://example.com/service/</loc>
<lastmod>2026-11-20</lastmod>
</url>
💡 크롤링 예산을 걱정해야 하는 사이트인가
Google의 크롤링 예산 문서는 대상 독자를 고유 페이지가 100만 개 이상이면서 주 단위로 바뀌는 대형 사이트, 1만 개 이상이면서 매일 바뀌는 중형 사이트, 그리고 URL 상당수가 "발견됨" 상태로 남아 있는 사이트로 정해 두었습니다. 페이지가 수백 개인 기업 홈페이지가 발견됨 상태에 오래 머문다면 예산보다 서버 응답이나 내부 링크를 먼저 의심하는 편이 맞습니다.
크롤링됐는데
색인이 안 될 때
같은 도움말은 이 상태를 "Google이 크롤링했지만 색인하지 않았으며, 앞으로 색인될 수도 있고 아닐 수도 있다. 이 URL을 크롤링하도록 다시 제출할 필요는 없다"고 설명합니다. Google이 이미 페이지를 읽고 판단을 내린 상태라는 뜻입니다. 그래서 색인 요청 버튼을 다시 누르는 것으로는 판단이 잘 바뀌지 않습니다. 판단의 근거가 된 페이지 자체를 바꿔야 합니다.
원인 1. Google이 본 화면이 우리가 본 화면과 다름
자바스크립트로 본문을 그리는 사이트에서 많이 생깁니다. 브라우저에서는 내용이 꽉 차 보이지만, Google이 받은 HTML에는 빈 틀만 있을 수 있습니다. URL 검사에서 실제 URL 테스트 → 테스트된 페이지 보기 → HTML을 열어 본문 문장이 실제로 들어 있는지 확인합니다. 본문이 비어 있다면 서버에서 HTML을 완성해 보내도록 렌더링 방식을 바꾸는 것이 근본 해결입니다.
원인 2. 이미 색인된 다른 페이지와 내용이 겹침
같은 서비스를 지역명만 바꿔 수십 개 만든 페이지, 제품 설명이 제조사 문구와 똑같은 상품 페이지가 대표적입니다. Google 입장에서는 새로 색인할 이유가 없습니다. 겹치는 페이지를 합치거나, 그 페이지에만 있는 정보(실제 시공 사진, 지역별 차이, 가격 기준, 자주 받는 질문)를 넣어 차이를 만들어야 합니다.
원인 3. 페이지 자체의 정보량이 부족함
제목과 사진 몇 장, 문의 버튼만 있는 페이지는 검색 결과에 보여 줄 근거가 약합니다. "이 페이지에서만 얻을 수 있는 답이 무엇인가"를 기준으로 고칩니다. 분량을 늘리는 것이 목적이 아니라 검색한 사람이 다음 행동을 정할 수 있을 만큼 답이 있어야 합니다. 검색 결과가 어떤 기준으로 페이지를 고르는지는 SEO 원리와 실전 가이드에서 더 자세히 다뤘습니다.
원인 4. 내용 없는 페이지가 200으로 응답함
삭제된 상품, 결과가 없는 검색 페이지가 "찾을 수 없습니다" 문구를 보여 주면서 200을 응답하면 Google은 이를 소프트 404로 분류하거나 색인하지 않습니다. 없는 페이지는 404나 410을, 옮긴 페이지는 301을 응답하게 합니다.
고친 다음에 할 일
페이지를 실제로 고쳤다면 그때 URL 검사에서 색인 생성을 한 번 요청하고, 내부 링크와 사이트맵에 반영되어 있는지 확인합니다. 그다음은 기다리는 일입니다. 같은 URL을 매일 다시 요청한다고 판단이 빨라지지는 않습니다.
상태값별 원인과 처방
한눈에 보기
| 상태값 | 멈춘 단계 | 가장 흔한 원인 | 처방 | 색인 요청 효과 |
|---|---|---|---|---|
| noindex 태그에 의해 제외됨 | 색인 판단 | meta 태그, X-Robots-Tag 헤더, CMS 옵션 | noindex 출처를 찾아 운영에서 제거 | 제거 후 요청하면 효과 있음 |
| robots.txt에 의해 차단됨 | 크롤링 전 | 개발 서버용 robots.txt 잔존 | Disallow 규칙 수정 | 수정 후 요청하면 효과 있음 |
| Google이 다른 표준 URL을 선택함 | 색인 판단 | canonical·내부 링크·사이트맵 불일치 | 주소 신호를 한 URL로 통일, 301 정리 | 신호 정리가 먼저 |
| 발견됨, 현재 색인이 생성되지 않음 | 크롤링 전 | 서버 오류·느린 응답, 링크 깊이, URL 과다 | 서버 응답 개선, 내부 링크 보강, 불필요 URL 축소 | 낮음 |
| 크롤링됨, 현재 색인이 생성되지 않음 | 색인 판단 | 렌더링 누락, 중복, 정보 부족 | 본문을 실제로 개선한 뒤 1회 요청 | 개선 없이는 거의 없음 |
| 소프트 404 | 색인 판단 | 빈 페이지가 200 응답 | 404·410·301로 응답 코드 정리 | 코드 정리가 먼저 |
자주
잘못 읽는 경우
"색인 안 됨" 숫자를 0으로 만들려는 경우
페이지 색인 생성 보고서의 미색인 목록에는 리다이렉트된 옛 주소, 일부러 noindex한 페이지, 파라미터가 붙은 중복 주소가 함께 들어갑니다. 이 숫자가 크다고 문제는 아닙니다. 봐야 할 것은 색인되어야 할 페이지가 그 목록에 있는가입니다. 사이트맵을 서비스, 블로그처럼 나눠 제출하면 보고서에서 사이트맵별로 걸러 볼 수 있어 이 판단이 쉬워집니다.
user-agent만 바꿔서 Googlebot 접근을 확인하는 경우
curl에 Googlebot user-agent를 넣어 200이 나오면 안심하기 쉽지만, 방화벽은 user-agent가 아니라 접속 IP로 Googlebot을 판별하기도 합니다. 반대로 진짜 Googlebot만 차단당하는 경우도 있습니다. 최종 확인은 URL 검사의 실제 URL 테스트로 합니다. 이 테스트는 Google 쪽에서 실제로 요청을 보냅니다.
리뉴얼 뒤 색인 감소를 콘텐츠 탓으로 돌리는 경우
리뉴얼 직후 갑자기 미색인이 늘었다면 콘텐츠보다 설정을 먼저 의심합니다. robots.txt, noindex 헤더, canonical 주소, 301 매핑 누락이 단골 원인입니다. 노드릭스는 자사 사이트를 WordPress에서 Next.js로 옮길 때 기존 URL과 canonical, 구조화 데이터를 그대로 유지하고, 배포 전후로 전체 페이지의 title, description, canonical, 구조화 데이터를 자동 비교해 차이가 없는 것을 확인한 뒤 배포했습니다. 이전 작업 전 점검 항목은 홈페이지 리뉴얼 SEO 가이드에 체크리스트로 정리해 두었습니다.
재발 방지
체크리스트
색인 문제는 대부분 배포나 설정 변경 직후에 생깁니다. 배포 때마다 아래 항목을 확인하면 원인을 몇 주 뒤가 아니라 그날 찾을 수 있습니다.
✅ 배포 전후 확인
- 운영 robots.txt에
Disallow: /가 없는지 - 주요 페이지 응답 헤더에
x-robots-tag: noindex가 없는지 - 주요 페이지의 canonical이 자기 자신의 최종 주소인지
- 사이트맵의 URL이 모두 200이고 리다이렉트·noindex 주소가 섞이지 않았는지
- 옛 주소가 새 주소로 301 이동하는지 (302나 404가 아닌지)
- 자바스크립트를 끄거나 URL 검사 HTML에서도 본문 문장이 보이는지
📅 매달 확인
- 페이지 색인 생성 보고서를 사이트맵별로 걸러 핵심 페이지의 미색인 여부 확인
- 크롤링 통계에서 5xx·429 응답 비율과 평균 응답 시간 추이
- 새로 만든 페이지에 관련 페이지의 내부 링크가 걸려 있는지
- 내용이 거의 같은 페이지가 새로 늘지 않았는지
이 점검을 사람이 매번 손으로 하기 어렵다면 배포 과정에 자동 검사로 넣는 것이 가장 확실합니다. 노드릭스 홈페이지 제작은 robots, canonical, 사이트맵, 구조화 데이터를 처음부터 검색 기준에 맞춰 만들고, 운영 중인 사이트는 SEO 최적화 서비스에서 색인 상태와 크롤링 통계를 함께 점검합니다.
자주 묻는
질문
서치 콘솔에서 색인 요청을 여러 번 누르면 빨리 색인되나요?
발견됨과 크롤링됨 상태는 무엇이 다른가요?
페이지 소스에 noindex가 없는데 noindex로 제외됐다고 나옵니다.
새 페이지가 색인되기까지 보통 얼마나 걸리나요?
미색인 페이지 수가 많으면 사이트 전체 평가가 나빠지나요?
색인이 안 되는 페이지,
원인부터 함께 찾아 드립니다
서치 콘솔에서 색인이 안 되는 페이지가 있다면 사이트 주소를 남겨 주세요. 응답 헤더, robots.txt, canonical, 사이트맵, 렌더링 결과를 확인해 어느 갈래의 문제인지와 먼저 고칠 부분을 안내드립니다.
SEO 상담 신청