검색엔진 동작입문
인덱싱Indexing
DEFINITION
인덱싱(색인 생성)은 검색엔진이 크롤링한 페이지의 내용을 분석해 검색 결과에 쓸 수 있도록 데이터베이스(색인)에 저장하는 과정입니다.
01가져간 페이지와 저장된 페이지는 다르다
Google은 발견하고 크롤링한 모든 페이지를 색인하지 않습니다. 같은 내용이 여러 URL에 있거나, 다른 페이지와 차별점이 없거나, 페이지 스스로 색인 제외를 요청하면 저장되지 않을 수 있습니다. 색인에 없는 페이지는 정확한 검색어를 입력해도 결과에 나오지 않습니다.
02Search Console에 뜨는 상태별로 읽는 법
페이지 색인 생성 보고서는 Google이 알고 있는 URL을 '색인됨'과 '색인되지 않음'으로 나누고 사유를 보여 줍니다.
- 색인 생성됨검색 결과에 나올 수 있는 상태
- 발견됨 - 현재 색인이 생성되지 않음알고는 있지만 아직 크롤링하지 않음 → 내부 링크·서버 상태 점검
- 크롤링됨 - 현재 색인이 생성되지 않음가져갔지만 저장하지 않음 → 내용의 고유성·품질 보강
- 중복, Google에서 다른 표준을 선택함다른 URL이 대표로 선택됨 → Canonical·내부 링크 정리
- 'noindex' 태그에 의해 제외됨페이지가 스스로 제외 요청 → 의도한 것인지 확인
03색인에서 빼고 싶을 때 robots.txt가 답이 아닌 이유
색인 제외는 페이지의 <meta name="robots" content="noindex"> 또는 X-Robots-Tag HTTP 헤더로 합니다. Google은 2019년 9월부터 robots.txt 안의 noindex 규칙을 지원하지 않습니다. 또 robots.txt로 크롤링을 막으면 Google이 페이지의 noindex 태그를 읽을 수 없어, 다른 곳에서 링크된 URL이 오히려 결과에 남을 수 있습니다.
04새 페이지를 올린 뒤 색인까지 확인하는 흐름
- URL 검사로 색인 여부와 'Google이 선택한 표준 URL'을 확인합니다.
- 색인 전이라면 관련 페이지에서 내부 링크를 걸고, 사이트맵에 포함됐는지 봅니다.
- 필요하면 '색인 생성 요청'을 보냅니다. 요청은 우선순위를 높일 뿐 색인을 보장하지 않습니다.
- site: 검색은 대략적인 확인용으로만 쓰고, 정확한 상태는 Search Console로 봅니다.
