검색엔진 동작입문
크롤링Crawling
DEFINITION
크롤링은 검색엔진의 자동 프로그램(크롤러)이 링크와 사이트맵을 따라 웹페이지를 찾아가 내용을 가져오는 과정입니다.
01크롤러는 어디서 새 페이지를 알게 될까
Google의 크롤러인 Googlebot은 이미 알고 있는 페이지의 링크를 따라가며 새 페이지를 찾고, XML 사이트맵에 적힌 목록도 참고합니다. 도서관 사서가 책의 참고 문헌을 따라 새 책을 찾고 출판사 목록을 함께 보는 것과 비슷합니다.
- 01알려진 페이지이미 색인된 페이지·사이트맵
- 02링크 따라가기href가 있는 a 태그
- 03가져오기HTML과 리소스를 요청
- 04다음 단계로인덱싱 후보가 됨
02좋은 페이지인데도 크롤러가 닿지 못하는 경우
- 고아 페이지어디에서도 내부 링크로 연결되지 않음
- robots.txt 차단robots.txt에 경로가 Disallow로 막혀 있음
- 서버 오류·느린 응답5xx 오류나 긴 응답 시간이 반복되면 크롤링이 줄어들 수 있음
- 스크립트로만 이동href 없이 onclick으로만 이동하는 링크
03크롤 버짓은 누구의 걱정거리인가
크롤 버짓은 검색엔진이 한 사이트에서 일정 시간 동안 크롤링할 수 있는 양을 말합니다. Google은 이 문제를 주로 수십만~수백만 페이지 규모의 대형 사이트나 매일 대량으로 바뀌는 사이트의 과제로 설명합니다. 일반적인 회사·병원·쇼핑몰 규모라면 크롤 버짓보다 링크 구조와 서버 안정성을 먼저 보는 편이 현실적입니다.
크롤링을 자주 요청한다고 순위가 오르지는 않습니다. 수정한 내용이 더 빨리 반영될 수 있을 뿐입니다.
04Googlebot이 실제로 페이지를 가져가는지 확인하는 법
- Search Console의 URL 검사에서 '라이브 URL 테스트'로 Googlebot이 페이지를 가져올 수 있는지 봅니다.
- 설정 → 크롤링 통계에서 요청 수와 응답 상태(200, 404, 5xx)의 추이를 확인합니다.
- AI 검색 크롤러(OAI-SearchBot, PerplexityBot 등)까지 고려한다면 AI 검색 최적화의 기술 점검을 함께 봅니다.
