테크니컬 SEO심화
크롤 버짓Crawl Budget
DEFINITION
크롤 버짓은 검색엔진이 일정 기간 동안 한 사이트에서 크롤링할 수 있고 크롤링하고자 하는 URL의 양으로, 서버가 감당할 수 있는 한도와 검색엔진의 수요로 정해집니다.
- 구성
- 크롤링 한도 + 크롤링 수요
- 주로 해당
- 페이지가 매우 많거나 자주 바뀌는 사이트
- 확인
- Search Console 크롤링 통계
01한도와 수요, 두 가지로 정해지는 양
| 요소 | 뜻 | 영향을 주는 것 |
|---|---|---|
| 크롤링 한도 | 서버에 부담을 주지 않고 가져갈 수 있는 양 | 서버 응답 속도, 오류 비율 |
| 크롤링 수요 | 검색엔진이 가져가고 싶은 양 | 인기도, 변경 빈도, 오래된 정도 |
02대부분의 중소 사이트에는 해당하지 않는다
Google은 크롤 버짓 관리 문서가 고유 페이지가 수십만~수백만 개 이상이거나 내용이 매일 바뀌는 대규모 사이트를 위한 것이라고 설명합니다. 페이지가 수백~수천 개인 회사 홈페이지라면, 새 페이지가 며칠 안에 크롤링되는 한 크롤 버짓보다 인덱싱과 콘텐츠 품질을 먼저 봐야 합니다.
03크롤링을 낭비시키는 URL
이런 URL은 robots.txt로 크롤링을 막거나, 링크를 줄이거나, 대표 URL로 정리합니다. Search Console의 '크롤링 통계' 보고서에서 응답 시간과 크롤링 요청 추이를 볼 수 있습니다.
GO DEEPER · NODELIX 가이드
