구글 서치콘솔이 크롤링 속도 설정 도구 지원을 2024년 1월 8일부터 중단한다.
구글봇은 사이트, 더 구체적으로는 사이트를 처리하는 서버가 구글봇의 HTTP 요청에 응답하는 방식에 반응한다. 예를 들어 서버 에러(500 error) 상태일 경우 구글봇은 자동으로 거의 즉시 크롤링 속도를 늦춘다. 또한 요청에 대한 응답시간이 매우 길어지면 구글봇 속도가 줄어든다.
하지만 속도 제한 도구는 크롤링에 새로운 제한이 적용되는데 하루 이상이 걸리기도 하는 등 즉시성이 떨어졌다. 자동화된 크롤링 속도 처리 발전으로 구글 서치콘솔은 이 기능을 중단한다고 밝혔다. (끝)
거북이 미디어 전략 연구소장은 미디어의 온라인 수익화와 전략에 주요 관심을 가지고 있습니다.
저는 Publisher side에서 2015년부터 모바일과 PC 광고를 담당했습니다. 2022년부터 국내 포털을 담당하게 됐습니다.