뉴욕타임스도 고용한 SEO 전문가의 구글봇 크롤링 인사이트 요약

언론사 뉴스 전문 SEO 전문가인 Barry Adams의 구글봇 크롤링에 대한 인사이트(Advanced Insights into Googlebot Crawling)이라는 포스팅을 요약합니다. 그가 컨설팅한 언론사는 뉴욕타임스, 더가디언지, 영국 데일리 메일, FOX, Condé Nast, The Independent, Hearst, Reach, Politico, Euronews, News UK 등입니다.

SEO를 좀 더 깊게 이해하려면 구글봇 크롤링에 이해하는 것이 중요합니다. 결국 검색결과가 사용자에게 보여지는 것은 콘텐츠 게시 -> 검색로봇의 크롤링 -> 검색엔진의 색인 -> 사용자에 검색 결과로 노출되는 큰 프로세스입니다. 이 중 검색 로봇이 크롤링하는 방식을 이해하면 내 사이트에서 어떤 것이 이슈인지를 이해할 수 있습니다.

[요약] 구글봇 크롤링 최적화 핵심

구글봇 크롤링 속도 개선하기 위한 방법

URL 중요도가 크롤링 빈도에 영향을 미침
많은 링크가 연결되고 자주 업데이트되는 URL은 더 자주 크롤링됨
홈페이지와 주요 섹션 페이지의 중요도를 높여야 함
상단 내비게이션에 링크 추가하고 새로운 기사를 빠르게 노출해야 함

기사 게시 후 첫 번째 크롤링의 중요성

구글은 기사를 처음 크롤링한 후 재크롤링까지 시간이 걸림
첫 번째 크롤링이 유일한 기회가 될 가능성이 높음
게시 전에 SEO를 적용하여 최적화 상태로 게시해야 함
게시 후 변경 사항은 반영되기 어려움
실시간 기사는 정기적으로 재크롤링됨

URL 파라미터 사용 금지

내부 링크에 URL 파라미터를 사용하면 크롤링 리소스를 낭비함
파라미터가 포함된 URL은 새로운 URL로 간주됨
구글이 파라미터가 포함된 URL을 색인화할 가능성이 있음(중복 기사로 부정적)
파라미터 대신 구글 애널리틱스의 이벤트 추적 등 효율적인 방법을 활용해야 함

오래된 콘텐츠 관리

오래된 콘텐츠는 언론사의 주제 권위를 입증하는 중요한 자산임
일반 블로그나 웹사이트처럼 삭제하는 대신 콘텐츠의 역사적 가치를 유지해야 함
구글은 오래된 콘텐츠를 크롤링 우선순위에서 자동으로 낮춤
페이지네이션(숫자로 페이지를 나타냄) 제한이나 단일 ‘다음 페이지’ 링크로 오래된 콘텐츠에 대한 크롤링을 제어할 수 있음

구글 서치콘솔 활용

도메인 전체 인증을 통해 모든 서브도메인의 크롤링 통계를 확인해야 함
예상치 못한 서브도메인(예: 스테이징 사이트)을 발견할 수 있음

최종 팁

구글봇의 크롤링 동작을 이해하고 활용하는 것이 중요함
크롤링 최적화는 홈·섹션 페이지 개선, 첫 크롤링 최적화, 파라미터 관리, 오래된 콘텐츠 유지가 핵심임