구글은 새 기사를 어떻게 찾을까? URL 발견, 구글봇, 렌더링으로 본 구글 크롤링 과정

구글 크롤링 과정은 URL 발견, 가져오기, 렌더링의 세 단계로 이뤄집니다. 구글 검색 센트럴의 How Search Works 크롤링 편(2024년 2월 23일)에서 게리 일리예시가 각 단계를 설명했습니다. 이 편 다음이 색인 편입니다.

결론: 새 기사는 이미 아는 페이지의 링크로 발견된다

구글이 새 페이지를 찾는 주된 통로는 이미 알고 있는 페이지의 링크입니다. 뉴스 사이트라면 카테고리 페이지가 그 역할을 합니다. 찾은 페이지는 내려받은 뒤 크롬으로 렌더링해야 자바스크립트로 넣은 내용까지 보입니다.

단계	구글이 하는 일	사이트가 챙길 것
URL 발견	아는 페이지의 링크와 사이트맵으로 새 주소를 찾음	카테고리 페이지에 새 기사 링크
크롤링 일정	어떤 사이트를 얼마나 자주, 몇 쪽씩 가져올지 판단	빠른 서버 응답, 서버 오류 줄이기
가져오기	주소에서 HTML 같은 데이터를 내려받음	로그인 없이 볼 수 있는 공개 주소
렌더링	최신 크롬으로 자바스크립트까지 실행	자바스크립트로 넣는 본문 점검
사이트맵	페이지 주소와 추가 정보를 한 파일로 받음	CMS가 자동으로 만들게 설정

게리 일리예시가 설명한 구글 크롤링 과정

구글은 새 페이지를 어떻게 찾나요?

구글이 검색 결과에 페이지를 보여 주려면 그 페이지가 있다는 사실부터 알아야 합니다. 인터넷에는 수조 개의 주소가 있어 끝내 발견되지 않는 페이지도 있습니다. 새 주소는 대부분 구글이 전에 크롤링한 페이지의 링크를 따라가며 발견됩니다.

게리 일리예시는 뉴스 사이트를 예로 들었습니다. 구글은 카테고리 페이지를 가끔 다시 방문해 기사 주소를 뽑아내는 방식으로 공개된 기사 대부분을 찾아냅니다. 구글 공식 문서는 모든 웹페이지가 등록되는 중앙 레지스트리는 없다고 설명합니다.

구글봇은 무엇인가요?

구글봇(Googlebot)은 구글의 주된 크롤러입니다. 크롤러는 인터넷을 돌아다니며 페이지를 내려받고, 그 안의 링크를 뽑아 다시 내려받는 프로그램입니다. 게리 일리예시는 사람이 아니라 봇이 조종하는 브라우저와 비슷하다고 했습니다.

크롤링 속도는 무엇에 따라 달라지나요?

구글봇은 사이트에 너무 빨리 접속해 과부하를 일으키지 않도록 만들어졌습니다. 크롤링 속도는 사이트마다 다릅니다. 구글봇 요청에 사이트가 얼마나 빨리 응답하는지, 콘텐츠 품질, 서버 오류 같은 신호가 영향을 줍니다. 공식 문서도 HTTP 500 오류는 속도를 늦추라는 신호로 받아들인다고 합니다.

발견한 주소는 모두 크롤링하나요?

아닙니다. 색인에 필요한 품질 기준에 못 미치는 사이트의 페이지는 크롤링하지 않을 수 있습니다. 크롤링을 막아 둔 주소와 로그인해야 볼 수 있는 주소도 가져가지 못합니다. 구글봇은 누구나 접속할 수 있는 공개 주소만 크롤링합니다.

가져오기와 렌더링은 무엇이 다른가요?

가져오기(fetching)는 주소에 있는 데이터를 내려받는 일입니다. 렌더링(rendering)은 내려받은 HTML, CSS, 자바스크립트를 실제 화면 모습으로 바꾸는 일로, 브라우저가 하는 일과 같습니다. 구글은 이때 최신 크롬으로 자바스크립트를 실행합니다. 렌더링을 하지 않으면 자바스크립트로 불러오는 내용을 놓치게 됩니다.

사이트맵은 꼭 있어야 하나요?

꼭 있어야 하는 것은 아니지만 구글과 다른 검색엔진이 콘텐츠를 찾는 데 분명히 도움이 됩니다. 가장 흔한 형식은 XML 파일로, 주소와 함께 페이지에 대한 추가 정보도 담을 수 있습니다. 게리 일리예시는 사이트맵을 손으로 만들지 말라고 했습니다. 주소 수백만 개를 직접 넣는 일은 품이 많이 들고 오류의 원인이 됩니다. 사이트의 CMS(Content Management System : 콘텐츠 관리 시스템)가 자동으로 만들게 하라는 권고입니다.

언론사가 크롤링에서 먼저 볼 것

저는 이 설명에서 언론사가 챙길 점을 두 가지로 봅니다. 첫째, 섹션과 카테고리 페이지에 최신 기사 링크가 바로 보여야 합니다. 구글은 이 페이지를 다시 찾아와 새 기사를 발견하기 때문입니다.

둘째, 새 기사 반영이 늦다면 서버 응답 속도와 오류부터 확인해 볼 만합니다. 응답이 느리거나 오류가 잦으면 구글봇은 스스로 크롤링 속도를 늦춥니다. 기사 본문을 자바스크립트로 불러오는 구조라면 렌더링 단계까지 거쳐야 내용이 보인다는 점도 기억해 둘 만합니다.