구글 검색의 페이지 색인 생성 방법

구글 색인은 크롤링한 페이지를 그대로 쌓는 일이 아닙니다. 비슷한 페이지를 묶어 대표 페이지 하나를 고르고, 품질을 따져 저장할지 정하는 과정입니다. 구글 검색 센트럴의 How Search Works 색인 편(2024년 4월 4일)에서 게리 일리예시가 이 과정을 단계별로 설명했습니다.

구글 검색의 원리 시리즈 : How Search Works 영상 다섯 편을 정리했습니다.

• 1편 : 구글 검색은 어떻게 작동하나
• 2편 : 구글 검색의 페이지 크롤링 방법
• 3편 : 구글 검색의 페이지 색인 생성 방법 (지금 보는 글)
• 4편 : 구글 검색의 결과 페이지 표시 방법
• 5편 : 구글 검색 결과 상세 분석

결론: 검색 결과에는 묶음마다 대표 페이지 하나만 나온다

같은 내용의 페이지가 여러 주소에 있으면 구글은 이를 한 묶음으로 보고 대표(canonical) 하나만 주로 보여 줍니다. 대표로 뽑혀도 색인이 보장되지는 않습니다. 품질과 신호를 보고 저장할지 다시 정하기 때문입니다.

단계	구글이 하는 일	사이트가 챙길 것
HTML 파싱	HTML을 해석하고 어긋난 구조를 바로잡음	head 안에 허용되지 않는 태그를 넣지 않음
내용 분석	글, 주요 태그와 속성, 이미지, 동영상 분석	제목(title)과 대체 텍스트(alt)
중복 묶음	주요 콘텐츠가 비슷한 페이지를 한 묶음으로	같은 기사의 여러 주소 줄이기
canonical 선택	신호를 비교해 대표 페이지 하나 선택	rel=canonical 같은 신호를 한 방향으로
색인 선택	품질과 신호로 색인 여부 결정	내용의 품질, noindex 여부
저장	대표 페이지와 묶음 정보를 색인에 저장	–

게리 일리예시가 설명한 구글 색인 과정

색인이란 무엇인가요?

페이지가 레시피인지 기사인지 알아보고, 글 속 단어와 문구를 뽑아내는 과정입니다. 이 과정이 없으면 사용자가 페이지를 찾기 어렵습니다. 구글은 이때 검색 순위에 쓸 신호도 함께 계산합니다.

왜 HTML부터 고치나요?

모든 태그가 제자리에 있어야 내용을 제대로 읽을 수 있기 때문입니다. 특히 페이지 정보를 담는 head 안에 쓸 수 있는 태그는 아주 적습니다. 허용되지 않는 태그가 나오면 구글과 브라우저는 그 태그 바로 앞에서 head를 강제로 닫습니다. 그 뒤에 있던 메타 태그와 링크 태그는 head 밖으로 밀려나 색인에 쓰이지 못합니다.

중복 페이지는 어떻게 묶나요?

구글은 페이지의 주요 콘텐츠를 기준으로 내용이 비슷한 다른 페이지와 한 묶음을 만듭니다. 이를 중복 묶음(duplicate clustering)이라고 부릅니다.

대표 페이지는 어떻게 고르나요?

묶음 안의 페이지마다 미리 계산한 신호 몇 가지를 비교합니다. 신호는 검색엔진이 페이지와 사이트에 대해 모은 정보입니다. HTML의 rel=canonical처럼 사이트 운영자가 직접 표시한 것은 단순한 신호입니다. 인터넷에서 그 페이지가 얼마나 중요한지 같은 신호는 그보다 복잡합니다.

대표가 아닌 페이지는 버려지나요?

버려지지 않고 대체 버전(alternate)이 됩니다. 사용자가 묶음 속 특정 페이지를 찾을 때처럼 다른 상황에서 보여 줄 수 있습니다. 구글 공식 문서는 모바일 기기에서 검색할 때를 예로 듭니다.

대표 페이지는 모두 색인되나요?

아닙니다. 구글은 이 단계를 색인 선택(index selection)이라고 부릅니다. 색인 여부는 페이지의 품질과 앞서 모은 신호에 크게 좌우됩니다. 공식 문서도 처리한 모든 페이지가 색인되지는 않는다고 밝힙니다. 흔한 원인으로는 낮은 품질, 색인을 막는 robots 메타 규칙, 색인하기 어려운 사이트 구조를 꼽습니다.

구글 색인은 어떻게 생겼나요?

기술적으로는 수천 대의 컴퓨터에 나뉘어 있는 큰 데이터베이스입니다. 대표 페이지가 색인되면 그 페이지와 묶음에 대해 모은 정보가 이곳에 저장됩니다.

언론사가 색인에서 먼저 확인할 것

저는 언론사 사이트가 이 과정에서 두 가지를 먼저 봐야 한다고 생각합니다. 첫째는 같은 기사가 여러 주소로 퍼지는 문제입니다. 모바일 주소, 추적 파라미터가 붙은 주소가 한 묶음이 되면 구글은 신호를 비교해 대표를 고릅니다. 원하는 주소가 대표가 되도록 canonical과 사이트맵에 같은 주소를 적어야 합니다. 구글의 중복 URL 통합 문서도 방법마다 다른 주소를 대표로 지정하지 말라고 합니다.

둘째는 head 안에 들어가는 광고나 분석 스크립트입니다. 허용되지 않는 태그 하나가 head를 일찍 닫아 버리면 그 뒤의 canonical이나 robots 태그가 무시됩니다. 소스 보기로 head 안의 태그 순서를 한 번쯤 확인해 볼 만합니다.