구글 크롤링은 많은데 새 글 반영이 느리다면? 내부 검색 페이지부터 확인하세요

내부 검색 페이지는 구글봇이 끝없이 크롤링하는 통로가 될 수 있습니다. 구글 검색팀 팟캐스트의 내부 검색 편(2026년 7월 30일)에서 존 뮬러가 이 문제를 다뤘습니다. 저는 회사 사이트에서 크롤링은 많은데 최신 콘텐츠 반영이 느린 이유를 고민하다 이 편을 봤습니다.

결론: 검색 주소는 robots.txt 한 줄로 막는다

사이트 안의 검색 기능은 검색어마다 새 주소를 만듭니다. 구글봇이 이 주소를 따라가기 시작하면 끝이 없는 무한 크롤링 공간(infinite space)에 빠집니다. 존 뮬러는 robots.txt로 검색 주소 전체를 막는 방법이 가장 쉽다고 했습니다.

저는 크롤링이 이런 주소에 쏠리면 새 글을 다시 가져가는 일이 뒤로 밀릴 수 있다고 봅니다. 최신 글 반영이 느리다면 서버 기록에서 검색 주소 요청이 얼마나 되는지부터 확인해 볼 만합니다.

존 뮬러가 답한 내부 검색 페이지 질문

구글봇은 검색 결과 페이지를 어떻게 찾나요?

누군가 검색 결과 주소를 링크하거나 결과 페이지에 ‘관련 검색어’ 링크가 있으면 구글봇이 따라옵니다. 분류·정렬 옵션까지 붙으면 주소는 사실상 끝없이 늘어납니다.

서버에는 어떤 부담이 생기나요?

검색 페이지는 보통 캐시되지 않아, 열 때마다 데이터베이스 조회와 순위 계산이 일어납니다. 구글봇이 이런 주소를 대량으로 요청하면 실제 방문자에게도 사이트가 느려질 수 있습니다.

구글이 알아서 걸러 주지 않나요?

구글은 검색 결과 패턴을 알아보고 우선순위를 낮추려 합니다. 하지만 알아채는 데 시간이 걸리고, 서치 콘솔에 따로 알려 주지도 않습니다.

robots.txt와 noindex 중 무엇이 낫나요?

robots.txt는 크롤링 자체를 막아 가장 쉽습니다. noindex는 구글이 페이지를 보기는 하지만 색인하지 않고 더 따라가지 않습니다. robots.txt로 막은 주소는 드물게 검색 결과에 뜰 수 있어, 존 뮬러는 noindex가 더 깔끔하다고도 했습니다.

규칙은 어떻게 쓰나요?

검색어마다 규칙을 만들 수 없으니 패턴 전체를 덮는 규칙 하나를 권합니다. 실제 검색 주소 형태는 사이트마다 다르니 먼저 확인해야 합니다. 검색 주소가 search 뒤에 물음표와 검색어가 붙는 형태라면 이렇게 막습니다:

Disallow: /search?

서치 콘솔 삭제 도구로 지우면 되지 않나요?

안 됩니다. 삭제 도구는 검색 결과에서 잠시 가릴 뿐 크롤링을 막지 못합니다. 존 뮬러는 증상만 가리는 셈이라고 했습니다.

검색 주소에 500 오류를 보내면 어떤가요?

가장 피해야 할 방법입니다. 구글은 서버가 버거워한다고 보고 검색 주소뿐 아니라 사이트 전체의 크롤링을 줄입니다. 404 응답은 가능하지만 깔끔한 방법은 아니라고 했습니다.

카테고리 페이지까지 막히지 않을까요?

블로거(Blogger)처럼 검색 결과를 태그 페이지로 쓰는 시스템이 있습니다. 카테고리 페이지는 사이트 구조를 이해하는 데 도움이 되므로, 주소 패턴을 나눠 검색 결과만 막아야 합니다.

검색 페이지를 색인시키면 벌점이 있나요?

없습니다. 예전 웹마스터 가이드라인에는 막으라고 적혀 있었지만 지금 검색 정책에는 없습니다. 품질 문제라기보다 비효율의 문제라는 설명입니다.

색인된 검색 페이지가 스팸 통로가 되는 과정

더 큰 위험은 악용입니다. 공격자는 사이트와 상관없는 검색어와 전화번호를 넣은 검색 주소를 만들어 퍼뜨립니다. 검색 페이지가 그 문구를 제목에 보여 주면 카지노·의약품·성인 검색어에 그 사이트가 노출됩니다.

공격자는 검색 페이지를 막지 않은 흔한 CMS(Content Management System : 콘텐츠 관리 시스템)를 골라 이런 링크를 대량으로 겁니다. 구글이 해킹으로 표시하거나 자동으로 걸러 내기도 하지만, 한 달이 걸릴 수도 있습니다. 그동안 고객이 이런 페이지를 볼 수 있으니 처음부터 막는 편이 안전합니다.