구글 크롤링은 많은데 새 글 반영이 느리다면? 내부 검색 페이지부터 확인하세요
핵심 3줄 요약 내부 검색 페이지는 검색어마다 새 주소가 생기는 무한 크롤링 공간입니다. 구글은 robots.txt 한 줄로 검색 주소 전체를 막거나 noindex를 권합니다. 500 오류로 막으면 사이트 전체 크롤링이 줄어 오히려 역효과가 납니다. 내부 검색 페이지는 구글봇이 끝없이 크롤링하는 통로가 될 수 있습니다. 구글 검색팀 팟캐스트의 내부 검색 편(2026년 7월 30일)에서 존 뮬러가 이 문제를 … 더 읽기