[메모] 구글의 뉴스 크롤링 오류 문제

2023년 4월부터 구글의 뉴스 사이트 크롤링 오류 문제

[update] – 2023년 7월 20일 : 구글의 뉴스(언론사) 카테고리 사이트들의 크롤링 오류는 계속되고 있음. – 2023년 7월 21일 : 구글 서치 상태 대시보드는 6월 21일부터 7월 13일까지(미국 태평양 시각) 구글 뉴스의 색인에 문제가 있었다고 업데이트함. 다만, 크롤링 장애는 업데이트가 없음

• 2023년 4월부터 구글의 뉴스(언론사) 카테고리 사이트들 크롤링 오류 문제를 발견함
• 2023년 4월 11일 정도, 5월 4일~6일, 6월 22일, 7월1일 몇개 언론사들에서 구글의 크롤링 실패 비율이 5%를 넘어감. 개별사 오류가 아니라 5개 언론사에 확인한 결과 동일하거나 비슷한 시기에 구글 크롤링 실패 확인함. 티스토리도 계속해서 오류가 나타나고 있음
• 구글은 서버연결 실패율이 5%를 초과하면 오류로 판단함
• 다만, 아마존 호스팅에서의 크롤링 오류는 아직 없는 것으로 보임
• 이건 이상한 오류. 각자 서버 회사가 다르고(KT, LG, 아마존 등) 서버 위치도 다른데 동일한 시점에 오류가 나타났다는 것은 구글이 언론사 기사를 크롤링하는데 문제가 생겼거나 언론사 서버들이 문제가 있을수도 있다는 것일 수 있음. 개별 언론사의 문제는 아님

(끝)