2023년 4월부터 구글의 뉴스 사이트 크롤링 오류 문제
[update] – 2023년 7월 20일 : 구글의 뉴스(언론사) 카테고리 사이트들의 크롤링 오류는 계속되고 있음. – 2023년 7월 21일 : 구글 서치 상태 대시보드는 6월 21일부터 7월 13일까지(미국 태평양 시각) 구글 뉴스의 색인에 문제가 있었다고 업데이트함. 다만, 크롤링 장애는 업데이트가 없음 |
- 2023년 4월부터 구글의 뉴스(언론사) 카테고리 사이트들 크롤링 오류 문제를 발견함
- 2023년 4월 11일 정도, 5월 4일~6일, 6월 22일, 7월1일 몇개 언론사들에서 구글의 크롤링 실패 비율이 5%를 넘어감. 개별사 오류가 아니라 5개 언론사에 확인한 결과 동일하거나 비슷한 시기에 구글 크롤링 실패 확인함. 티스토리도 계속해서 오류가 나타나고 있음
- 구글은 서버연결 실패율이 5%를 초과하면 오류로 판단함
- 다만, 아마존 호스팅에서의 크롤링 오류는 아직 없는 것으로 보임
- 이건 이상한 오류. 각자 서버 회사가 다르고(KT, LG, 아마존 등) 서버 위치도 다른데 동일한 시점에 오류가 나타났다는 것은 구글이 언론사 기사를 크롤링하는데 문제가 생겼거나 언론사 서버들이 문제가 있을수도 있다는 것일 수 있음. 개별 언론사의 문제는 아님
![2023년 4월부터 발생한 구글의 뉴스 크롤링 오류](https://gobooki.net/wp-content/uploads/2023/07/image-6-1024x947.png)
(끝)
거북이 미디어 전략 연구소장은 미디어의 온라인 수익화와 전략에 주요 관심을 가지고 있습니다.
저는 Publisher side에서 2015년부터 모바일과 PC 광고를 담당했습니다. 2022년부터 국내 포털을 담당하게 됐습니다.