구글봇

오늘부터 AI 크롤러가 기본 차단됩니다 — 클라우드플레어의 9월 15일과 광고가 있는 페이지

클라우드플레어가 오늘부터 새 도메인과 무료 고객 사이트에서 훈련·에이전트 크롤러를 기본 차단합니다. 광고가 기준이 된 이유와 구글봇이 함께 막히는 문제를 짚었습니다.