클라우드플레어가 AI 기업들에게 검색용 크롤러와 AI 훈련/에이전트용 크롤러를 분리하도록 요구하고 있습니다. 이는 기한 내에 조치를 취하지 않을 경우 퍼블리셔 사이트에서 기본적으로 차단될 위험이 있음을 의미합니다. 이 정책은 웹 크롤링 관련 데이터 사용에 대한 새로운 규제를 도입하는 것입니다.