오늘부터 AI 크롤러가 기본 차단됩니다 — 클라우드플레어의 9월 15일과 광고가 있는 페이지

오늘 9월 15일부터 인터넷의 규칙이 하나 바뀝니다.

클라우드플레어가 새로 만들어지는 사이트에 AI 크롤러를 기본으로 차단하는 설정을 적용합니다. 광고가 있는 페이지가 그 대상입니다.

설정을 따로 건드리지 않아도 막힙니다. 웹에서 글을 쓰는 쪽과 AI를 만드는 쪽 모두에게 적지 않은 변화입니다.

오늘 바뀌는 것

오늘부터 클라우드플레어에 새로 등록되는 도메인은 기본값이 달라집니다.

훈련용 크롤러와 에이전트 크롤러가 광고가 붙은 페이지에서 차단됩니다. 검색 크롤러는 그대로 통과합니다.

사이트 주인이 아무 설정도 하지 않았을 때 자동으로 적용되는 값이라는 점이 핵심입니다. 막으려고 결정한 사람이 없어도 막힙니다.

클라우드플레어는 무엇을 하는 회사인가

클라우드플레어는 웹사이트 앞단에서 트래픽을 처리해 주는 회사입니다.

방문자의 요청이 사이트 서버에 닿기 전에 먼저 이 회사를 거칩니다. 속도를 높이고 공격을 막아 주는 것이 주된 역할입니다.

전 세계 상당수의 웹사이트가 이 회사를 거칩니다. 그래서 이 회사가 기본값을 바꾸면 웹 전체의 기본값이 바뀌는 효과가 납니다.

인터넷의 길목에 앉아 있다는 뜻

이 위치가 중요합니다. 개별 사이트가 각자 크롤러를 막으려면 저마다 설정을 해야 합니다.

하지만 길목에 있는 회사가 기본값을 바꾸면, 아무것도 하지 않은 사이트까지 한꺼번에 적용됩니다.

그동안 크롤러를 막는 일은 알고 챙긴 사람만 하는 일이었습니다. 이제 기본이 반대로 바뀌는 것입니다.

세 갈래로 나뉜 크롤러

이번 정책의 바탕에는 분류가 있습니다. 클라우드플레어는 AI 크롤러를 세 종류로 나눕니다.

검색, 에이전트, 훈련입니다. 이름은 비슷해 보여도 하는 일과 사이트에 주는 영향이 다릅니다.

정책이 이 셋을 다르게 다루기 때문에, 각각이 무엇인지 아는 것이 이해의 출발점입니다.

검색 봇, 사람을 데려오는 쪽

검색 봇은 내용을 읽어 색인을 만듭니다. 나중에 누군가 검색하면 그 결과에 사이트를 보여 주기 위해서입니다.

이 과정에서 사람이 사이트로 넘어옵니다. 검색 결과를 눌러 들어오는 방문자가 생깁니다.

사이트 입장에서는 읽어 간 만큼 돌려받는 구조입니다. 그래서 이번 정책에서도 검색 봇은 기본 허용으로 남습니다.

에이전트 봇, 대신 움직이는 쪽

에이전트 봇은 다릅니다. 사용자를 대신해 실시간으로 사이트를 방문합니다.

누군가 AI에게 무언가를 알아봐 달라고 하면, AI가 대신 사이트에 들어가 읽고 답을 정리해 줍니다.

이때 사람은 사이트에 오지 않습니다. 내용은 전달되지만 방문자는 생기지 않습니다.

훈련 크롤러, 모델에 스며드는 쪽

훈련 크롤러는 모델을 학습시키기 위해 내용을 수집합니다.

한 번 학습에 들어간 내용은 모델 안에 남습니다. 그 뒤로는 사이트를 방문하지 않고도 비슷한 답을 만들어 낼 수 있습니다.

사이트 입장에서 보면 가장 돌려받는 것이 없는 방문입니다. 이번 정책에서 에이전트와 함께 기본 차단되는 이유입니다.

왜 광고가 기준이 됐나

이번 정책에서 흥미로운 대목은 차단 여부를 광고의 유무로 가른다는 점입니다.

모든 페이지를 막는 것이 아니라 광고가 붙은 페이지에서만 막습니다.

얼핏 임의로 보이지만 나름의 논리가 있습니다.

광고가 있다는 것은 사람을 전제한다

광고가 붙어 있다는 것은 그 페이지가 사람이 와서 볼 것을 전제하고 만들어졌다는 뜻입니다.

사람이 보면 광고도 함께 보이고, 그것이 사이트 운영자의 수입이 됩니다.

훈련 크롤러와 에이전트는 사람을 데려오지 않으므로 그 수입이 생기지 않습니다. 검색은 방문자를 통해 일부라도 돌려줍니다. 이 차이가 기준이 됐습니다.

오늘부터 적용되는 기본값

정리하면 오늘부터의 기본값은 이렇습니다. 광고가 있는 페이지에서 훈련과 에이전트는 차단, 검색은 허용입니다.

광고가 없는 페이지는 이 기본 차단의 대상이 아닙니다.

물론 사이트 주인이 원하면 설정을 바꿀 수 있습니다. 바뀌는 것은 아무것도 하지 않았을 때의 상태입니다.

누구에게 적용되는가

적용 범위는 세 갈래입니다. 새로 가입하는 고객, 기존 고객이 새로 등록하는 사이트, 그리고 기존 무료 고객 전체입니다.

이미 운영 중인 유료 고객의 기존 사이트는 자동으로 바뀌지 않습니다.

즉 앞으로 만들어지는 웹이 먼저 바뀌고, 기존 웹은 천천히 따라가는 구조입니다.

기존 무료 고객도 포함됩니다

눈여겨볼 대목은 기존 무료 고객이 포함된다는 점입니다.

개인 블로그나 작은 사이트는 무료 요금제를 쓰는 경우가 많습니다. 이들은 이미 운영 중이어도 기본값 변경의 대상이 됩니다.

따로 공지를 챙겨 보지 않았다면 바뀐 줄 모르고 지나갈 수 있습니다. 한 번 확인해 보시는 것이 좋겠습니다.

옵트아웃 기한은 오늘까지였습니다

클라우드플레어는 이 변경을 미리 알렸고, 원하지 않는 고객은 오늘 이전에 빠져나올 수 있도록 했습니다.

7월에 정책을 발표하면서 두 달 반가량의 준비 기간을 둔 셈입니다.

기한이 지난 뒤에도 설정 자체는 바꿀 수 있습니다. 다만 그때는 이미 바뀐 기본값을 손으로 되돌리는 형태가 됩니다.

혼합 목적 크롤러라는 골칫거리

이 정책의 가장 까다로운 지점이 여기입니다. 크롤러가 늘 한 가지 일만 하지는 않습니다.

같은 크롤러가 검색 색인도 만들고 학습 데이터도 모으는 경우가 있습니다. 이런 것을 혼합 목적 크롤러라고 부릅니다.

훈련을 막는 설정을 켜면 이 혼합 크롤러도 함께 막힙니다. 검색만 골라서 통과시킬 방법이 없기 때문입니다.

구글봇이 같이 막히는 문제

이 대목에서 실제 문제가 생깁니다. 구글의 크롤러가 바로 그 혼합 목적에 해당하는 것으로 분류됩니다.

따라서 훈련 차단을 켠 사이트에서는 구글봇도 함께 막힐 수 있습니다. 예외로 빼는 설정을 따로 하지 않는 한 그렇습니다.

검색 노출이 줄어들 수 있다는 뜻입니다. 학습에 쓰이는 것을 막으려다 검색에서 사라지는 결과가 나올 수 있습니다.

검색 노출이 걸린 딜레마

여기서 사이트 운영자는 선택을 해야 합니다.

학습에 쓰이는 것을 막을 것인가, 검색 노출을 지킬 것인가. 지금 구조에서는 둘을 완전히 분리하기 어렵습니다.

클라우드플레어 쪽은 이 불편이 의도된 압력이라고 설명합니다. AI 회사들이 검색용과 학습용 크롤러를 분리하도록 유도하려는 것입니다.

52퍼센트라는 숫자

이 정책이 왜 지금 나왔는지는 숫자가 설명합니다.

클라우드플레어에 따르면 크롤러 요청 가운데 AI 학습을 위한 것이 52퍼센트에 이릅니다.

검색 색인을 만들기 위한 요청보다 학습을 위한 요청이 더 많아졌다는 뜻입니다.

1년 반 만에 22퍼센트에서 52퍼센트로

변화의 속도가 더 눈에 띕니다. 2025년 봄에는 이 비율이 22퍼센트였습니다.

1년 반 만에 두 배 이상으로 늘어난 것입니다.

사이트 입장에서는 서버 부담은 늘었는데 돌아오는 방문자는 그만큼 늘지 않은 상황입니다. 이 격차가 이번 정책의 배경입니다.

페이 퍼 크롤에서 페이 퍼 유즈로

차단만이 이 회사의 방향은 아닙니다. 값을 받는 쪽도 함께 만들고 있습니다.

먼저 나온 것이 크롤링 한 번에 값을 매기는 방식이었습니다. 이것이 지금은 쓰인 만큼 받는 방식으로 옮겨 가고 있습니다.

읽어 간 횟수가 아니라, 그 내용이 실제로 AI의 답에 등장한 횟수를 기준으로 삼는 쪽입니다.

실제로 돈을 내기 시작한 곳들

이미 참여한 곳들이 있습니다. AI 검색 결과에 콘텐츠가 노출될 때 값을 지불하는 회사가 나왔습니다.

에이전트가 유료 콘텐츠에 접근할 때 지불하는 방식을 택한 곳도 있습니다.

아직 규모는 크지 않습니다. 다만 공짜로 읽어 가던 관행이 값을 매기는 쪽으로 움직이기 시작했다는 신호로는 읽을 만합니다.

콘텐츠를 만드는 쪽의 셈법

글을 쓰는 입장에서 이 변화는 양날입니다.

학습에 무단으로 쓰이는 것을 막을 수단이 생겼다는 점은 분명한 이득입니다.

반면 AI 답변에 인용되는 것이 새로운 유입 경로가 되고 있는 것도 사실입니다. 완전히 막으면 그 경로도 함께 닫힙니다.

블로그를 운영한다면 확인할 것

직접 사이트를 운영하신다면 오늘 확인해 볼 것이 몇 가지 있습니다.

먼저 클라우드플레어를 쓰고 있는지, 그리고 무료 요금제인지입니다. 둘 다 해당하면 기본값 변경 대상입니다.

다음으로 광고를 붙인 페이지가 있는지 봅니다. 마지막으로 설정에서 AI 크롤러 항목이 어떻게 되어 있는지 확인하시면 됩니다.

AI 회사 쪽에서 보는 그림

반대편에서 보면 이야기가 다릅니다. 학습에 쓸 수 있는 데이터가 줄어드는 변화입니다.

특히 새로 시작하는 작은 회사에 불리하게 작용할 수 있습니다. 이미 대량의 데이터를 확보해 둔 곳과 격차가 벌어집니다.

값을 치르고 데이터를 사는 구조가 자리 잡으면, 돈이 있는 쪽이 유리해지는 결과가 될 수 있다는 지적도 나옵니다.

남은 쟁점

아직 정리되지 않은 문제가 있습니다. 크롤러를 세 종류로 나누는 기준을 누가 정하느냐입니다.

지금은 클라우드플레어가 분류합니다. 한 회사가 웹의 규칙을 정하는 위치에 서게 된다는 지적이 가능합니다.

크롤러가 자신의 목적을 정직하게 밝히지 않는 경우를 어떻게 다룰지도 남아 있습니다. 앞으로 다듬어져야 할 부분입니다.

핵심 정리

오늘 9월 15일부터 클라우드플레어는 새 도메인과 기존 무료 고객 사이트에서 훈련·에이전트 크롤러를 광고가 있는 페이지에 한해 기본 차단합니다. 검색 크롤러는 계속 허용됩니다.

기준이 광고인 이유는 광고가 사람이 볼 것을 전제하기 때문입니다. 다만 구글봇처럼 검색과 학습을 겸하는 혼합 크롤러도 함께 막혀, 검색 노출과 학습 차단 사이에서 선택해야 하는 상황이 생깁니다.

배경에는 크롤러 요청 중 학습 목적 비중이 1년 반 만에 22퍼센트에서 52퍼센트로 늘어난 변화가 있습니다. 클라우드플레어는 차단과 함께, 쓰인 만큼 값을 받는 방식도 함께 넓히고 있습니다.

참고하실 만한 것

SVIL 블로그에서는 AI와 콘텐츠 권리에 관한 소식을 큰 글씨와 쉬운 설명으로 정리하고 있습니다.

직접 블로그나 홈페이지를 운영하신다면, 오늘 설정을 한 번 확인해 보시기를 권합니다.

궁금한 점이나 다뤘으면 하는 주제가 있으시면 언제든 알려 주세요.

출처

• Cloudflare Blog — Your site, your rules: new AI traffic options for all customers
• Cloudflare Changelog — New options to manage AI traffic
• TechCrunch — Cloudflare new policy pushes AI companies to pay for publishers content
• Search Engine Journal — Report That Cloudflare AI Bot Blocking Prevents Googlebot From Indexing Sites
• Help Net Security — Cloudflare changes AI crawler access rules
• TechTimes — Cloudflare Separates AI Crawlers by Purpose and Opens Door to Charging Them Directly
• Technology.org — Cloudflare Sets Deadline for Mixed AI Crawlers
• AI News — AI agent crawlers, Cloudflare new rules, and the way through

협업문의 : kuroicode@gmail.com
블로그 : https://blog.svil.dev/
홈페이지 : https://svil.dev/