AI 뉴스 SVIL 톨빗 오픈AI 앤스로픽 퍼플렉시티 클라우드플레어 robots.txt

막아 놨는데 15%가 들어왔습니다 — 톨빗이 잰 AI 페처의 robots.txt 무시율

SVIL - Singularity Visual Intelligence Lab 2026. 08. 16 19 min read

사이트 뿌리에 파일 하나를 놓고 "여기는 오지 마세요"라고 적어 두는 관행이 30년 가까이 웹을 지탱해 왔습니다. 8월 14일 공개된 톨빗의 상반기 측정 결과는 그 관행이 어느 정도 깨졌는지를 숫자로 보여 줍니다. 유럽에서 확인된 AI 페이지 페처 요청 가운데 약 15퍼센트가 사이트가 오지 말라고 명시한 주소에 접근했습니다.

넓은 청록빛 광선을 어두운 정육면체가 가운데서 막고 있지만 빛이 양옆으로 계속 뻗어 나가는 모습 — 차단해 두었는데도 접근이 이어진다는 뜻의 개념 이미지 — 막아 놓은 자리 옆으로 빛이 계속 지나갑니다.

막아 놓았는데 들어왔습니다

이 이야기의 이상한 점은 아무도 규칙을 몰래 어기지 않았다는 데 있습니다. 어긴 쪽은 자기가 어겼다고 생각하지 않습니다. 규칙이 자기에게 적용되는지부터 다르게 보고 있기 때문입니다.

그래서 이건 단순한 위반 통계가 아니라 해석 충돌의 기록에 가깝습니다. 그리고 해석이 갈릴 때 웹에서 최종 결정권을 누가 갖는지에 관한 이야기이기도 합니다.

무슨 보고서인가 — 8월 14일 공개된 톨빗의 상반기 실측

톨빗은 퍼블리셔가 AI 봇 접근을 관리하고 과금할 수 있게 해 주는 회사입니다. 그 위치 덕분에 어떤 봇이 어떤 사이트를 어떻게 긁어 가는지를 실제 트래픽으로 볼 수 있습니다.

이번 보고서는 2026년 상반기를 대상으로 합니다. 핵심 수치는 유럽에서 식별된 AI 페이지 페처 가운데 약 15퍼센트가 사이트가 차단해 둔 주소에 도달했다는 것입니다. 추정치가 아니라 관측된 요청을 센 값입니다.

15퍼센트라는 숫자가 실제로 가리키는 것

15퍼센트를 어떻게 읽을지가 중요합니다. AI 봇의 15퍼센트가 나쁘다는 뜻이 아닙니다. 차단 표시가 붙은 주소에 실제로 도달한 요청의 비율입니다.

바꿔 말하면 여섯 번에 한 번꼴로 문 앞의 표시가 무시됐다는 뜻입니다. 문이 잠긴 것이 아니라 표시만 붙어 있었기 때문에 가능한 일입니다. 이 구분이 이 사안 전체의 핵심입니다.

어두운 정육면체 위 한 점에서 청록빛 고리가 겹겹이 퍼져 나가는 모습 — 한 건의 측정 결과가 업계 전반으로 파장을 일으킨다는 뜻의 개념 이미지 — 문이 잠긴 것이 아니라 표시만 붙어 있었습니다.

robots.txt는 무엇이고 무엇이 아닌가

robots.txt는 사이트 최상위에 놓는 평범한 텍스트 파일입니다. 어떤 봇이 어느 경로에 접근하지 말아야 하는지를 적어 둡니다.

여기서 반드시 짚어야 할 것은 이 파일이 기술적 차단 장치가 아니라는 점입니다. 접근을 막는 것이 아니라 막아 달라고 요청하는 문서입니다. 지킬지 말지는 전적으로 봇을 만든 쪽이 정합니다. 잠금장치가 아니라 안내문에 가깝습니다.

30년 된 신사협정의 구조적 한계

이 방식은 1994년에 자리 잡았습니다. 당시 웹에는 검색 크롤러가 몇 종류 없었고, 크롤러를 만드는 쪽과 사이트를 운영하는 쪽의 이해가 대체로 일치했습니다. 색인에 잡히면 사람이 찾아오니 서로 좋았습니다.

지금은 그 전제가 무너졌습니다. AI가 페이지를 읽고 답을 만들면 사람은 원문에 오지 않습니다. 가져가는 쪽은 이득을 보고 내주는 쪽은 손해를 봅니다. 이해가 어긋난 상태에서 신사협정만 남으면 대체로 이런 결과가 나옵니다.

커다란 어두운 사각 틀 안쪽에 작고 밝은 청록빛 정육면체 하나가 떠 있는 모습 — 규칙이라는 틀 안에 놓인 실제 콘텐츠를 표현한 개념 이미지 — 이해가 어긋나면 신사협정만으로는 버티지 못합니다.

훈련 크롤러 · 검색 크롤러 · 페이지 페처의 차이

이번 보고서가 다루는 대상을 정확히 구분해야 합니다. AI 관련 봇은 크게 세 종류입니다.

훈련 크롤러는 모델 학습용 데이터를 모으려고 웹을 훑습니다. 검색 크롤러는 색인을 만들려고 훑습니다. 페이지 페처는 다릅니다. 사용자가 챗봇 창에 질문을 입력한 그 순간, 답하는 데 필요하다고 판단된 특정 주소 하나를 실시간으로 불러옵니다.

톨빗이 이번에 잰 것은 세 번째입니다.

왜 하필 페이지 페처가 문제가 되었나

페이지 페처가 논쟁의 중심이 된 이유는 그 요청의 성격이 애매하기 때문입니다. 봇이 스스로 웹을 돌아다니는 것이 아니라, 사람이 질문을 던져서 발생한 요청입니다.

그래서 이걸 자동화된 크롤링으로 볼지, 사람이 브라우저 주소창에 주소를 입력한 것과 같은 행위로 볼지가 갈립니다. 앞으로 볼 사업자들의 논리가 정확히 이 지점에서 나옵니다.

여러 갈래의 가느다란 청록빛 선이 두 어두운 덩어리 사이의 좁은 틈으로 모여드는 모습 — 수많은 실시간 요청이 한 주소로 집중된다는 뜻의 개념 이미지 — 사람이 물어서 생긴 요청을 크롤링으로 볼 것인가가 쟁점입니다.

챗GPT-유저 · 바이트스파이더 · 유봇 — 절반의 사이트에서

보고서는 봇 이름을 명시했습니다. ChatGPT-User, Bytespider, Youbot 세 봇은 자신을 robots.txt에 명시적으로 지목해 차단한 유럽 사이트 가운데 거의 절반에서 차단된 페이지에 도달했습니다.

여기서 조건을 정확히 보셔야 합니다. 애매하게 걸린 것이 아니라, 사이트가 그 봇의 이름을 적시해 막아 둔 경우입니다. 그중 절반에서 접근이 이뤄졌습니다. 영향받은 사이트 수가 가장 많은 것은 ChatGPT-User였습니다.

유럽과 북미의 차단율 격차가 벌어진 이유

보고서에는 지역 차이도 담겼습니다. 유럽 사이트는 북미 사이트보다 AI 봇을 훨씬 덜 차단하고 있습니다.

이유는 인식 차이라기보다 시차에 가깝습니다. 북미 퍼블리셔들이 AI 스크래핑 문제를 먼저 겪었고, 소송과 라이선스 협상도 먼저 시작했습니다. 유럽은 규제로 대응하는 경로를 택한 만큼 사이트 단위의 개별 차단 설정은 상대적으로 늦었습니다.

어두운 정육면체 무리 한가운데 밝은 청록빛 정육면체 하나가 도드라져 있는 모습 — 다수와 다른 대응을 택한 일부를 표현한 개념 이미지 — 차이는 인식이 아니라 시차에 가깝습니다.

클로드-유저 9퍼센트 대 26퍼센트가 말해 주는 것

구체적인 수치가 격차를 보여 줍니다. Claude-User는 유럽 사이트의 9퍼센트가 차단한 반면 북미에서는 26퍼센트가 차단했습니다. Perplexity-User는 유럽 13퍼센트, 북미 26퍼센트입니다.

둘 다 두 배 안팎 차이입니다. 그리고 비교적 최근에 등장한 페이지 페처들은 유럽에서 차단율이 한 자릿수에 머뭅니다. 새 봇일수록 아직 차단 목록에 이름이 오르지 못했다는 뜻이고, 차단은 늘 뒤늦게 따라간다는 구조적 약점을 보여 줍니다.

오픈AI와 퍼플렉시티의 논리 — 사용자가 시킨 요청이라면

두 회사의 입장은 명확합니다. 사용자가 촉발한 페칭에는 robots.txt가 적용되지 않을 수 있다는 것입니다.

논리는 이렇습니다. robots.txt는 자동화된 크롤러를 위한 규약인데, 페이지 페처는 사람이 지금 이 순간 요청한 페이지 하나를 대신 열어 주는 것이므로 성격이 다르다는 주장입니다. 사람이 브라우저로 그 페이지를 여는 것을 robots.txt가 막지 않듯이 말입니다.

굵고 환한 청록빛 막대 아래에 훨씬 가늘고 어두운 막대가 놓인 모습 — 같은 사안을 두고 크게 갈린 두 입장을 표현한 개념 이미지 — 같은 규약을 두고 해석이 정반대로 갈립니다.

앤스로픽의 입장 — 세 봇 모두 준수한다

반대편도 있습니다. 앤스로픽은 자사의 세 봇 모두 robots.txt를 준수한다는 입장을 밝혔습니다. 사용자가 촉발했는지 여부로 예외를 두지 않는다는 뜻입니다.

실제 차단율 수치에서도 Claude-User가 상대적으로 낮은 차단 대상이었다는 점은, 퍼블리셔들이 이 봇을 덜 위협적으로 보고 있다는 방증으로 읽을 수 있습니다. 다만 차단율이 낮다는 것과 준수율이 높다는 것은 다른 지표이므로 섞어 읽지는 말아야 합니다.

톨빗의 측정 방식 — 해명이 아니라 요청을 센다

톨빗의 판정 기준은 단순합니다. 차단된 주소로 요청이 들어오면 우회로 셉니다. 운영사가 문서로 무엇을 주장하든 반영하지 않습니다.

이 방식은 분명 한쪽에 불리합니다. 사용자 촉발 요청은 예외라고 보는 회사 입장에서는 위반이 아닌 것을 위반으로 센 셈이 되기 때문입니다. 다만 측정 기준으로서는 일관됩니다. 각 회사의 자체 해석을 반영하기 시작하면 회사마다 기준이 달라져 비교 자체가 불가능해집니다.

멀리 떨어진 두 개의 어두운 정육면체를 곧은 청록빛 선 하나가 잇고 있는 모습 — 요청과 응답이라는 단순한 사실만으로 측정한다는 뜻의 개념 이미지 — 해석을 반영하기 시작하면 비교가 불가능해집니다.

이 논쟁의 진짜 쟁점은 접근권이다

표면적으로는 크롤러 규약 다툼이지만 실제 쟁점은 더 큽니다. 온라인 콘텐츠에 대한 접근권을 누가 통제하고, 그 경제적 가치를 누가 가져가느냐입니다.

퍼블리셔는 자기 콘텐츠에 누가 접근할지 정하고 싶어 합니다. AI 에이전트는 실시간으로 답하고 행동하려면 웹에 접근해야 합니다. 두 요구는 정면으로 부딪칩니다. robots.txt는 이 충돌을 조정하기에는 너무 약한 도구입니다.

퍼블리셔가 잃는 것 — 트래픽과 광고 수익

퍼블리셔 쪽 손해는 계산하기 쉽습니다. 예전에는 검색 결과에서 링크를 눌러 사람이 사이트에 왔고, 그 방문이 광고와 구독으로 이어졌습니다.

지금은 AI가 페이지를 읽고 요약해 답하면 그 방문이 발생하지 않습니다. 서버 비용은 그대로 나가는데 방문자만 사라집니다. 비용은 남고 수익만 빠지는 구조라 버티기 어렵습니다.

아주 큰 어두운 정육면체 옆에 훨씬 작은 정육면체가 희미한 청록빛 테두리를 두르고 놓인 모습 — 커진 쪽과 작아진 쪽의 대비를 표현한 개념 이미지 — 비용은 남고 방문만 사라집니다.

AI 어시스턴트가 잃는 것 — 실시간성

반대편 손실도 짚어야 공정합니다. 페이지 페처가 막히면 AI 어시스턴트는 학습 시점에 갇힙니다. 오늘 벌어진 일, 방금 바뀐 가격, 지금 열려 있는지 여부를 답할 수 없게 됩니다.

이용자가 AI에 기대하는 가치의 상당 부분이 여기에 있습니다. 웹을 전부 차단하면 AI는 지난 시점의 백과사전으로 돌아갑니다. 그래서 이 문제는 한쪽이 이기는 방식으로는 풀리지 않습니다.

실제 사례 — 클라우드플레어의 7월 1일 정책 전환

규약이 안 통하면 다음 수단은 인프라입니다. 클라우드플레어는 7월 1일부터 네트워크 계층에서 봇을 통제하는 정책을 도입했습니다.

핵심은 분류입니다. 봇을 검색, 에이전트, 훈련 세 범주로 나눠 각각 다르게 다룹니다. 요청이 사이트 서버에 닿기 전에 판단하므로, 사이트가 robots.txt에 무엇을 적었는지와 무관하게 실제로 막을 수 있습니다.

두 개의 어두운 덩어리가 맞닿은 자리에 밝은 청록빛 경계선 하나가 그어진 모습 — 네트워크 계층에서 그어진 새 경계를 표현한 개념 이미지 — 규약이 안 통하면 다음 수단은 인프라입니다.

실제 사례 — 9월 15일부터 바뀌는 기본값

더 중요한 것은 기본값 변경입니다. 9월 15일부터 광고가 실린 페이지에서는 훈련 크롤러와 에이전트 크롤러가 기본적으로 차단됩니다.

기본값이 바뀐다는 것의 무게는 큽니다. 지금까지는 사이트 운영자가 무언가를 해야 막혔습니다. 앞으로는 아무것도 하지 않으면 막힙니다. 사이트 운영자 대부분이 기본값을 그대로 쓴다는 점을 생각하면, 이 한 줄이 15퍼센트라는 수치보다 실제 판도를 더 크게 바꿀 수 있습니다.

실제 사례 — 라이선스 계약을 맺은 곳은 나아졌나

계약이 해법이 되는지도 확인됐습니다. 업계 분석에 따르면 AI 라이선스 계약과 각종 보호 조치가 웹 스크래핑 자체를 늦추지는 못하고 있습니다.

이유는 단순합니다. 계약은 계약 당사자에게만 적용됩니다. 계약을 맺지 않은 사업자, 그리고 계약 당사자를 대신해 데이터를 모아 파는 제3자 스크래퍼는 그 계약 밖에 있습니다. 큰 곳 몇 군데와 합의해도 나머지가 그대로면 총량은 줄지 않습니다.

어둠 속을 나란히 가로지르는 청록빛 직선 두 줄 — 계약을 맺은 경로와 맺지 않은 경로가 따로 흐른다는 뜻의 개념 이미지 — 계약은 계약 당사자에게만 적용됩니다.

네트워크 계층 차단이 신사협정을 대체한다

흐름을 한 문장으로 정리하면, 요청하는 방식에서 강제하는 방식으로 넘어가는 중입니다.

이 전환에는 대가가 있습니다. robots.txt는 누구나 만들 수 있는 파일이라 비용이 들지 않았습니다. 네트워크 계층 차단은 그 계층을 제공하는 사업자를 거쳐야 합니다. 즉 웹의 접근 통제권이 개별 사이트에서 소수의 인프라 사업자에게로 옮겨 갑니다. 문제는 해결되지만 권한은 집중됩니다.

EU AI법의 투명성 의무와 겹치는 지점

규제 축도 같이 움직이고 있습니다. EU AI법은 AI가 생성하거나 조작한 콘텐츠를 식별하고 표시하는 장치를 요구합니다. 데이터 출처와 처리 과정을 문서로 남기는 의무도 함께 갑니다.

이것이 접근권 문제와 만나는 지점은 기록입니다. 무엇을 어디서 가져왔는지 남겨야 하는 의무가 강해질수록, 차단된 주소에서 가져온 데이터는 설명하기 곤란해집니다. 규약 위반이 규제 위반으로 번역될 수 있는 통로가 생기는 셈입니다.

여러 개의 어두운 정육면체가 각자 홈에 정확히 끼워지고 틈마다 청록빛이 차오른 모습 — 규제가 요구하는 기록과 정합성을 표현한 개념 이미지 — 규약 위반이 규제 위반으로 번역될 통로가 열립니다.

개인 블로그와 소규모 사이트가 할 수 있는 일

규모가 작은 사이트라면 선택지는 제한적이지만 없지는 않습니다.

첫째, robots.txt를 쓰되 그것이 안내문임을 알고 씁니다. 지키는 봇에게는 여전히 유효합니다. 둘째, 실제 차단이 필요하면 CDN이나 호스팅이 제공하는 봇 관리 기능을 켭니다. 여기가 진짜 차단이 일어나는 지점입니다. 셋째, 서버 로그에서 어떤 사용자 에이전트가 들어오는지 주기적으로 확인합니다. 이름을 모르면 목록에 넣을 수도 없습니다.

우리는 어떤 선택을 해야 하나

SVIL 블로그의 입장도 정리해 두겠습니다. 저희는 전면 차단을 택하지 않습니다. 이 블로그의 목적이 정보를 닿게 하는 것이고, AI 어시스턴트를 통해 닿는 경로도 그 목적에 부합하기 때문입니다.

다만 두 가지는 지키려 합니다. 원문 링크가 남는 방식을 선호하고, 인용이 아니라 통째로 대체되는 형태에는 선을 긋습니다. 이 판단은 사이트마다 다를 수밖에 없고, 정답은 트래픽이 수익과 직결되는지에 달려 있습니다.

칠흑 같은 어둠을 가느다란 청록빛 광선 하나가 비스듬히 가로지르는 모습 — 각자 방향을 정해야 한다는 뜻의 개념 이미지 — 정답은 트래픽이 수익과 직결되는지에 달려 있습니다.

앞으로 여섯 달 사이에 벌어질 일

가까운 미래는 비교적 또렷합니다.

9월 15일 클라우드플레어의 기본값 변경이 1차 분기점입니다. 광고 페이지에서 에이전트 크롤러가 기본 차단되면 접근 실패가 늘고, 어시스턴트 답변에서 최신 정보 비중이 눈에 띄게 줄 수 있습니다. 그 시점에 사업자들이 어떤 선택을 하는지가 다음 국면을 정합니다. 협상 테이블로 갈 수도, 우회 수단을 찾을 수도 있습니다. 후자를 택하면 논쟁은 규약 해석에서 접근 통제 기술의 대결로 완전히 넘어갑니다.

어두운 판 한가운데가 밝은 청록빛 사각형으로 활짝 열려 있는 모습 — 9월 15일 이후 열리거나 닫힐 접근 경로를 표현한 개념 이미지 — 9월 15일이 1차 분기점입니다.

핵심 정리

세 줄로 줄이면 이렇습니다.

첫째, 톨빗 측정에서 유럽 AI 페이지 페처의 약 15퍼센트가 차단된 주소에 접근했고, ChatGPT-User·Bytespider·Youbot은 자신을 명시적으로 막은 사이트의 거의 절반에서 접근이 확인됐습니다.

둘째, 이건 몰래 어긴 문제가 아니라 해석이 갈린 문제입니다. 오픈AI와 퍼플렉시티는 사용자 촉발 요청에 robots.txt가 적용되지 않을 수 있다고 보고, 앤스로픽은 세 봇 모두 준수한다고 밝혔습니다.

셋째, 해법은 규약이 아니라 인프라 쪽에서 오고 있습니다. 클라우드플레어가 9월 15일부터 광고 페이지의 에이전트·훈련 크롤러를 기본 차단합니다. 대신 접근 통제권이 소수 사업자에게 모입니다.

참고하실 만한 것

사이트를 운영하신다면 이번 주에 해 볼 만한 일이 하나 있습니다. 서버 로그에서 최근 한 달간 들어온 사용자 에이전트를 세어 보시는 것입니다. 이름조차 처음 보는 봇이 상위에 있는 경우가 흔합니다.

SVIL은 AI가 웹 생태계를 바꾸는 방식을 계속 추적하고 있습니다. 9월 15일 이후 실제로 무엇이 달라지는지는 다시 확인해 정리하겠습니다.

출처

협업문의 : kuroicode@gmail.com
블로그 : https://blog.svil.dev/
홈페이지 : https://kuroicode-beep.github.io/svil-homepage/