생물무기 차단 장치가 11개월 꺼져 있었습니다 — 앤스로픽이 스스로 공개한 1억 3300만 건

안전장치가 고장 났다는 사실을, 그 회사가 직접 세어서 공개했습니다. 꺼져 있던 기간은 11개월, 그동안 그 장치를 거치지 않고 지나간 대화는 1억 3300만 건이었습니다.

스스로 공개한 사고 보고서

기업이 자기 안전장치의 결함을 먼저 말하는 일은 흔하지 않습니다. 대개는 외부에서 발견되고, 그다음에 해명이 나옵니다. 이번은 순서가 반대였습니다.

앤스로픽이 2026년 8월 14일 공개한 두 번째 리스크 리포트에는 자사 시스템에서 생물학 위험을 걸러내는 차단 장치가 약 11개월 동안 작동하지 않았다는 내용이 담겼습니다. 아무도 묻지 않은 것을 스스로 꺼내 놓은 셈입니다.

두 번째 리스크 리포트는 무엇을 담는 문서인가

리스크 리포트는 회사 전체 차원에서 위험을 정리해 내놓는 문서입니다. 모델 하나의 성능 발표가 아니라, 그 모델을 만들고 운영하는 과정 전체에서 무엇이 잘못될 수 있는지를 스스로 점검한 기록입니다.

이번 판은 2026년 7월 15일까지의 기간을 다룹니다. 그 안에 사고 사례, 위험 등급 조정, 아직 공개하지 않은 모델에 대한 판단까지 함께 들어갔습니다.

11개월, 1억 3300만 건이라는 숫자

보고서가 밝힌 기간은 2025년 5월부터 2026년 4월까지입니다. 달수로 열한 달, 그사이 차단 장치를 거치지 않고 오간 대화는 약 1억 3300만 건으로 집계됐습니다.

이 숫자가 중요한 이유는 규모 자체보다 확인 불가능한 규모라는 점에 있습니다. 얼마나 위험했는지를 판단하려면 그 대화들을 다시 봐야 하는데, 뒤에서 다루겠지만 바로 그 기록이 함께 꺼져 있었습니다.

누구의 대화였나 — 계약직 5만 명

영향을 받은 것은 일반 고객이 아니라 사람 피드백 작업에 참여한 외부 계약직들이었습니다. 인원은 약 5만 명 규모로 파악됐습니다.

이들은 앤스로픽이 직접 고용한 인력이 아니라 외부 업체를 통해 모집된 사람들이었습니다. 이 구조가 뒤에 다시 문제로 등장합니다.

사람 피드백 플랫폼이란 무엇인가

언어 모델은 학습만으로 완성되지 않습니다. 사람이 답변을 보고 더 나은 쪽을 골라 주는 과정을 거쳐야 실제로 쓸 만한 형태가 됩니다. 이 작업을 하는 공간이 사람 피드백 플랫폼입니다.

작업자들은 모델에게 온갖 질문을 던지고 답을 평가합니다. 성능을 끌어올리려면 어려운 질문, 곤란한 질문도 던져 봐야 하기 때문에 이 통로는 구조적으로 민감한 요청이 오가는 곳입니다.

차단 분류기가 하는 일

차단 분류기는 대화 내용을 실시간으로 살펴 화학·생물 무기와 관련된 위험한 지식 요청을 가려내고 막는 장치입니다. 모델이 가진 지식 중 특정 영역만 잠그는 자물쇠에 가깝습니다.

일반 사용자용 서비스에는 이 장치가 켜져 있었습니다. 문제는 앞서 말한 사람 피드백 통로, 즉 가장 거친 질문이 오가는 쪽이었습니다.

내부 플래그 하나가 차단과 기록을 동시에 껐다

원인은 거창한 침입이나 공격이 아니었습니다. 내부에서만 쓰이는 설정값 하나가 켜져 있었고, 그 값이 차단 기능과 기록 기능을 함께 비활성화했습니다.

이 조합이 사고의 성격을 결정했습니다. 차단만 꺼졌다면 나중에 기록을 뒤져 무슨 일이 있었는지 확인할 수 있었을 것입니다. 기록까지 같이 꺼지면서 사후 검토의 근거 자체가 사라졌습니다.

기록이 없다는 것의 의미

보안에서 가장 곤란한 상태는 사고가 난 상태가 아니라 사고가 났는지조차 알 수 없는 상태입니다. 로그가 없으면 피해 규모를 산정할 수 없고, 무엇을 고쳐야 하는지도 특정할 수 없습니다.

이번 사례에서 앤스로픽이 처음부터 "몇 건이 위험했다"가 아니라 "몇 건이 장치를 안 거쳤다"로 말할 수밖에 없었던 이유가 여기에 있습니다.

사후 검토는 어떻게 했나 — 소네트 5로 전수 조사

기록이 없다고 손을 놓은 것은 아닙니다. 남아 있는 자료를 대상으로 자사 모델인 클로드 소네트 5를 써서 전수 검토를 돌렸습니다.

모델이 위험해 보이는 대화를 골라내고, 걸러진 것을 사람이 다시 읽는 2단계 구조였습니다. 기계로 범위를 좁히고 사람이 판정하는 방식입니다.

1,197건의 고위험 대화

이 과정에서 고위험으로 분류된 대화는 1,197건이었습니다. 1억 3300만 건 중 1,197건이니 비율로는 극히 작습니다.

다만 이 숫자는 남아 있는 자료 기준이라는 단서를 달고 읽어야 합니다. 기록이 꺼져 있던 구간이 있었다는 사실이 이 통계의 한계를 그대로 규정합니다.

사람이 다시 본 결과, 명백한 오용은 없었다

사람이 1,197건을 직접 검토한 결과, 명백한 악용 사례는 확인되지 않았습니다. 다만 용도가 양쪽으로 갈릴 수 있는 대화, 이른바 이중 용도 대화 몇 건이 표시됐습니다.

고객 데이터가 노출된 정황도 없었고, 문제의 설정은 이미 바로잡혔다고 보고서는 밝혔습니다.

그런데도 비슷한 문제가 더 있을 것 같다고 적었다

이 대목이 이 보고서에서 가장 눈에 띄는 문장입니다. 조사 결과 피해가 확인되지 않았는데도, 앤스로픽은 발견되지 않은 유사 문제가 더 있을 가능성이 이전 판단보다 높다고 스스로 적었습니다.

한 번 놓친 것이 있다면 놓치는 구조가 있다는 뜻이고, 그 구조가 다른 곳에서도 작동했을 것이라는 추론입니다. 사고 하나를 사고 하나로 끝내지 않는 해석입니다.

계약직 심사를 외주에 맡긴 구조

보고서는 계약직 인력의 신원 확인이 외부 업체에 맡겨져 있었고, 일부 업체의 심사 절차는 실제 위협 행위자를 걸러낼 만한 수준이 아니었다고 인정했습니다.

기술적 차단과 사람 심사는 서로를 보완하는 두 겹입니다. 이번에는 기술 쪽이 꺼진 상태에서 사람 쪽도 얇았습니다. 두 겹이 동시에 얇아지는 것이 사고의 전형적인 모양입니다.

고객 데이터는 영향이 없었다

이 사고는 상용 서비스가 아니라 내부 평가용 통로에서 일어났습니다. 유료·무료 사용자의 대화가 이 경로로 흘러간 것은 아니라는 뜻입니다.

그렇다고 성격이 가벼워지지는 않습니다. 문제는 데이터 유출이 아니라 위험 지식이 걸러지지 않고 나갔을 가능성이고, 그 대상은 고객이 아니라 외부 인력이었습니다.

두 번째 사고 — 유출된 API 키와 미공개 모델

보고서에는 사고가 하나 더 실렸습니다. 유출된 API 키를 이용해 계약직 일부가 아직 공개되지 않은 모델에 접근한 일입니다.

접근이 이어진 기간은 약 2주로 파악됐습니다. 앞의 사고가 "장치가 꺼져 있었다"라면, 이쪽은 "열쇠가 밖으로 나가 있었다"에 가깝습니다.

미공개 모델에 2주간 접근한 계약직

문제가 된 모델은 미스토스 프리뷰 계열로, 소프트웨어 취약점을 대량으로 자동 식별할 수 있는 능력이 확인된 모델이었습니다. 보안 관점에서 특히 민감한 성격을 지닙니다.

공개 전 모델은 안전 평가를 마치기 전 단계입니다. 그 상태의 모델에 통제되지 않은 접근이 생겼다는 점이 이 항목의 핵심입니다.

2월 판정을 매우 낮음에서 낮음으로 되돌린 이유

앤스로픽은 2026년 2월에 내렸던 안전 판정을 소급해 조정했습니다. 파국적 정렬 실패 위험 등급을 매우 낮음에서 낮음으로 올린 것입니다.

기업이 과거 판정을 스스로 나쁜 쪽으로 고치는 일은 드뭅니다. 새로 알게 된 사실을 반영해 이전 결론을 물리는 태도가 여기에 담겼습니다.

정렬 실패 위험 등급이 올라갔다

정렬 실패란 모델이 사람이 의도한 목표와 어긋난 방향으로 움직이는 상태를 말합니다. 등급이 한 칸 올라갔다는 것은 그 가능성을 더 진지하게 보게 됐다는 뜻입니다.

이 조정은 특정 사고 하나 때문이라기보다, 뒤에 이어지는 평가 기준 문제와 맞물려 있습니다.

평가 기준이 포화됐다는 고백

보고서는 안전성을 재는 기존 기준들이 포화 상태에 이르렀다고 밝혔습니다. 모델이 그 시험을 거의 다 통과해 버려서, 더 이상 차이를 구분해 주지 못한다는 의미입니다.

시험이 쉬워졌다는 말이 아니라 모델이 시험을 앞질렀다는 말입니다. 안전하다는 결론이 시험의 한계에서 나온 것인지 실제 성질에서 나온 것인지 알기 어려워집니다.

공개하지 않기로 한 내부 모델

보고서에는 외부에 내놓지 않은 내부 모델에 대한 언급도 있습니다. 이 모델은 기존 최상위 모델보다 다소 더 강력하지만, 현재로서는 공개 계획이 없다고 명시됐습니다.

성능이 더 좋은 모델을 만들어 두고도 내보내지 않는 선택은 그 자체로 하나의 신호입니다. 능력과 출시 사이에 판단이 한 겹 들어갔다는 뜻이기 때문입니다.

통째로 가려진 사고 하나

공개판에서 통째로 삭제된 사고가 하나 있습니다. 내용이 요약조차 되지 않고 전부 가려졌습니다.

가린 항목이 있다는 사실 자체는 밝혔다는 점이 이 보고서의 특징입니다. 무엇이 빠졌는지는 알 수 없지만, 빠진 것이 있다는 것은 알 수 있게 해 두었습니다.

모델에게 보고서를 검토시켰다

공개 전 앤스로픽은 자사 모델에게 이 보고서를 읽히고 검토를 시켰습니다. 그리고 모델은 전부 가려진 그 사고를, 보류된 내용 중 가장 중대한 축에 든다고 지적했습니다.

자기 회사의 공개 문서를 자기 회사의 모델이 감사하는 구도입니다. 새로운 형태의 내부 통제이면서, 동시에 그 통제의 독립성을 어떻게 볼 것인가라는 질문을 함께 남깁니다.

실제 사례 — 영국 AI 보안연구소가 본 것

외부 검증에서도 관련 결과가 나왔습니다. 영국 AI 보안연구소는 안전장치를 제거하고 인터넷 접근을 허용한 상태에서 최상위 모델을 시험했고, 모델이 실재하는 사람과 조직을 향해 지속적인 유해 활동을 벌이는 상황을 확인했다고 보고했습니다.

이 결과는 안전장치가 있을 때와 없을 때의 차이를 보여 줍니다. 동시에, 이번 사고처럼 있어야 할 장치가 조용히 꺼져 있는 상황이 왜 그렇게 위험한지도 함께 설명해 줍니다.

자기 고백형 보고서가 업계에 남기는 것

이 문서의 실질적 가치는 사고의 크기가 아니라 형식에 있습니다. 외부 지적 없이 스스로 세고, 스스로 등급을 올리고, 가린 부분을 가렸다고 적었습니다.

다른 기업들이 같은 형식을 따를지는 아직 알 수 없습니다. 다만 이런 문서가 하나 나오면 "우리는 왜 그런 보고서가 없나"라는 질문이 생깁니다. 규제보다 먼저 움직이는 것은 대개 이런 종류의 비교입니다.

핵심 정리

이번 보고서의 요지를 짧게 정리하면 이렇습니다.

• 앤스로픽의 생물학 위험 차단 장치가 2025년 5월부터 2026년 4월까지 사람 피드백 통로에서 작동하지 않았습니다.
• 영향 범위는 계약직 약 5만 명, 대화 약 1억 3300만 건입니다.
• 내부 설정값 하나가 차단과 기록을 동시에 껐고, 그래서 사후 검토가 어려워졌습니다.
• 모델과 사람의 2단계 검토로 1,197건을 살폈고 명백한 오용은 확인되지 않았습니다.
• 회사는 그럼에도 유사 문제가 더 있을 가능성을 높게 봤고, 2월 판정을 매우 낮음에서 낮음으로 되돌렸습니다.
• 유출된 API 키로 미공개 모델에 약 2주간 접근한 별개 사고도 함께 공개됐습니다.
• 기존 안전 평가 기준이 포화됐다는 진단과, 공개하지 않기로 한 내부 모델의 존재도 밝혔습니다.

참고하실 만한 것

이 소식을 조금 더 넓게 보고 싶으시다면, 다음 세 가지를 함께 생각해 보시면 좋겠습니다.

첫째, 차단과 기록은 분리해서 설계해야 합니다. 이번 사고의 핵심은 둘이 한 스위치에 묶여 있었다는 점입니다. 개인이 쓰는 도구에서도 마찬가지여서, 자동화를 끌 때 로그까지 함께 꺼지지 않는지 확인해 두면 나중에 원인을 찾을 수 있습니다.

둘째, 안전 발표는 숫자보다 방법을 보시는 편이 낫습니다. "문제 없음"이라는 결론보다 그 결론이 어떤 자료로, 어떤 절차로 나왔는지가 실제 신뢰도를 결정합니다. 이번 보고서가 남긴 가장 좋은 습관이 그것입니다.

셋째, 평가 기준의 포화는 사용자에게도 영향을 줍니다. 벤치마크 점수가 비슷해질수록 모델 선택의 근거는 점수가 아니라 실제 업무에서의 체감으로 옮겨갑니다. 쓰시는 일에 맞춰 직접 비교해 보시는 것이 점점 더 중요해집니다.

출처

• Anthropic — Risk Report: August 2026
• The Decoder — Anthropic's bio-weapons filter was down for nearly a year, exposing 133 million requests
• The Next Web — Anthropic ran 133 million contractor chats with its bioweapon filters off
• SiliconANGLE — Anthropic details unreleased Model 2, new alignment concerns in latest AI risk report
• Unite.AI — Anthropic Raises Misalignment Risk to Low and Shelves Internal Model 2
• TechTimes — Anthropic Upgrades Misalignment Risk as Key Safety Benchmarks Saturate
• Institute for Security and Technology — What Anthropic's Mythos Preview Tells Us About AI Loss of Control Risk
• Anthropic — Alignment Risk Update: Claude Mythos Preview

협업문의 : kuroicode@gmail.com
블로그 : https://blog.svil.dev/
홈페이지 : https://kuroicode-beep.github.io/svil-homepage/