AI 기초 및 활용 9회: 확률과 불확실성 — 검사 양성이 곧 병이 아닌 이유

오늘의 질문 — 양성 판정, 얼마나 걱정해야 할까요

건강검진에서 어떤 희귀 질환 검사 결과가 양성으로 나왔다고 해봅시다. 의사가 말합니다. "이 검사는 환자의 90퍼센트를 잡아내는 정확한 검사입니다."

심장이 내려앉죠. 90퍼센트라니. 그런데 잠깐만요. 질문을 하나 드리겠습니다. 이 상황에서 실제로 병에 걸렸을 확률은 얼마일까요?

90퍼센트라고 답하고 싶으시겠지만, 정답은 10퍼센트도 안 될 수 있습니다. 조건에 따라서는 9퍼센트예요. 과장이 아닙니다. 실제 의사들에게 이 문제를 냈을 때도 다수가 틀렸다는 연구가 여럿 있어요.

어떻게 이런 일이 가능한지가 오늘의 주제입니다. 그리고 이 퍼즐을 푸는 사고법 — 증거가 나올 때마다 믿음을 갱신하는 법 — 이 AI가 불확실한 세상을 다루는 방법의 핵심이에요. 이 시리즈에서 일상에 가장 쓸모 있는 회차가 될 거라고 약속드립니다.

지난 회차 연결 — "맞히기"에서 "확신하기"로

7회차의 지도학습은 답을 맞혔고, 8회차의 비지도학습은 구조를 찾았습니다. 그런데 두 회차 내내 슬쩍 피해 간 질문이 있어요. 기계는 자기 답을 얼마나 확신하는가.

스팸 필터가 메일을 "스팸"으로 판정할 때, 그 속을 들여다보면 사실 "스팸일 확률 97퍼센트" 같은 숫자가 있습니다. 51퍼센트짜리 판정과 99퍼센트짜리 판정은 하늘과 땅 차이인데, 겉으로는 둘 다 "스팸"으로 보여요.

확신의 정도를 다루는 수학이 확률입니다. 그리고 5회차에서 미뤄둔 빚이 하나 있죠. 마이신의 확실성 계수 — 규칙에 "아마도"를 붙이던 임시방편이 "수학적으로 엄밀하지 않았다"고 했고, 제대로 된 기반을 9회차에서 보자고 약속했습니다. 오늘 그 약속을 지킵니다.

먼저 확률이라는 말부터 정리하고, 도입부의 검사 퍼즐을 숫자로 풀고, 그 원리로 스팸 필터의 원조를 만들어본 뒤, "AI의 확신을 믿어도 되는가"까지 갑니다.

확률이란 — 믿음의 온도계

확률에는 두 얼굴이 있습니다.

하나는 빈도입니다. 동전을 만 번 던지면 앞면이 약 절반 나온다 — 반복 가능한 사건에서 관찰되는 비율이에요. 학교에서 배운 확률이 대개 이쪽이죠.

다른 하나는 믿음의 정도입니다. "내일 이 협상이 타결될 확률은 70퍼센트" — 내일은 한 번뿐이라 만 번 반복할 수 없지만, 우리는 이런 문장을 자연스럽게 쓰고 이해합니다. 확신의 강도를 0에서 1 사이의 숫자로 표현한 거예요.

AI에서 중요한 건 두 번째 얼굴입니다. "이 메일이 스팸일 확률", "이 환자가 폐렴일 확률"은 반복 빈도가 아니라 지금 가진 증거에 비추어 본 믿음의 온도예요. 0은 "절대 아니다", 1은 "확실하다", 0.5는 "모르겠다"입니다.

이렇게 보면 확률의 규칙들은 일관성 있는 믿음이 지켜야 할 문법이 됩니다. 그리고 그 문법의 핵심 조항이, 새 증거가 왔을 때 믿음을 어떻게 고칠 것인가 — 오늘의 주인공인 갱신 규칙이에요.

퍼즐의 열쇠 — 기저율이라는 출발점

도입부의 검사 퍼즐로 돌아갑시다. 사람들이 놓치는 결정적 정보가 하나 있어요. 그 병이 애초에 얼마나 흔한가.

이 병이 인구의 1퍼센트에게만 있는 희귀 질환이라고 해봅시다. 검사받기 전의 당신이 병에 걸렸을 확률은 1퍼센트예요. 이 출발점의 확률을 사전확률 또는 기저율이라고 부릅니다.

사람들의 직관은 검사 결과(90퍼센트!)에 압도되어 이 출발점을 잊어버립니다. 심리학에서는 기저율 무시라고 부르는 유명한 오류예요. 하지만 출발점이 1퍼센트라는 사실은 증거가 나와도 사라지지 않습니다. 증거는 출발점을 이동시킬 뿐이에요.

얼마나 이동시키는지 보려면 검사의 성질을 하나 더 알아야 합니다. 병에 걸린 사람을 양성으로 잡아내는 능력(90퍼센트)만이 아니라, 건강한 사람을 얼마나 자주 양성으로 오판하는가도요. 이 검사가 건강한 사람의 9퍼센트에게도 양성을 띄운다고 합시다. 이 두 번째 숫자, 거짓 양성률이 퍼즐의 숨은 열쇠입니다.

천 명의 마을 — 퍼즐을 손으로 풀기

수식 없이 풉니다. 비결은 확률을 사람 수로 바꿔 세는 거예요. 주민 1,000명의 마을 전원이 이 검사를 받았다고 합시다.

1단계. 병에 걸린 사람: 1퍼센트니까 10명. 건강한 사람: 990명.

2단계. 걸린 10명 중 검사가 잡아내는 사람: 90퍼센트니까 9명 양성. (1명은 놓칩니다 — 거짓 음성.)

3단계. 건강한 990명 중 오판당하는 사람: 9퍼센트니까 약 89명 양성. (거짓 양성.)

4단계. 이제 양성 판정을 받은 사람을 전부 모아봅시다. 9명 + 89명 = 98명. 이 중에 진짜 환자는? 9명뿐입니다.

당신은 지금 이 98명 중 한 명이에요. 당신이 진짜 환자일 확률은 9/98, 약 9퍼센트입니다.

어떻게 된 걸까요? 병에 걸린 사람이 워낙 적어서(10명), 건강한 다수(990명)에서 나오는 소수의 오판(89명)이 진짜 환자의 양성(9명)을 수로 압도해버린 겁니다. 검사가 부정확해서가 아니에요. 병이 희귀해서입니다. 이것이 기저율의 힘이고, 90퍼센트라는 숫자만 보면 절대 보이지 않는 그림이에요.

베이즈 추론 — 갱신의 문법

방금 우리가 한 계산에는 이름이 있습니다. 베이즈 추론 — 18세기 영국의 목사 토머스 베이즈의 이름을 땄어요. 구조를 말로 정리하면 이렇습니다.

갱신된 믿음은, 출발점의 믿음에 증거의 힘을 곱한 것이다.

세 부품으로 나눠볼게요. 사전확률 — 증거를 보기 전의 믿음(병일 확률 1퍼센트). 가능도 — 각 가설이 이 증거를 얼마나 잘 설명하는가(병자는 90퍼센트 확률로 양성, 건강한 사람은 9퍼센트 확률로 양성 — 병 가설이 이 증거를 10배쯤 잘 설명하네요). 사후확률 — 증거를 반영해 갱신된 믿음(9퍼센트).

1퍼센트가 9퍼센트가 됐으니 믿음이 9배로 커졌습니다. 증거는 분명히 일을 했어요. 다만 출발점이 워낙 낮아서 갱신 후에도 낮은 것뿐입니다. "양성 = 병"이라는 직관은 출발점을 무시하고 증거만 본 오류였던 거죠.

이 갱신은 반복할 수 있습니다. 오늘의 사후확률은 내일의 사전확률이 돼요. 9퍼센트가 된 상태에서 더 정밀한 2차 검사를 받아 또 양성이 나오면, 9퍼센트를 출발점으로 다시 갱신합니다. 이번엔 출발점이 높아졌으니 사후확률이 크게 뜁니다. 실제 의료에서 선별 검사 뒤에 확진 검사를 두는 이유가 정확히 이거예요. 증거를 쌓아가며 믿음을 단계적으로 끌어올리는 구조인 겁니다.

베이즈적 사고의 일상 연습

이 사고법은 검사실 밖에서도 매일 쓸 수 있습니다. 세 가지 습관으로 정리할게요.

첫째, "원래 얼마나 흔한 일인가"부터 묻기. 충격적인 뉴스를 봤을 때 — "그 사건이 애초에 얼마나 드문 일인가"를 먼저 떠올리는 것. 비행기 사고 보도가 아무리 생생해도 기저율은 극히 낮습니다. 반대로 흔한 위험(계단, 도로)은 뉴스가 안 되니 과소평가되죠.

둘째, "이 증거를 다른 가설도 설명할 수 있나" 묻기. 친구가 연락을 안 받네요. "화났나?" 하지만 회의 중이라는 가설도, 폰을 두고 나갔다는 가설도 같은 증거를 잘 설명합니다. 증거의 힘은 경쟁 가설들과의 비교에서 나와요. 화난 사람도 연락을 안 받지만, 안 화난 사람도 연락을 못 받을 때가 많다면 이 증거는 약합니다.

셋째, 조금씩 갱신하기. 증거 하나에 믿음을 0에서 100으로 뒤집는 건 베이즈적이지 않습니다. 확신은 누적된 증거로 서서히 올라가는 것. 한 방에 확신을 주는 증거는 드물고, 그렇게 보이는 증거는 대개 의심해야 합니다.

5회차의 비단조 추론을 기억하시나요? "새 정보가 결론을 뒤집는다"를 논리로 다루려니 복잡했었죠. 확률의 세계에서는 이게 자연스럽습니다. 뒤집는 게 아니라 갱신하는 거니까요. 펭귄 정보가 들어오면 "난다"의 확률이 뚝 떨어질 뿐입니다. 논리가 애먹던 문제를 확률은 문법 안에 품고 있어요.

나이브 베이즈 — 스팸 필터의 원조

이제 이 원리로 실제 모델을 만듭니다. 7회차에서 결정트리로 스팸 필터를 만들었는데, 사실 역사상 스팸 필터의 원조는 베이즈였어요. 2000년대 초 이메일 서비스들을 구한 것이 나이브 베이즈 분류기입니다.

발상은 이렇습니다. 메일이 왔어요. 출발점은 기저율 — 전체 메일 중 스팸의 비율, 가령 30퍼센트. 이제 메일 속 단어 하나하나를 증거로 취급해 갱신을 반복합니다.

"당첨"이라는 단어. 훈련 데이터를 보니 스팸에서는 흔하고 정상 메일에서는 드물어요. 강한 증거네요 — 스팸 쪽으로 믿음을 크게 갱신. "회의"라는 단어는 반대로 정상 쪽 증거 — 반대로 갱신. "안녕하세요"는 양쪽에 다 흔하니 거의 힘이 없는 증거 — 미세하게만 갱신. 단어를 전부 처리하고 나면 최종 확률이 나오고, 문턱값을 넘으면 스팸함으로 보냅니다.

훈련은 어이없을 만큼 쉽습니다. 단어별로 "스팸에서 나온 횟수"와 "정상에서 나온 횟수"를 세어두는 게 전부예요. 세는 것만으로 학습이 끝나니 빠르고, 데이터가 적어도 그럭저럭 돌고, 새 단어가 유행하면 세어둔 표만 갱신하면 됩니다.

왜 "나이브"인가 — 순진한 가정의 역설

이름의 "나이브(순진한)"에는 이유가 있습니다. 이 모델은 단어들이 서로 독립이라고 가정해요. "무료"가 나왔다는 사실이 "당첨"이 나올 확률에 아무 영향을 주지 않는다고 치는 겁니다.

명백히 틀린 가정입니다. 실제 스팸에서 "무료"와 "당첨"은 붙어 다니죠. 단어들은 서로 얽혀 있어요. 그래서 "순진하다"는 이름이 붙었습니다.

그런데 역설이 있어요. 가정이 틀렸는데도 분류는 잘합니다. 왜일까요? 분류에 필요한 건 정확한 확률값이 아니라 어느 쪽이 더 큰가뿐이기 때문이에요. 독립 가정 탓에 확률 계산은 왜곡되지만, 스팸 쪽과 정상 쪽이 비슷하게 왜곡되면 대소 비교는 살아남습니다. 과녁의 정중앙은 못 맞혀도 어느 반쪽인지는 맞히는 셈이죠.

여기엔 실무의 큰 교훈이 있습니다. 모델의 가정이 틀렸다는 것과 모델이 쓸모없다는 것은 다른 문제다. "모든 모델은 틀렸다. 그러나 어떤 모델은 유용하다"라는 통계학자 조지 박스의 격언이 이 바닥의 좌우명이에요. 문제는 "가정이 참인가"가 아니라 "가정의 어긋남이 목적을 해치는가"입니다.

확실성 계수의 빚을 갚다

5회차의 마이신 이야기를 마무리할 수 있게 됐습니다. 마이신 팀도 1970년대에 불확실성을 다루려 했어요. 규칙마다 확신 점수를 붙이고 더하고 깎는 확실성 계수를 발명했죠.

이제 우리는 그 방식의 문제를 정확히 짚을 수 있습니다. 기저율이 없었어요. 확실성 계수는 증거의 힘만 다뤘지, "그 병이 애초에 얼마나 흔한가"라는 출발점이 체계에 없었습니다. 오늘 봤듯 출발점 없는 갱신은 90퍼센트짜리 착각을 낳죠. 또 증거들을 결합하는 규칙이 임의적이라, 같은 증거를 순서만 바꿔 반영해도 다른 결론이 나올 수 있었어요. 베이즈 갱신은 순서와 무관하게 같은 답에 도달합니다.

그런데 왜 마이신은 처음부터 베이즈를 안 썼을까요? 계산 비용 때문입니다. 증상들이 서로 얽힌 것까지 제대로 다루는 완전한 베이즈 계산은 당시 컴퓨터로는 불가능했어요. 확실성 계수는 그 시대의 타협이었던 겁니다.

이후 1980년대에 유디아 펄이 베이지안 네트워크 — 변수들의 의존 관계를 그물로 그려 필요한 계산만 하는 구조 — 를 내놓으면서 확률적 AI가 본격화됐고, 펄은 이 공로로 컴퓨터과학의 노벨상이라는 튜링상을 받았습니다. 5회차의 기호주의와 오늘의 확률이 만나는 지점이자, "불확실성을 다루는 AI"가 정식 학문이 된 순간이에요.

AI의 확신은 믿을 만한가 — 보정이라는 질문

모델이 "90퍼센트 확신"이라고 말할 때, 그 숫자를 믿어도 될까요? 이건 정확도와는 별개의 질문입니다.

일기예보로 생각해봅시다. "비 올 확률 70퍼센트"라고 말한 날들만 모아봤더니 실제로 그중 70퍼센트에 비가 왔다면, 이 예보관의 확신은 보정되어 있다고 말합니다. 숫자가 현실과 맞는 거죠. 반대로 "99퍼센트!"라고 외친 날들 중 절반만 비가 왔다면, 이 예보관은 정확할지언정 과신하는 겁니다.

현대 AI의 불편한 진실 하나. 깊은 신경망은 대체로 과신하는 경향이 있습니다. 처음 보는 낯선 입력에도 "99퍼센트 확신"을 곧잘 내놔요. 5회차에서 본 취성 — 자기가 모른다는 걸 모르는 병 — 이 확률의 얼굴로 다시 나타난 겁니다. 21회차에서 볼 언어 모델의 환각도 같은 계보예요. 모르는 것을 모른다고 말하는 능력은 아는 것을 맞히는 능력과 별개이고, 종종 더 어렵습니다.

그래서 실무에서는 모델의 확신 숫자를 사후에 현실과 맞춰주는 보정 작업을 따로 하고, 의료·자율주행처럼 위험한 분야에서는 "확신이 문턱 이하면 사람에게 넘겨라"라는 안전장치를 둡니다. AI의 답을 받아들일 때 우리가 물어야 할 것은 두 가지입니다. 얼마나 맞히는가, 그리고 자기가 틀릴 때를 아는가.

확률적 사고가 일하는 곳

오늘의 원리가 실제로 돌아가는 현장을 훑어봅시다.

의료 진단 — 선별 검사 → 확진 검사의 단계 설계 자체가 베이즈 갱신 구조입니다. 유병률(기저율)이 낮은 집단에 정밀 검사를 남발하면 거짓 양성이 진짜를 압도한다는 것도, 오늘 계산으로 이해할 수 있죠. 국가 검진 정책이 "몇 세 이상부터"를 정하는 근거에도 기저율이 들어 있습니다.

법정 — "DNA가 일치할 확률이 백만분의 일"이라는 증언은 강력해 보이지만, 데이터베이스에서 수백만 명을 검색해 찾아낸 일치라면 이야기가 달라집니다. 기저율 무시가 법정에서 일으킨 오판 사례들은 실제로 판례를 바꿨어요. 검사의 오류라는 이름이 붙은 유명한 오류 유형입니다.

스팸·사기 탐지 — 나이브 베이즈의 고향. 지금도 가벼운 텍스트 분류의 기본기로 쓰입니다.

일기예보와 재난 경보 — "강수 확률 70퍼센트"는 보정된 확률의 모범 사례입니다. 수십 년의 검증으로 숫자와 현실을 맞춰온 결과예요.

음성 인식과 자동 완성 — "이 소리가 이 단어일 확률"과 "이 단어 다음에 저 단어가 올 확률"의 결합. 그리고 이 "다음 단어의 확률"이라는 아이디어를 우주적 규모로 키운 것이 18회차의 대형 언어 모델입니다. 오늘의 씨앗이 그 거목의 뿌리예요.

핵심 정리 — 세 줄

첫째, 확률은 믿음의 온도이고, 베이즈 추론은 그 온도를 증거로 갱신하는 문법입니다. 갱신된 믿음 = 출발점(사전확률) × 증거의 힘(가능도). 오늘의 사후확률은 내일의 사전확률이 됩니다.

둘째, 출발점을 잊는 것이 최대의 오류입니다. 희귀한 병은 양성 판정 후에도 여전히 그리 높지 않을 수 있어요. 건강한 다수의 작은 오판이 병든 소수의 올바른 판정을 수로 압도하기 때문입니다. 헷갈리면 천 명의 마을로 바꿔 세어보세요.

셋째, 틀린 가정의 모델도 유용할 수 있고(나이브 베이즈), 정확한 모델도 과신할 수 있습니다(보정). AI의 확신 숫자는 정확도와 별개로 검증해야 할 대상이며, "모를 때 모른다고 말하는 능력"이 안전의 핵심입니다.

용어 정리

확률 — 반복 사건의 빈도이자, AI에서는 주로 확신의 정도를 0과 1 사이 숫자로 나타낸 것.

사전확률 — 증거를 보기 전의 출발점 믿음. 그 일이 애초에 얼마나 흔한가.

기저율 — 전체 집단에서 어떤 상태가 차지하는 기본 비율. 사전확률의 재료입니다.

기저율 무시 — 생생한 증거에 압도되어 출발점의 확률을 잊는 인지 오류.

가능도 — 어떤 가설이 참일 때 지금의 증거가 관찰될 확률. 경쟁 가설들의 가능도 비교가 증거의 힘을 정합니다.

사후확률 — 증거를 반영해 갱신된 믿음. 다음 갱신의 사전확률이 됩니다.

베이즈 추론 — 사전확률에 증거의 힘을 곱해 사후확률로 갱신하는 추론 방식.

거짓 양성 — 실제로는 아닌데 "그렇다"고 판정된 경우. 건강한데 양성.

거짓 음성 — 실제로 그런데 "아니다"고 판정된 경우. 병에 걸렸는데 음성.

나이브 베이즈 — 각 특징(단어 등)을 독립 증거로 가정하고 베이즈 갱신을 반복해 분류하는 모델. 세는 것만으로 학습됩니다.

독립 가정 — 특징들이 서로 영향을 주지 않는다는 가정. 나이브 베이즈의 "순진함"의 정체입니다.

베이지안 네트워크 — 변수 간 의존 관계를 그물 구조로 표현해 효율적인 확률 계산을 가능케 한 틀. 유디아 펄의 업적.

보정 — 모델이 말하는 확신 숫자가 실제 적중률과 일치하도록 맞추는 것. "70퍼센트라고 말한 것들 중 실제로 70퍼센트가 맞는가".

과신 — 확신 숫자가 실제 적중률보다 부풀려진 상태. 깊은 신경망의 흔한 경향입니다.

문턱값 — 확률 판정을 행동으로 바꾸는 기준선. 스팸함으로 보낼지, 사람에게 넘길지를 가르는 값.

다음 회차 예고 — 그리고 생각해볼 질문

7회차 끝에서 던진 경고를 기억하시나요. "정확도 95퍼센트"라는 말은 위험하다고, 스팸이 5퍼센트뿐인 메일함에서는 전부 정상이라고 우기는 바보도 95점을 받는다고요.

오늘 거짓 양성과 거짓 음성이라는 개념을 얻었으니, 다음 10회차 「모델 평가」에서 이 문제를 정면으로 해결합니다. 두 실수를 따로 세는 표(혼동 행렬), "잡았다고 한 것 중 진짜 비율"과 "진짜 중 잡아낸 비율"이라는 두 개의 렌즈(정밀도와 재현율), 그리고 둘 사이의 밀고 당기기까지. 암 검진과 스팸 필터가 왜 정반대의 저울질을 해야 하는지 알게 되실 거예요. 과적합을 잡는 실전 기법들도 이 회차에서 정리합니다.

생각해볼 질문

오늘 "확신은 증거로 서서히 갱신하는 것"이라고 했습니다. 그런데 사람의 믿음은 종종 반대로 움직여요. 반박 증거를 만나면 오히려 기존 믿음이 강해지기도 합니다. 자기 믿음에 유리한 증거만 눈에 들어오기도 하고요.

여러분이 최근에 믿음을 실제로 갱신한 경험은 언제였나요? 그때 무엇이 갱신을 가능하게 했나요 — 증거의 질이었나요, 증거를 준 사람에 대한 신뢰였나요, 아니면 믿음을 바꿔도 안전하다는 느낌이었나요?

댓글로 들려주세요. 기계의 갱신 규칙은 단순한데 사람의 갱신은 왜 어려운지, 함께 생각해보면 좋겠습니다.

이 포스트는 SVIL 연구소 「AI 기초 및 활용」 30회 시리즈의 9회차입니다. 하버드 CS50 AI, MIT 6.S191 등 공개 교육과정의 구조를 참고해 2026년 7월 기준으로 작성했으며, 모든 내용은 이미지 없이 본문만으로 이해할 수 있도록 구성되어 있습니다. 모든 이미지에는 내용을 설명하는 대체텍스트가 포함되어 있습니다.