AI 기초 및 활용 28회: AI 윤리 — 편향은 버그가 아니라 선택의 축적입니다

오늘의 질문 — 편향은 누구의 잘못인가

AI가 편향된 판단을 내렸다는 뉴스를 자주 봅니다. 그럴 때 흔한 반응이 둘이에요. "기계가 무슨 편견이 있겠어, 데이터가 그런 거지"와 "만든 사람들이 편견을 넣은 거지"요.

둘 다 절반만 맞습니다. 그리고 둘 다 책임을 다른 데로 미루는 방식이라는 공통점이 있어요.

오늘 그 구조를 정확히 들여다봅니다. 편향이 정확히 어디서 생기는지, 왜 알아채기 어려운지, 그리고 공정하게 만들라는 요구가 왜 생각보다 훨씬 어려운 주문인지를요.

결론을 미리 말하면 이렇습니다. 편향은 버그가 아니라 선택의 축적입니다. 그리고 선택에는 책임이 따릅니다.

지난 회차 연결 — 제6부를 열며

제5부까지가 어떻게 쓰는가였다면 제6부는 그래서 세상이 어떻게 되는가입니다. 남은 세 회차예요.

28회차는 윤리, 29회차는 사회와 규제, 30회차는 미래와 마무리입니다.

오늘의 재료도 이미 나와 있습니다. 6회차의 데이터의 함정, 10회차의 불균형 데이터와 지표의 함정, 19회차의 누구의 선호가 기준인가, 27회차의 개인이 조심해서 풀 수 없는 문제요.

편향은 어디서 오나 ① 데이터가 세상을 반영합니다

가장 근본적인 출처입니다. 데이터는 세상을 있는 그대로 담습니다. 세상이 불공평하면 데이터도 불공평합니다.

6회차에서 "규칙을 묻지 말고 사례를 보여줘라"가 머신러닝의 발상이라고 했죠. 그런데 그 사례가 과거에 실제로 일어난 일이라는 게 문제입니다.

예를 들어 과거 채용 기록으로 채용 모델을 학습시키면 어떻게 될까요. 과거에 특정 집단이 덜 뽑혔다면, 모델은 그것을 "이 집단은 뽑히지 않는 경향이 있다"는 패턴으로 배웁니다.

여기서 중요한 점. 모델은 편견을 갖지 않습니다. 그냥 통계를 정확히 배울 뿐이에요. 그래서 더 고약합니다. 정확하게 배울수록 과거의 불공정을 정확하게 재현하니까요.

편향은 어디서 오나 ② 과거가 미래를 정합니다

더 심각한 것은 되먹임입니다.

모델이 과거 패턴대로 판단하면 그 판단이 새로운 현실이 됩니다. 그리고 그 현실이 다음 학습 데이터가 되죠.

범죄 예측 시스템이 대표적인 예로 논의됩니다. 과거에 순찰이 집중된 지역에서 범죄 기록이 더 많이 쌓입니다. 그러면 모델이 그 지역을 위험하다고 판단하고, 순찰이 더 집중되고, 기록이 더 쌓이고요. 스스로를 증명하는 순환이 만들어집니다.

이것이 편향이 특히 위험한 이유입니다. 한 번 들어가면 스스로 강화됩니다. 그리고 그 결과가 다시 "데이터가 그렇게 나왔다"는 근거로 쓰이고요.

편향은 어디서 오나 ③ 설계 선택

데이터만 탓하면 안 됩니다. 사람이 내리는 선택이 여러 지점에 있어요.

무엇을 예측할지 정하는 것이 첫 번째입니다. 채용에서 "좋은 직원"을 무엇으로 정의할까요. 근속 기간? 상사 평가? 그 선택 자체가 가치 판단입니다.

어떤 특징을 쓸지가 두 번째입니다. 민감한 항목을 빼면 될까요? 안 됩니다. 대리 변수가 남거든요. 거주 지역, 출신 학교, 이름이 간접적으로 같은 정보를 담습니다.

무엇을 성공으로 볼지가 세 번째입니다. 10회차에서 다룬 그것이요. 전체 정확도만 보면 소수 집단의 실패가 묻힙니다. 90퍼센트가 다수 집단이면 소수 집단을 전부 틀려도 정확도는 90퍼센트예요.

그래서 "우리는 편향을 넣지 않았다"는 말은 성립하지 않습니다. 선택을 안 한 것이 아니라 기본값을 선택한 것입니다.

실제로 벌어진 일들

추상적으로 말하면 실감이 안 나니 실제 사례 유형을 정리하겠습니다. 특정 기업을 지목하기보다 반복해서 나타나는 패턴으로요.

채용 선별. 과거 합격자 데이터로 학습한 시스템이 특정 성별·출신을 불리하게 평가하는 사례가 여러 차례 보고됐고, 그 때문에 폐기된 시스템도 있습니다.

얼굴 인식. 학습 데이터에 특정 피부색과 성별이 적게 포함되어 그 집단에서 오류율이 크게 높다는 연구가 여러 번 나왔습니다. 그리고 이 오류가 수사와 체포로 이어진 사례도 보고됐고요.

의료 자원 배분. "의료비 지출"을 건강 필요의 지표로 삼았더니, 의료 접근이 어려워 지출이 적었던 집단이 덜 아픈 것으로 분류된 사례가 유명합니다. 지표 선택 하나가 만든 결과예요.

신용 평가. 명시적으로 성별을 쓰지 않아도 대리 변수를 통해 차등이 발생한 사례들이 있습니다.

왜 알아채기 어려운가

편향의 진짜 문제는 보이지 않는다는 점입니다. 이유가 넷 있습니다.

평균에 묻힙니다. 10회차의 그 함정이요. 전체 성능이 좋으면 부분의 실패를 안 봅니다.

탈락한 사람은 이유를 모릅니다. 채용에서 떨어진 사람은 왜 떨어졌는지 알 수 없습니다. 피해자가 피해를 인지하지 못합니다.

비교 대상이 없습니다. "내가 다른 조건이었다면 결과가 달랐을까"를 확인할 방법이 없어요.

기계라서 더 믿습니다. 사람이 내린 결정에는 "편견 아니냐"고 따질 수 있는데, 기계가 내린 결정은 객관적으로 보입니다. 21회차에서 다룬 확신과 정확도의 어긋남이 여기서는 기계에 대한 과신으로 나타납니다.

공정성이라는 말의 문제

이제 오늘의 어려운 대목입니다. "공정하게 만들라"는 요구는 생각보다 훨씬 모호합니다.

왜냐하면 공정성이 하나로 정의되지 않기 때문입니다. 여러 정의가 있고, 서로 다른 것을 요구합니다.

그리고 이건 철학적 논쟁이 아니라 수학적으로 증명된 사실입니다. 합리적으로 보이는 공정성 정의들을 동시에 만족시키는 것은 대체로 불가능합니다.

이 사실이 중요합니다. 기술로 다 풀 수 있는 문제가 아니라는 뜻이니까요. 어느 정의를 택할지는 사회가 결정해야 합니다.

세 가지 공정성 정의

구체적으로 보겠습니다. 대출 심사를 예로 들게요.

첫째, 집단별 승인율을 같게. 어느 집단이든 같은 비율로 승인되게 하는 것입니다. 직관적으로 공정해 보이죠. 그런데 집단 간에 실제 상환 능력 분포가 다르면 한쪽에서 부실이 늘어납니다.

둘째, 실제로 갚을 사람을 놓치는 비율을 같게. 자격이 있는데 거절당하는 비율을 집단 간에 맞추는 것입니다. 개인의 억울함에 초점을 맞춘 정의예요.

셋째, 점수의 의미를 같게. "70점"이 어느 집단에서든 같은 상환 확률을 뜻하게 하는 것입니다. 점수의 신뢰성에 초점을 맞춘 정의죠.

셋 다 말이 됩니다. 그리고 셋 다 다른 사람들을 보호합니다.

그리고 셋을 동시에 만족할 수 없습니다

여기가 핵심입니다. 집단 간에 실제 비율이 다르면 이 정의들은 동시에 성립할 수 없습니다. 수학적으로요.

하나를 맞추면 다른 하나가 어긋납니다. 그러니 "공정한 알고리즘을 만들었다"는 말은 항상 불완전합니다. 어떤 공정성을 택했는지를 말해야 의미가 있어요.

실제로 이 문제가 크게 불거진 사례가 있습니다. 재범 예측 시스템을 두고, 한쪽은 "오류율이 집단 간에 다르다"며 편향을 지적했고 개발사는 "점수의 의미는 집단 간에 같다"고 반박했어요.

둘 다 사실이었습니다. 서로 다른 공정성 정의를 쓴 것이죠. 이 논쟁이 기술로 해결되지 않는다는 것을 분명히 보여줬습니다.

그래서 무엇을 해야 하나

"불가능하다"에서 끝내면 안 됩니다. 할 수 있는 것이 분명히 있어요.

어떤 정의를 택했는지 밝히는 것이 첫째입니다. 숨기지 않고 명시하면 논쟁이 가능해집니다. 무엇을 우선했고 무엇을 포기했는지요.

집단별로 나눠 측정하는 것이 둘째입니다. 전체 성능만 보지 말고 집단마다 따로 재는 겁니다. 그러면 최소한 어디서 나쁜지는 보입니다.

피해의 크기를 함께 보는 것이 셋째입니다. 같은 오류율이라도 결과의 무게가 다릅니다. 대출 거절과 오진은 다르죠.

그리고 넷째. 영향받는 사람들을 결정에 참여시키는 것입니다. 어느 공정성이 중요한지는 당사자가 가장 잘 압니다.

대표성 — 누가 데이터에 없는가

편향의 또 다른 형태입니다. 데이터에 아예 없는 사람들이요.

데이터는 기록되는 사람의 것입니다. 온라인에 글을 많이 쓰는 사람, 서비스를 많이 쓰는 사람, 기록이 잘 남는 환경에 있는 사람이요.

그러면 반대편이 생깁니다. 기록이 적게 남는 사람들은 모델에게 존재하지 않는 것에 가깝습니다.

18회차에서 봤듯 모델은 드문 것을 잘 못 배웁니다. 그리고 21회차에서 봤듯 드문 것에서 환각이 납니다. 소수 집단에 대한 답이 부정확한 이유가 여기 있습니다.

그리고 이건 고치기 어렵습니다. 데이터를 더 모으면 되지만, 애초에 기록이 적게 남는 조건 자체가 바뀌지 않으면 소용없거든요.

설명 가능성 — 왜 그렇게 판단했나

편향을 잡으려면 왜 그렇게 판단했는지를 알아야 합니다. 그런데 그게 어렵습니다.

12회차에서 이미 이유를 배웠어요. 은닉층이 만들어낸 좌표는 사람이 정한 것이 아니라 학습이 만든 것이라, 그 축이 무엇을 뜻하는지 아무도 이름 붙여 주지 않았습니다.

그래서 "왜 이 사람을 거절했나"에 대한 답이 수십억 개 숫자의 조합이 됩니다. 설명이 안 되는 게 아니라 설명이 사람이 이해할 형태가 아닌 거예요.

그리고 20회차에서 짚었듯 모델이 내놓는 설명을 그대로 믿을 수도 없습니다. 실제로 답을 결정한 요인과 제시된 이유가 다를 수 있으니까요.

설명이 왜 어려운가

조금 더 들어가면 근본적인 긴장이 있습니다.

18회차에서 압축이 곧 이해라고 했죠. 모델이 강한 이유는 수많은 요인을 복잡하게 조합하기 때문입니다.

그런데 설명 가능하다는 것은 단순하다는 뜻입니다. 사람이 따라갈 수 있어야 하니까요.

그래서 성능과 설명 가능성이 대체로 반대 방향입니다. 26회차에서 봤듯 단순한 선형 모델이 대출 심사에서 여전히 쓰이는 이유가 이겁니다. 성능이 조금 낮아도 왜 그런지 말할 수 있으니까요.

여기서 중요한 판단이 나옵니다. 설명이 필요한 영역에서는 성능을 조금 포기하는 것이 옳을 수 있습니다. 이건 기술 문제가 아니라 가치 선택이에요.

책임은 누구에게 있나

이제 가장 어려운 질문입니다. 잘못됐을 때 누가 책임지나요.

관련된 사람이 많습니다. 데이터를 만든 사람, 모델을 만든 회사, 그것을 가져다 쓴 조직, 결정을 내린 담당자, 그리고 규제를 정한 기관이요.

그리고 각자 다른 쪽을 가리킬 수 있습니다. "데이터가 그랬다", "우리는 도구만 제공했다", "시스템이 그렇게 판정했다"요.

이것을 책임의 공백이라고 부릅니다. 관여한 사람은 많은데 아무도 온전히 책임지지 않는 상태요.

그리고 이 공백은 자동화가 만들어냅니다. 사람이 결정하면 그 사람이 책임지는데, 시스템이 결정하면 책임이 흩어집니다.

책임의 사슬을 끊지 않는 법

대응 원칙이 몇 가지 정리되어 있습니다.

사람이 최종 결정을 하게 합니다. 21·23·27회차에서 반복한 그것이요. 다만 형식적이면 안 됩니다. 실제로 뒤집을 수 있어야 하고, 뒤집을 시간과 정보가 주어져야 합니다.

이의를 제기할 통로를 만듭니다. 자동 판정에 대해 사람에게 재심을 요구할 권리요. 29회차에서 다룰 규제의 핵심 항목이기도 합니다.

기록을 남깁니다. 무엇을 근거로 어떤 판정이 나왔는지요. 없으면 사후에 따질 수가 없습니다.

도입 전에 영향을 평가합니다. 누가 영향받는지, 잘못됐을 때 피해가 어느 정도인지를 미리 보는 겁니다. 27회차에서 말한 "규칙을 사고 뒤에 만들지 마라"가 여기서도 적용돼요.

피해는 균등하지 않습니다

이 시리즈가 계속 붙들어 온 관점을 다시 꺼내겠습니다.

AI의 오류로 인한 피해는 모두에게 똑같이 오지 않습니다. 대체로 이미 취약한 쪽에 더 무겁게 떨어집니다. 이유가 있어요.

데이터에 적게 있어서 오류율이 높고, 이의를 제기할 자원이 적어서 바로잡기 어려우며, 대안이 적어서 그 시스템을 피할 수 없습니다.

25회차에서 다룬 검증 비용의 불평등이 여기서 피해 회복의 불평등으로 확장됩니다.

그래서 편향을 평가할 때 오류율만 보면 안 됩니다. 누가 그 오류를 감당하는가를 함께 봐야 해요.

접근성 관점 — 데이터에 없는 사람들

25회차의 주제를 여기서 잇겠습니다. 장애인은 데이터에서 특히 소수입니다.

그리고 문제가 하나 더 있어요. 장애는 스펙트럼이라 "표준적인 사례"가 없습니다. 25회차에서 봤듯 저시력만 해도 양상이 제각각이죠. 그러니 평균으로 학습한 모델이 잘 맞을 리가 없습니다.

구체적인 결과들이 있습니다. 음성 인식이 비표준 발화에서 오류율이 훨씬 높고, 얼굴 인식이 안면 차이가 있는 사람에게 실패하며, 동작 인식이 비전형적 움직임을 인식하지 못합니다.

그리고 이것이 자동화된 심사에 쓰이면 직접적인 배제가 됩니다. 화상 면접의 표정 분석, 신원 확인의 얼굴 인식, 음성 인증 같은 것이요.

그래서 대안 경로를 반드시 두어야 합니다. 자동 인증이 실패했을 때 사람에게 갈 수 있는 길이요. 이건 편의가 아니라 접근권의 문제입니다.

개입할 수 있는 지점들

비관적으로만 끝내지 않기 위해 실제로 손을 댈 수 있는 자리를 정리하겠습니다. 여러 단계가 있어요.

데이터 수집 단계. 누가 빠져 있는지 확인하고 보완하는 것이요.

문제 정의 단계. 무엇을 예측할지, 무엇을 성공으로 볼지를 정하는 자리입니다. 가장 영향이 큰데 가장 덜 논의됩니다.

학습 단계. 특정 공정성 기준을 목표에 넣는 방법들이 있습니다.

평가 단계. 집단별로 나눠 측정하는 것이요.

배포 단계. 어디에 쓰고 어디에 안 쓸지, 사람 확인을 어디에 둘지요.

운영 단계. 계속 측정하고 이의를 받는 것이요. 배포하고 끝이 아닙니다.

개인이 할 수 있는 것

"이건 회사와 정부가 할 일 아닌가" 싶을 수 있습니다. 맞습니다. 그런데 개인 차원에서도 할 것이 있어요.

자동 판정을 받았을 때 이의를 제기하세요. 많은 경우 재심을 요구할 권리가 있습니다. 그리고 이의가 쌓여야 문제가 드러납니다.

기계의 판단을 무비판적으로 받아들이지 마세요. "시스템이 그렇게 나왔다"는 설명이 아닙니다. 근거를 물을 수 있어요.

내가 쓰는 자리에서 조심하세요. 27회차에서 짚었듯 사람에 대한 판단을 AI에 맡기지 않는 것이요. 지원서를 AI로 거르는 것도 여기 해당합니다.

편향을 발견하면 알리세요. 특정 집단에서 이상하게 작동하는 것을 발견했다면 보고하는 통로가 대개 있습니다.

만드는 사람이 할 수 있는 것

개발자와 기획자를 위해서도 실행 가능한 것만 추리겠습니다.

집단별로 나눠 측정하세요. 전체 지표 하나로 보고하지 말고요. 이것만 해도 많은 것이 드러납니다.

어떤 공정성을 택했는지 문서에 쓰세요. 그리고 무엇을 포기했는지도요.

대안 경로를 두세요. 자동 판정이 실패했을 때 사람에게 갈 수 있는 길이요.

영향받는 사람에게 물어보세요. 사용자 조사에 소수 집단을 반드시 포함시키는 것이요.

안 쓰기로 결정하는 것도 선택지에 두세요. 모든 문제에 AI가 답이 아닙니다. 이 결정을 자동화하지 않는 것이 가장 좋은 답일 때가 있어요.

윤리는 성능의 반대말이 아닙니다

마지막으로 태도를 정리하겠습니다. 윤리를 브레이크로만 보는 시각이 흔한데, 정확하지 않습니다.

오늘 다룬 문제들을 다시 보세요. 대표성이 낮은 데이터는 그냥 나쁜 데이터입니다. 집단별로 안 재는 평가는 그냥 부실한 평가고요. 설명할 수 없는 판단은 고칠 수도 없습니다.

10회차에서 "무엇을 재느냐가 무엇을 보느냐를 정한다"고 했죠. 편향을 본다는 것은 더 잘 재는 것이고, 더 잘 재면 더 나은 시스템이 됩니다.

25회차의 결론과 같습니다. 접근성이 설계 품질의 지표였듯, 공정성도 그렇습니다. 취약한 조건에서 잘 작동하는 시스템은 일반 조건에서 더 잘 작동합니다.

핵심 정리 — 세 줄

첫째, 편향은 버그가 아니라 선택의 축적입니다. 데이터가 과거의 불공정을 담고 있으므로 모델이 정확하게 배울수록 그것을 정확하게 재현하며, 판단이 다시 데이터가 되어 스스로 강화됩니다. 무엇을 예측할지, 어떤 특징을 쓸지, 무엇을 성공으로 볼지가 전부 사람의 선택이고, "편향을 넣지 않았다"는 말은 기본값을 선택했다는 뜻입니다.

둘째, 공정성은 하나로 정의되지 않고 여러 정의를 동시에 만족할 수 없습니다. 이것은 철학적 논쟁이 아니라 수학적으로 증명된 사실이며, 그래서 기술로 다 풀 수 있는 문제가 아닙니다. 할 수 있는 것은 어떤 정의를 택했고 무엇을 포기했는지 밝히고, 집단별로 나눠 재고, 당사자를 결정에 참여시키는 것입니다.

셋째, 피해는 균등하지 않고 책임은 흩어집니다. 데이터에 적게 있고 이의 제기 자원이 적고 대안이 없는 쪽에 오류가 더 무겁게 떨어지며, 자동화는 관여자를 늘려 아무도 온전히 책임지지 않는 공백을 만듭니다. 그래서 실제로 뒤집을 수 있는 사람의 결정과 이의 제기 통로와 기록이 필요합니다.

용어 정리

데이터 편향 — 학습 데이터가 세상의 불균형을 그대로 담아 모델이 그것을 재현하는 현상.

되먹임 순환 — 모델의 판단이 새로운 현실을 만들고 그것이 다시 학습 데이터가 되어 편향이 스스로 강화되는 구조.

대리 변수 — 민감한 항목을 직접 쓰지 않아도 간접적으로 같은 정보를 담는 특징. 거주 지역, 출신 학교 등이 해당합니다.

공정성 정의 — 무엇을 공정으로 볼지에 대한 서로 다른 기준. 집단별 비율, 놓치는 비율, 점수의 의미 등이 있으며 동시에 만족할 수 없습니다.

대표성 — 데이터가 실제 대상 집단을 고르게 담고 있는 정도. 기록이 적게 남는 사람은 모델에게 거의 존재하지 않습니다.

설명 가능성 — 판단의 근거를 사람이 이해할 형태로 제시할 수 있는 정도. 성능과 대체로 반대 방향입니다.

책임의 공백 — 관여한 주체는 많은데 아무도 온전히 책임지지 않는 상태. 자동화가 만들어냅니다.

영향 평가 — 시스템 도입 전에 누가 영향받고 잘못됐을 때 피해가 어느 정도인지를 미리 검토하는 절차.

다음 회차 예고 — 그리고 생각해볼 질문

29회차는 「AI와 사회」입니다. 오늘이 무엇이 문제인가였다면 다음은 사회가 어떻게 대응하고 있는가예요.

일자리 변화의 실상을 과장 없이 짚고, 교육이 어떻게 재편되고 있는지 보고, 각국의 규제 지형을 정리합니다. 유럽·미국·한국이 서로 다른 방향으로 가고 있는데, 그 차이가 무엇을 우선하느냐의 차이에서 나온다는 것을 보게 될 거예요.

그리고 오늘 미뤄 둔 이의 제기 권리가 실제 제도에서 어떻게 다뤄지는지도 거기서 다룹니다.

생각해볼 질문. 오늘 공정성 정의들을 동시에 만족할 수 없다는 것을 봤습니다. 그러면 무엇을 우선할지를 누군가는 정해야 합니다.

그런데 그걸 누가 정해야 할까요? 만드는 회사? 규제 기관? 영향받는 사람들? 아니면 사안마다 다르게? 그리고 만약 영향받는 사람들에게 물어야 한다면, 그 사람들이 서로 다른 답을 낼 때는 어떻게 해야 할까요? 댓글로 들려주세요.

이 포스트는 SVIL 연구소 「AI 기초 및 활용」 30회 시리즈의 28회차이며, 제6부 「윤리·사회·미래」의 첫 회입니다. 하버드 CS50 AI, MIT 6.S191 등 공개 교육과정의 구조를 참고했으며, 모든 내용은 이미지 없이 본문만으로 이해할 수 있도록 구성되어 있습니다. 모든 이미지에는 내용을 설명하는 대체텍스트가 포함되어 있습니다.

협업문의 : kuroicode@gmail.com
블로그 : https://blog.svil.dev/
홈페이지 : https://kuroicode-beep.github.io/svil-homepage/