AI 기초 및 활용 8회: 비지도학습 — 정답 없는 데이터에서 구조를 찾다

SVIL - Singularity Visual Intelligence Lab 2026. 07. 26 23 min read

오늘의 질문 — 정답표 없이 무엇을 배울 수 있을까요

온라인 쇼핑몰을 운영한다고 상상해보세요. 고객 10만 명의 구매 기록이 쌓여 있습니다. 누가 무엇을 언제 얼마나 샀는지 전부요.

이 데이터로 "고객 유형별 맞춤 전략"을 세우고 싶은데, 문제가 하나 있습니다. 고객 명단 어디에도 "이 사람은 알뜰형", "이 사람은 신상품 애호가" 같은 정답표가 없어요. 애초에 어떤 유형이 존재하는지조차 아무도 모릅니다.

7회차까지의 지도학습은 여기서 손을 들 수밖에 없어요. 정답 쌍이 있어야 배우는 방식이니까요.

오늘의 질문은 이것입니다. 정답을 하나도 주지 않아도, 기계가 데이터 속에서 스스로 찾아낼 수 있는 것이 있을까요?

답은 "있다"입니다. 그것도 꽤 많이요. 무리, 축, 이웃 관계, 그리고 "정상에서 벗어난 것"까지. 오늘은 정답 없는 세계에서 기계가 발굴하는 구조들을 봅니다.

지난 회차 연결 — 지도의 두 번째 길

6회차에서 그린 머신러닝의 세 갈래 지도를 다시 펴봅시다. 첫 번째 길인 지도학습은 7회차에서 걸었어요. 문제-정답 쌍으로 배우고, 결정트리와 k-최근접 이웃이라는 대표 선수를 만났습니다.

오늘은 두 번째 길, 비지도학습입니다. 정답(레이블) 없이 데이터만 주고, 그 안에 숨은 구조를 찾게 하는 방식이에요.

왜 이 길이 필요할까요? 현실적인 이유가 큽니다. 6회차에서 봤듯 레이블은 비쌉니다. 사람이 일일이 붙여야 하니까요. 그런데 레이블 없는 데이터는 사실상 공짜로 무한히 쌓입니다. 웹 로그, 구매 기록, 센서 데이터, 인터넷의 모든 글. 세상 데이터의 압도적 다수는 정답표가 없어요.

이 공짜 데이터에서 가치를 캐내는 것이 비지도학습입니다. 그리고 미리 말해두면, 18회차에서 볼 대형 언어 모델의 사전학습이 바로 이 원리 위에 서 있어요. 오늘 이야기는 먼 미래 회차의 복선이기도 합니다.

세 무리로 느슨하게 흩어진 점들 사이에 별 모양의 기준점 세 개가 놓여 있고, 각 점은 가장 가까운 기준점과 점선으로 이어져 있으며, 곡선 화살표가 기준점들이 자기 무리의 한가운데로 이동하는 중임을 보여준다. 배정과 이동을 반복하며 무리의 중심을 찾아가는 k-평균 군집화의 과정을 나타낸다.

군집화 — 무리를 스스로 찾다

비지도학습의 첫 번째 대표 기술은 군집화입니다. 비슷한 것끼리 무리로 묶는 일이에요.

7회차의 분류와 헷갈리기 쉬운데, 결정적 차이가 있습니다. 분류는 보기가 미리 주어져 있어요. "스팸이냐 정상이냐"라는 범주를 사람이 정해뒀죠. 군집화는 보기 자체를 기계가 만듭니다. "고객이 몇 유형인지, 각 유형이 뭔지"를 데이터가 말하게 해요.

비유하면 이렇습니다. 분류는 "이 책을 소설/역사/과학 서가에 꽂아라"이고, 군집화는 "책 만 권을 주고, 어울리는 것끼리 알아서 묶어봐라"예요. 묶고 나서 각 묶음에 이름을 붙이는 건 사람의 몫입니다.

이 차이가 실무에서 아주 중요합니다. 군집화는 우리가 몰랐던 범주를 발견하게 해줘요. "심야에만 소액 구매하는 무리"가 존재한다는 사실 자체를, 데이터를 묶어보기 전에는 아무도 몰랐을 수 있으니까요.

k-평균 — 가장 유명한 무리 짓기

군집화의 대표 알고리즘 k-평균은 원리가 놀랄 만큼 단순합니다. 학교 운동장에 학생들이 흩어져 있고, 깃발 k개로 k개의 조를 만든다고 상상해보세요.

1단계 — 깃발 k개를 운동장에 아무렇게나 꽂습니다.

2단계(배정) — 모든 학생이 자기에게 가장 가까운 깃발 앞으로 모입니다.

3단계(이동) — 각 깃발을 자기 조 학생들의 한가운데(평균 위치)로 옮겨 꽂습니다.

반복 — 깃발이 움직였으니 일부 학생은 더 가까운 깃발이 바뀌었을 거예요. 다시 배정하고, 다시 깃발을 옮기고. 깃발이 더 이상 움직이지 않으면 끝. 그때의 조가 군집입니다.

"배정과 이동을 반복하면 안정된 무리에 도달한다" — 이게 전부예요. 계산이 가볍고 빨라서 수십 년째 실무의 기본기로 쓰입니다. 이름의 뜻도 이제 보이시죠. 깃발 k개, 그리고 평균 위치로 이동. k-평균입니다.

k-평균의 약점 — 그리고 "몇 무리인가"라는 난제

단순한 만큼 약점도 뚜렷합니다.

시작 위치에 따라 결과가 달라져요. 처음 깃발을 어디 꽂았느냐에 따라 다른 무리로 수렴할 수 있습니다. 그래서 실무에서는 시작 위치를 바꿔 여러 번 돌리고 가장 좋은 결과를 고릅니다.

동그란 무리를 가정합니다. 깃발과의 거리로 조를 나누는 방식이라, 길쭉하거나 초승달처럼 굽은 무리는 잘 못 잡아요. 그런 모양을 잡는 다른 군집화 기법들(밀도 기반, 계층적)이 따로 있습니다. 오늘은 존재만 알아두세요.

그리고 가장 근본적인 문제. k, 즉 무리의 수를 사람이 정해줘야 합니다. 고객이 3유형인지 7유형인지 데이터는 말해주지 않아요. 여기엔 정답이 없습니다. k를 늘릴수록 무리는 촘촘해지지만, 극단까지 가면 "고객 한 명 = 한 유형"이라는 무의미한 결과가 되죠. 어디서 많이 본 구도죠? 과적합의 저울이 여기서도 움직입니다. 실무에서는 k를 바꿔가며 무리의 응집도가 어떻게 변하는지 보고, "더 늘려도 이득이 확 줄어드는 지점"에서 멈추는 요령을 씁니다. 팔꿈치처럼 꺾이는 지점을 찾는다고 해서 팔꿈치 방법이라고 불러요.

똑같이 흩어진 점들을 나란히 두 번 그려놓았는데, 왼쪽은 경계 고리 두 개로 두 무리로, 오른쪽은 고리 다섯 개로 다섯 무리로 나뉘어 있고 그 사이에 커다란 물음표가 떠 있다. 같은 데이터라도 무리의 수 k를 몇으로 정하느냐에 따라 전혀 다른 그림이 되며, 그 정답은 데이터가 알려주지 않는다는 난제를 나타낸다.

군집화가 일하는 곳

무리 짓기가 실제로 어디서 돈이 되는지 봅시다.

고객 세분화 — 도입부의 그 문제입니다. 구매액, 방문 빈도, 선호 카테고리로 고객을 묶으면 "주말 대량 구매형", "신상품 즉시 구매형", "세일 때만 오는 형" 같은 무리가 드러나요. 마케팅 전략이 무리별로 갈라집니다.

문서·뉴스 묶기 — 하루 수만 건의 기사를 주제 무리로 자동으로 묶어 "관련 기사" 묶음을 만듭니다.

이미지 정리 — 사진 앱이 비슷한 얼굴을 한 인물 폴더로 모아주는 것. 누구인지(레이블)는 몰라도 "같은 사람 같다"(무리)는 알 수 있어요.

유전자 연구 — 발현 패턴이 비슷한 유전자를 묶어 기능 그룹의 후보를 찾습니다. 생물학자들이 몰랐던 유형이 데이터에서 먼저 발견되기도 해요.

공통점은 이겁니다. 범주를 미리 알 수 없고, 데이터가 범주를 알려주길 기대하는 상황. 지도학습과 정확히 반대 방향의 쓸모예요.

차원축소 — 수백 개의 축을 몇 개로

비지도학습의 두 번째 대표 기술입니다. 7회차 말미에 예고한 차원의 저주, 기억하시죠? 특징이 수백 개로 늘어나면 공간이 텅 비어버려 "가깝다"가 무의미해진다는 문제요.

차원축소는 이 저주에 맞서는 기술입니다. 수백 개의 특징(차원)을, 정보 손실을 최소화하면서 몇 개의 축으로 압축해요.

직관은 그림자입니다. 3차원 물체를 벽에 비추면 2차원 그림자가 생기죠. 그림자는 정보를 잃지만 — 두께가 사라지죠 — 비추는 각도를 잘 고르면 물체의 본질적인 윤곽은 살아남습니다. 옆에서 비춘 주전자 그림자는 여전히 주전자예요.

차원축소가 하는 일이 정확히 이겁니다. 100차원 데이터를 2~3차원으로 "비추되", 데이터가 가장 넓게 퍼진 방향, 즉 정보가 가장 많은 각도를 찾아 비춥니다. 대표 기법인 주성분 분석이 이 "가장 잘 퍼진 방향 찾기"를 수행해요. 수식 없이 이렇게 기억하시면 됩니다. 데이터의 그림자를 가장 덜 뭉개지는 각도에서 뜨는 기술.

공중에 떠 있는 3차원 점구름 위로 밝은 빛줄기가 내려와 아래 평면에 2차원 그림자를 드리운다. 그림자는 납작하지만 점구름의 전체 윤곽과 무리 구조를 그대로 간직하고 있다. 정보가 가장 많이 보존되는 각도를 골라 고차원 데이터를 낮은 차원으로 투영하는 차원축소의 직관을 나타낸다.

차원축소의 세 가지 쓸모

첫째, 시각화. 사람 눈은 3차원까지만 봅니다. 고객 데이터가 특징 50개짜리라면 그 분포를 눈으로 볼 방법이 없어요. 2차원으로 축소하면 화면에 점을 찍을 수 있고, 무리가 있는지 이상한 점이 있는지 한눈에 보입니다. 분석가들이 데이터를 처음 받으면 축소부터 해서 지형을 살피는 이유예요.

둘째, 저주 풀기. 특징 500개짜리 데이터를 그대로 k-최근접 이웃이나 k-평균에 넣으면 차원의 저주로 거리가 망가집니다. 먼저 20차원쯤으로 축소하면 거리가 다시 의미를 갖고, 뒤따르는 모델의 성능과 속도가 함께 좋아져요. 비지도학습이 지도학습의 전처리로 봉사하는 대표 패턴입니다.

셋째, 잡음 제거. 정보가 가장 많은 축만 남기고 나머지를 버리면, 버려진 쪽에 섞여 있던 잔잔한 잡음도 함께 사라집니다. 압축이 곧 청소가 되는 거예요.

덧붙여 흥미로운 사실 하나. 22회차에서 볼 텐데, 언어 모델은 단어를 수백 차원의 숫자 벡터로 다룹니다. 그 공간에서 "왕-남자+여자=여왕" 같은 의미 연산이 성립한다는 게 유명하죠. 그 고차원 의미 공간을 사람이 구경할 수 있는 것도 차원축소 덕분입니다. 2차원으로 떠보면 비슷한 뜻의 단어들이 실제로 이웃해 있는 게 보여요.

이상 탐지 — "정상"을 배우면 "이상"이 보인다

비지도학습의 네 번째 얼굴은 어쩌면 가장 실용적입니다. 이상 탐지 — 무리에서 벗어난 것을 찾아내는 일이에요.

발상의 전환이 멋집니다. 카드 부정 거래를 잡고 싶은데, 부정 거래 사례(레이블)는 극히 드물어요. 지도학습으로 배우기엔 정답이 부족합니다. 그래서 뒤집어요. 부정을 배우는 대신 정상을 배웁니다.

당신의 평소 결제 패턴 — 시간대, 금액대, 지역, 가맹점 유형 — 은 데이터로 넘치게 쌓여 있죠. 이 "정상의 모양"을 군집으로 잡아두면, 어느 날 새벽 3시에 낯선 나라에서 평소의 50배 금액이 결제될 때 "이건 어느 무리에도 속하지 않는다"는 신호가 울립니다. 6회차 실전 사례에서 스쳐 지나간 "평소와 다른 결제 감지" 문자의 정체가 이거예요.

같은 원리가 공장 설비의 고장 전조 감지(진동 패턴이 평소 무리를 벗어남), 서버 침입 탐지(트래픽 패턴 이상), 의료 검사의 희귀 소견 발견에 쓰입니다. "무엇이 잘못인지 정의할 수 없어도, 무엇이 평소와 다른지는 알 수 있다" — 정답 없는 학습만이 할 수 있는 종류의 일입니다.

비슷한 모양의 도형들이 일정한 흐름으로 왼쪽에서 오른쪽으로 줄지어 흘러가는데, 한가운데 하나만 크고 삐죽삐죽한 전혀 다른 모양이 끼어 있고 그 둘레에 밝은 경보 고리가 그려져 있다. 정상 패턴의 무리를 배워두면 무리에 속하지 않는 것이 저절로 드러난다는 이상 탐지의 원리를 나타낸다.

조심할 점 — 무리가 보인다고 의미가 있는 건 아니다

비지도학습의 가장 큰 함정을 짚고 갑니다. 지도학습에는 채점표가 있어요. 테스트 데이터의 정답과 비교하면 성적이 나옵니다. 비지도학습에는 채점표가 없습니다. 정답이 없으니까요.

이게 무슨 문제를 낳느냐. k-평균은 어떤 데이터를 줘도 무조건 k개의 무리를 만들어냅니다. 완전히 무작위인 데이터를 줘도 성실하게 세 무리로 나눠줘요. 그 무리에는 아무 의미가 없는데도요.

사람 눈은 무늬를 찾는 데 열심이라, 일단 무리가 그려지면 의미를 부여하고 싶어집니다. "이 고객 무리는 분명 뭔가 특별할 거야." 구름에서 얼굴을 보는 것과 같은 착시가 데이터에서도 일어나요.

그래서 비지도학습의 결과는 발견이 아니라 가설로 다뤄야 합니다. 군집화가 보여준 무리는 "이런 구분이 있을지도 모른다"는 후보일 뿐이고, 그 구분이 실제로 의미 있는지는 도메인 지식으로, 후속 실험으로, 별도 데이터로 확인해야 해요. 기계가 구조를 그려주면, 그 구조가 진짜인지 판단하는 것은 여전히 사람의 일입니다.

점 몇 개 위에 돋보기가 놓여 있고 렌즈 안에서는 점들 사이에 가는 연결선이 드러나 보이지만, 렌즈 바깥의 같은 들판에는 아무 연결도 없는 평범한 점들뿐이며 렌즈 모서리에 작은 경고 마름모가 붙어 있다. 도구를 들이대면 무리와 패턴이 그려지지만 그것이 실제로 의미 있는 구조인지는 별개의 문제라는 비지도학습의 함정을 나타낸다.

실전 통합 — 한 회사의 데이터 팀이 보내는 하루

오늘 배운 기술들이 실제로 어떻게 맞물리는지, 쇼핑몰 데이터 팀의 하루로 묶어봅시다.

오전 — 신규 캠페인을 위해 고객 세분화를 갱신합니다. 특징 40개짜리 고객 데이터를 차원축소로 압축해 화면에 뿌려보고(시각화), k-평균으로 무리를 나눕니다. 팔꿈치 방법으로 k=5가 적당해 보이네요. 각 무리의 특성을 사람이 읽고 이름을 붙입니다. "주말 가족형", "심야 소액형"...

오후 — 마케팅팀이 "심야 소액형이 정말 존재하는 유형이냐"고 묻습니다. 팀은 이 무리를 가설로 취급해 검증 실험을 설계해요. 이 무리에게만 심야 쿠폰을 보내 반응률을 비교하기로 합니다. 무리가 진짜라면 반응이 다르게 나올 거예요.

저녁 — 추천 시스템이 밤 사이 신상품 콜드 스타트에 빠지지 않도록 내용 기반 점수의 비중을 조정해두고, 이상 탐지 대시보드를 확인합니다. 평소 무리를 벗어난 트래픽이 하나 잡혔는데, 확인해보니 해외 방송에 상품이 소개된 것이었어요. 이상 탐지는 "나쁜 것"이 아니라 "다른 것"을 잡는다는 걸 다시 확인하는 하루입니다.

보이시죠? 비지도학습은 단독 주인공이라기보다, 데이터의 지형을 그리고 가설을 만들어 다른 작업에 공급하는 정찰대로 일합니다.

핵심 정리 — 세 줄

첫째, 비지도학습은 정답 없이 구조를 찾습니다. 레이블은 비싸지만 레이블 없는 데이터는 무한히 쌓이기에, 이 공짜 데이터에서 무리(군집화), 축(차원축소), 빈칸 예측(추천), 벗어남(이상 탐지)을 캐냅니다.

둘째, 대표 기법들의 직관은 단순합니다. k-평균은 깃발 꽂고 배정-이동 반복, 차원축소는 가장 덜 뭉개지는 각도로 그림자 뜨기, 협업 필터링은 취향 이웃의 기록으로 빈칸 채우기, 이상 탐지는 정상의 무리를 배워 벗어남을 알아채기.

셋째, 채점표가 없다는 것이 최대의 함정입니다. 무작위 데이터에서도 무리는 그려집니다. 비지도학습의 결과는 발견이 아니라 가설이며, 의미의 최종 판정은 사람과 후속 검증의 몫입니다.

가운데 상자에서 네 방향으로 뻗는 개념 지도. 네 무리가 각각 실선, 파선, 점선, 빗금의 서로 다른 테두리 무늬로 구분되어 색을 보지 않아도 나눌 수 있다. 이 회차의 네 기둥인 군집화, 차원축소, 추천 시스템, 이상 탐지를 뜻한다.

용어 정리

비지도학습 — 정답(레이블) 없이 데이터만 주고 그 안의 숨은 구조를 찾게 하는 머신러닝 방식.

군집화 — 비슷한 데이터끼리 무리로 묶는 일. 분류와 달리 범주 자체를 기계가 만들어냅니다.

k-평균 — 기준점 k개를 놓고 "가까운 점 배정 → 기준점을 무리의 평균 위치로 이동"을 반복해 무리를 찾는 대표적 군집화 알고리즘.

팔꿈치 방법 — 무리 수 k를 늘려가며 응집도 개선이 급격히 둔해지는 지점(팔꿈치)에서 k를 고르는 실무 요령.

차원축소 — 많은 특징(차원)을 정보 손실을 최소화하며 적은 수의 축으로 압축하는 기술. 시각화, 차원의 저주 완화, 잡음 제거에 쓰입니다.

주성분 분석 — 데이터가 가장 넓게 퍼진 방향(정보가 가장 많은 축)을 차례로 찾아 투영하는 대표적 차원축소 기법.

협업 필터링 — "나와 취향이 겹치는 사람들이 좋아한 것을 나도 좋아할 것"이라는 가정으로 사용자-상품 표의 빈칸을 예측하는 추천 원리.

내용 기반 추천 — 이용 이력 대신 상품 자체의 속성을 보고 닮은 것을 추천하는 방식. 콜드 스타트의 보완책입니다.

콜드 스타트 — 신규 사용자나 신상품은 이력이 없어 협업 필터링이 작동하지 못하는 문제.

필터 버블 — 비슷한 것만 계속 추천받아 사용자가 자기 취향과 관점의 방에 갇히는 현상.

이상 탐지 — 정상 패턴의 무리를 배워두고, 거기서 벗어나는 데이터를 알아채는 기술. 부정 거래·고장 전조·침입 탐지에 쓰입니다.

전처리 — 본 작업(모델 학습 등) 전에 데이터를 다듬는 준비 단계. 차원축소는 대표적인 전처리로도 쓰입니다.

다음 회차 예고 — 그리고 생각해볼 질문

7회차와 8회차에서 우리는 "무엇을 맞히는가"를 배웠습니다. 그런데 아직 다루지 않은 근본 질문이 있어요. 얼마나 확신하는가.

스팸 필터가 어떤 메일을 "스팸"이라고 판정할 때, 그 확신은 99퍼센트일까요 51퍼센트일까요? 이 차이는 엄청나게 중요합니다. 51퍼센트짜리 판정으로 메일을 지워버리면 안 되니까요. 5회차에서 마이신의 확실성 계수가 "수학적으로 엄밀하지 않았다"고 했던 것, 기억하시나요? 그때 약속한 제대로 된 불확실성의 수학이 다음 회차의 주제입니다.

9회차 「확률과 불확실성」에서는 베이즈 추론을 배웁니다. "증거가 나올 때마다 믿음을 갱신하는" 사고법인데, 의사의 진단, 검사 결과의 해석, 그리고 놀랍게도 스팸 필터의 원조 알고리즘(나이브 베이즈)까지 전부 이 하나의 원리로 꿰어져요. 수식 없이, 병원의 검사 결과 이야기로 풀어드리겠습니다. 개인적으로 이 시리즈에서 일상에 가장 쓸모 있는 회차라고 생각해요. 검사 결과 양성이 "병에 걸렸다"를 뜻하지 않는 이유를 알게 되실 겁니다.

생각해볼 질문

오늘 "추천 시스템은 상품이 뭔지 모른 채 패턴의 겹침만 본다"고 했습니다. 그런데도 잘 맞죠. 여기서 질문 하나. 여러분의 취향은 여러분이 만든 걸까요, 추천이 만든 걸까요? 추천이 보여준 것 중에서만 고르는 일이 반복되면, 그 선택 이력은 다시 추천을 강화합니다. 취향이 발견되는 걸까요, 제조되는 걸까요?

댓글로 의견을 들려주세요. 29회차에서 이 고리를 사회 규모에서 다시 봅니다.

이 포스트는 SVIL 연구소 「AI 기초 및 활용」 30회 시리즈의 8회차입니다. 하버드 CS50 AI, MIT 6.S191 등 공개 교육과정의 구조를 참고해 2026년 7월 기준으로 작성했으며, 모든 내용은 이미지 없이 본문만으로 이해할 수 있도록 구성되어 있습니다. 모든 이미지에는 내용을 설명하는 대체텍스트가 포함되어 있습니다.