AI 기초 및 활용 17회: 생성 모델 — 만들어 내는 대신 덜어내며 드러내기

오늘의 질문 — 없던 것을 만든다는 건 무슨 뜻일까요

"고양이 사진 한 장 그려 줘"라고 하면 몇 초 만에 그림이 나옵니다. 그런데 그 고양이는 세상에 없는 고양이입니다. 어느 사진을 베낀 것도 아니고요.

여기서 이상한 질문이 생깁니다. 없는 것을 어떻게 만들까요. 기계가 창작을 한다는 뜻일까요, 아니면 전혀 다른 일이 벌어지고 있는 걸까요?

오늘 그 안을 들여다봅니다. 결론을 미리 말하면, 생성 모델이 하는 일은 "그럴듯한 것들이 모여 있는 자리를 배우고, 그 자리에서 하나를 뽑아 오는 것"입니다. 창작보다는 표본을 뽑는 일에 가까워요.

그리고 이 회차는 특별합니다. 이 글에 실린 삽화들이 바로 오늘 배울 방법으로 만들어졌어요. 마지막에 그 과정을 그대로 보여드리겠습니다.

지난 회차 연결 — 제3부를 닫으며

제3부에서 우리는 상자를 열었습니다. 12회차에서 부품 하나를, 13회차에서 가르치는 법을, 그리고 14~16회차에서 배열을 봤죠. 공간을 위한 배열이 CNN, 순서를 위한 배열이 RNN, 그리고 관계를 위한 배열이 트랜스포머였습니다.

그런데 지금까지 다룬 망은 대부분 판별을 했습니다. 이건 고양이인가, 스팸인가, 다음 낱말은 무엇인가. 입력을 받아 답 하나를 내놓는 일이었어요.

오늘은 방향을 뒤집습니다. 답을 주면 입력을 만들어 내는 쪽입니다. 그리고 이 뒤집기가 왜 훨씬 어려운지부터 봐야 해요.

판별과 생성은 무엇이 다른가

차이를 가장 선명하게 보여주는 비유가 있습니다. 고양이를 알아보는 것과 고양이를 그리는 것의 차이예요.

알아보려면 고양이와 고양이 아닌 것을 가르는 경계만 알면 됩니다. 7회차의 그 경계선이죠. 고양이의 수염이 정확히 몇 개인지, 털이 어떻게 눕는지는 몰라도 됩니다.

그런데 그리려면 고양이가 어떻게 생겼는지를 전부 알아야 합니다. 눈이 둘이고 좌우 대칭이고 다리가 넷이고 귀가 머리 위에 붙어 있고. 하나라도 어긋나면 즉시 이상해 보입니다.

그래서 판별은 경계를 배우고 생성은 대상 전체를 배웁니다. 정보량이 비교가 안 돼요. 물리학자 리처드 파인만의 말을 빌리면, 만들 수 없는 것은 이해하지 못한 것입니다. 생성이 어려운 이유가 정확히 그것이에요.

확률 분포를 배운다는 말의 뜻

조금 더 정확히 말해 봅시다. 생성 모델이 배우는 것은 확률 분포입니다. 9회차에서 만난 그 개념이에요.

세상의 모든 이미지를 한 공간에 늘어놓았다고 상상해 보세요. 대부분의 자리는 의미 없는 잡음입니다. 픽셀을 무작위로 채우면 거의 항상 지직거리는 화면이 나오죠.

그런데 그 광활한 공간의 아주 좁은 구석에 "사람이 사진이라고 부르는 것들"이 몰려 있습니다. 더 좁은 구석에 고양이 사진들이 모여 있고요.

생성 모델의 목표는 이겁니다. 그 구석이 어디인지를 배우고, 거기서 새 점 하나를 뽑아 오는 것. 뽑아 온 점은 훈련 데이터에 없던 점이지만 같은 구석에 있으므로 그럴듯합니다. 이것이 "없던 고양이"의 정체예요.

잠재 공간 — 뜻이 사는 지도

생성 모델은 대개 잠재 공간이라는 것을 씁니다. 픽셀 공간보다 훨씬 작은 공간인데, 이 안의 한 점이 이미지 한 장에 대응해요.

8회차의 차원축소를 떠올리면 정확합니다. 백만 개 픽셀을 몇백 개 숫자로 압축한 자리예요. 그리고 이 압축된 공간에서는 가까운 점끼리 비슷한 이미지가 됩니다.

이 성질이 놀라운 결과를 낳습니다. 잠재 공간에서 두 점 사이를 천천히 이동하면 이미지가 자연스럽게 변합니다. 얼굴 하나가 다른 얼굴로 서서히 바뀌는 그 영상들이 이렇게 만들어져요.

더 재미있는 것은 방향에 뜻이 생긴다는 점입니다. 어떤 방향으로 움직이면 나이가 들고, 다른 방향으로 움직이면 웃습니다. 아무도 그렇게 정해 주지 않았는데 학습이 스스로 축을 만들어 낸 겁니다. 12회차에서 은닉층이 재배치를 한다고 했던 것의 가장 극적인 형태예요.

GAN ① 위조범과 감별사

2014년, 이언 굿펠로가 GAN을 제안합니다. 우리말로 옮기면 적대적 생성망 정도가 돼요.

아이디어는 이야기 하나로 설명됩니다. 위조지폐를 만드는 사람과 그것을 잡아내는 감별사가 있습니다. 둘은 동시에 성장해요.

생성자가 위조범입니다. 무작위 숫자 묶음을 받아 이미지를 만들어 냅니다. 처음에는 당연히 엉망이에요.

판별자가 감별사입니다. 이미지를 받아 진짜 데이터인지 생성자가 만든 것인지를 판정합니다. 이건 그냥 14회차의 분류 문제예요.

훈련은 이렇게 돌아갑니다. 판별자는 잘 구별하도록 배우고, 생성자는 판별자를 속이도록 배웁니다. 둘의 목표가 정확히 반대라서 적대적이라고 부릅니다.

GAN ② 서로를 밀어 올리는 경쟁

이 구조의 아름다움은 손실 함수를 사람이 정교하게 설계하지 않아도 된다는 데 있습니다.

13회차에서 손실 함수는 사람이 고르는 것이라고 했죠. 그런데 "이 이미지가 얼마나 고양이답게 생겼는가"를 어떻게 숫자로 적을까요. 거의 불가능합니다.

GAN은 그 일을 판별자에게 맡깁니다. 손실 함수 자체가 학습되는 신경망인 거예요. 그리고 생성자가 좋아질수록 판별자도 더 까다로워지니, 기준이 저절로 계속 올라갑니다.

11회차의 알파고 자기 대국과 같은 발상입니다. 상대가 나와 함께 강해지면 훈련 상대가 마르지 않아요.

GAN이 만든 충격 — 없는 얼굴

GAN이 세상에 각인된 계기는 사람 얼굴이었습니다. 2018년 무렵부터 실존하지 않는 사람의 얼굴 사진이 사람 눈으로 구별 불가능한 수준에 도달합니다.

이때 얻은 교훈이 하나 있어요. 얼굴은 속이기 가장 쉬우면서 동시에 가장 어려운 대상입니다. 구조가 정형적이라 배우기 쉽지만, 사람은 얼굴의 미세한 어색함에 극도로 민감하거든요. 그래서 얼굴 생성 품질이 곧 생성 모델의 척도처럼 쓰였습니다.

그리고 여기서 딥페이크라는 말이 사회 문제로 등장합니다. 그 이야기는 뒤에서 다시 하겠습니다.

GAN의 병 — 모드 붕괴와 불안정

GAN은 화려했지만 다루기가 몹시 까다로웠습니다. 두 가지 고질병이 있었어요.

첫째, 모드 붕괴입니다. 생성자가 판별자를 속이는 한 가지 방법을 찾아내면, 그것만 반복해서 만들어 냅니다. 고양이를 백 장 뽑았는데 거의 같은 고양이가 백 장 나오는 거예요. 판별자를 속이는 데는 성공했지만 다양성을 완전히 잃습니다.

둘째, 훈련 불안정입니다. 두 망의 실력이 균형을 이뤄야 하는데, 한쪽이 너무 앞서면 학습이 무너집니다. 판별자가 너무 강하면 생성자가 무엇을 고쳐야 할지 신호를 못 받고, 생성자가 너무 강하면 판별자가 무의미해져요.

그래서 GAN 훈련은 기술이라기보다 기예에 가까웠습니다. 같은 코드가 어제는 되고 오늘은 안 되는 일이 흔했어요. 이 까다로움이 GAN이 왕좌에서 내려온 진짜 이유입니다.

그래서 무엇이 바뀌었나 — 디퓨전의 등장

2020년 전후로 디퓨전 모델이 등장해 몇 년 만에 이미지 생성의 표준이 됩니다. 오늘날 여러분이 쓰는 이미지 생성 도구는 거의 전부 이 계열이에요.

디퓨전이 이긴 이유는 품질만이 아닙니다. 훈련이 안정적이기 때문이에요. 적대적 균형을 맞출 필요가 없고, 손실 함수가 평범하며, 13회차의 경사하강법이 그냥 잘 작동합니다.

그리고 다양성이 잘 보존됩니다. 모드 붕괴가 구조적으로 잘 일어나지 않아요.

여기서도 15회차 GRU와 16회차 트랜스포머의 교훈이 반복됩니다. 화려한 구조보다 안정적이고 단순한 구조가 결국 이깁니다. 다룰 수 있어야 키울 수 있으니까요.

디퓨전 ① 망가뜨리는 것은 쉽습니다

디퓨전의 발상은 거꾸로 갑니다. 만드는 법을 직접 배우지 말고, 망가뜨리는 과정의 역방향을 배우자.

먼저 순방향을 봅시다. 깨끗한 사진 한 장에 아주 약한 잡음을 조금 얹습니다. 거의 티가 안 나요. 또 얹고, 또 얹습니다. 수백 번 반복하면 원본이 뭐였는지 알 수 없는 완전한 잡음이 됩니다.

이 과정에는 배울 것이 하나도 없습니다. 잡음을 더하는 건 그냥 규칙이니까요. 그리고 단계마다의 짝을 공짜로 얻습니다. "잡음이 이만큼 낀 것"과 "한 단계 덜 낀 것"의 쌍을 원하는 만큼 만들 수 있어요.

훈련 데이터가 무한히 생기는 셈입니다. 이것이 디퓨전 훈련이 안정적인 첫 번째 이유입니다.

디퓨전 ② 그 반대를 배웁니다

이제 역방향입니다. 신경망에게 시키는 일은 딱 하나예요. "이 이미지에 낀 잡음이 어느 부분인지 알아맞혀 봐."

잡음을 알아맞히면 빼면 됩니다. 그러면 한 단계 덜 낀 이미지가 나오죠. 그걸 다시 넣어 또 알아맞히고 또 빼고. 수십 번 반복하면 완전한 잡음에서 깨끗한 이미지가 나옵니다.

여기서 중요한 점이 있습니다. 이 신경망이 하는 일은 생성이 아니라 예측입니다. "잡음이 얼마나 꼈나"를 맞히는 평범한 회귀 문제예요. 13회차에서 배운 그대로, 손실은 제곱 오차이고 학습은 경사하강법입니다.

생성이라는 어려운 문제를, 잡음 맞히기라는 쉬운 문제로 바꾼 것이 디퓨전의 진짜 발명입니다.

디퓨전 ③ 한 걸음이 아니라 여러 걸음

왜 한 번에 잡음을 다 빼지 않고 여러 번 나눠 뺄까요.

완전한 잡음에서 완성된 그림으로 한 번에 가려면, 그 한 번의 예측이 모든 것을 결정해야 합니다. 조금만 틀려도 결과가 무너져요.

여러 걸음으로 나누면 매 걸음이 쉬워집니다. "잡음을 조금만 덜어내라"는 요구는 훨씬 만만하죠. 그리고 앞 걸음에서 조금 틀려도 다음 걸음이 보정합니다.

13회차의 경사하강법과 같은 철학입니다. 한 번에 정답으로 뛰지 않고 작은 걸음을 반복해 도달하는 것. 큰 문제를 작은 문제의 연속으로 바꾸는 이 발상이 딥러닝 전체를 관통합니다.

왜 조각에 비유하나

디퓨전을 조각에 비유하는 이유가 여기서 분명해집니다.

조각가는 무에서 형상을 쌓아 올리지 않습니다. 돌덩이에서 필요 없는 부분을 덜어냅니다. 미켈란젤로가 "형상은 이미 돌 안에 있고 나는 불필요한 것을 걷어낼 뿐"이라고 말했다는 일화가 전해지죠.

디퓨전이 정확히 그렇습니다. 잡음 덩어리가 돌이고, 신경망은 덜어낼 부분을 찾는 눈입니다. 그리고 조각처럼 한 번에 끝내지 않고 조금씩 깎아 나갑니다.

GAN이 "그럴듯해 보이게 만들어 내는" 쪽이었다면 디퓨전은 "덜어내며 드러내는" 쪽입니다. 방향이 반대예요.

조건을 거는 법 — 글에서 그림으로

지금까지의 설명에는 빠진 것이 있습니다. "고양이를 그려 줘"라는 요구를 어디에 넣나요. 잡음을 빼는 과정 어디에도 글이 들어갈 자리가 없어 보이는데요.

답은 이렇습니다. 잡음을 예측하는 신경망에게 글의 뜻을 함께 넣어 줍니다. 그래서 그 망은 "잡음이 어디냐"가 아니라 "고양이가 되려면 잡음이 어디냐"를 답하게 됩니다.

글을 숫자로 바꾸는 일은 16회차의 트랜스포머가 합니다. 그리고 그 결과를 잡음 예측망에 어텐션으로 연결해요. 16회차에서 어텐션이 언어만의 것이 아니라고 했던 이야기가 여기서 실물이 됩니다.

여기서 실무적으로 중요한 사실이 하나 나옵니다. 이미지 생성이 프롬프트를 이해하는 수준은 결국 그 안에 든 언어 모델의 수준입니다. 그래서 프롬프트를 정교하게 써도 안 먹히는 부분이 생겨요. 뒤에서 이 블로그 삽화 이야기를 할 때 실제 사례를 보여드리겠습니다.

잠재 디퓨전 — 작게 줄여 놓고 작업하기

초기 디퓨전에는 현실적인 문제가 있었습니다. 픽셀 공간에서 직접 잡음을 빼면 계산이 너무 무거웠어요. 가로세로 천 픽셀이면 백만 개 값을 수십 번 다뤄야 하니까요.

해법이 잠재 디퓨전입니다. 이미지를 먼저 훨씬 작은 잠재 공간으로 압축한 뒤, 거기서 잡음을 빼고, 마지막에 다시 이미지 크기로 복원합니다.

계산량이 수십 배 줄었습니다. 그리고 이 덕분에 개인용 그래픽카드에서도 이미지 생성이 돌아가게 됐어요. 생성 모델이 연구실 밖으로 나온 결정적 계기입니다.

실제로 이 블로그의 삽화도 16GB짜리 개인 그래픽카드 한 장에서 만들어집니다. 잠재 디퓨전이 아니었다면 불가능했을 일이에요.

걸음 수와 안내 강도 — 실제로 만지는 손잡이

이미지 생성 도구를 열면 몇 개의 값이 보입니다. 오늘 배운 내용으로 그 정체를 알 수 있어요.

걸음 수는 잡음을 몇 번에 나눠 뺄지입니다. 많으면 정밀하지만 느리고, 적으면 빠르지만 거칠어져요. 요즘은 적은 걸음으로도 잘 나오게 하는 기법이 발달해서 여덟 걸음 정도로도 충분한 모델들이 나와 있습니다.

안내 강도는 프롬프트를 얼마나 강하게 따르게 할지입니다. 높이면 요구에 충실해지지만 부자연스럽고 과장되기 쉽고, 낮추면 자연스럽지만 요구에서 벗어납니다.

시드는 출발점이 되는 잡음을 정하는 값입니다. 같은 시드에 같은 설정이면 같은 그림이 나와요. 그래서 마음에 든 결과를 재현할 수 있습니다.

실전 ① 이 블로그의 삽화는 이렇게 만들어집니다

이 글에 실린 삽화들은 전부 로컬 그래픽카드에서 잠재 디퓨전으로 만들어졌습니다. 규격은 정해져 있어요. 어두운 배경, 청록 발광, 고대비, 가로 1280 세로 720. 저시력 독자를 위한 기준입니다.

그런데 실제로 돌려 보면 실패가 꽤 나옵니다. 오늘 배운 내용으로 그 이유를 설명할 수 있어요.

가장 흔한 실패가 글자입니다. 프롬프트에 문서나 표지 같은 낱말을 쓰면 화면에 글자 비슷한 것이 그려지는데, 철자가 깨진 글자가 나옵니다. 모델은 글자를 무늬로 배웠지 문자로 배우지 않았거든요.

두 번째가 뜻이 뒤집히는 경우입니다. 쪽지를 뜻하는 낱말이 음표로, 물개와 봉인이 같은 낱말이라 물개가 그려지는 식이죠. 프롬프트를 이해하는 것이 아니라 낱말과 그림의 통계적 연결을 따라간다는 증거입니다.

세 번째가 재미있습니다. "주황색 넣지 마"라고 쓰면 오히려 주황색이 나옵니다. 그 낱말 자체가 개념을 불러오기 때문이에요. 그래서 규칙이 이렇게 정리됐습니다. 막고 싶은 것은 언급조차 하지 말고, 원하는 것만 긍정문으로 적는다.

실전 ② 생성 모델의 다른 얼굴들

생성 모델은 그림만 만들지 않습니다.

음성 합성이 대표적입니다. 15회차에서 다룬 그 기술의 현재 주역이 디퓨전 계열이에요. 화면 낭독기 음성이 자연스러워진 배경입니다.

영상 생성은 시간축이 하나 더 붙은 문제입니다. 프레임마다 그럴듯한 것을 만드는 것으로는 부족하고 프레임 사이가 이어져야 해서 훨씬 어렵습니다.

과학 분야에서도 씁니다. 신약 후보 분자 설계, 단백질 구조 생성, 재료 설계. "조건을 만족하는 후보를 잔뜩 뽑아 내는" 도구로 쓰이는 겁니다. 이쪽은 결과를 실험으로 검증할 수 있어서 환각 문제가 상대적으로 덜합니다.

그리고 21회차에서 다룰 이야기지만, 언어 모델도 넓게 보면 생성 모델입니다. 다음 낱말의 확률 분포에서 하나를 뽑아 오는 일이니까요.

위험 ① 딥페이크와 출처 표시

생성 모델의 위험은 추상적이지 않습니다. 이미 벌어지고 있는 일이에요.

실존 인물의 얼굴과 목소리로 하지 않은 말을 하게 만드는 일이 기술적으로 쉬워졌습니다. 사진 몇 장과 음성 몇 분이면 충분한 경우도 있어요.

피해는 정치적 허위정보만이 아닙니다. 실제로 가장 큰 피해는 개인을 겨냥한 비동의 합성물과 목소리를 흉내 낸 사기에서 나옵니다.

대응은 두 갈래로 갑니다. 하나는 탐지인데, 이건 근본적으로 불리한 싸움이에요. 탐지기가 좋아지면 그것을 통과하도록 생성기가 좋아지니까요. GAN의 구조가 사회 규모로 재현되는 셈입니다.

다른 하나가 출처 표시입니다. 만든 시점에 이것이 AI 생성물임을 표시해 두는 방식이에요. 눈에 안 보이는 워터마크를 심거나, 파일에 제작 이력을 붙이는 표준이 만들어지고 있습니다. 실제로 유럽에서는 2026년 8월부터 AI 생성물 표시가 법적 의무가 됐어요. 29회차에서 이 규제 지형을 자세히 다룹니다.

위험 ② 저작권과 학습 데이터

두 번째 쟁점은 학습 데이터입니다. 생성 모델은 방대한 이미지로 훈련되는데, 그 대부분이 창작자의 동의 없이 수집됐습니다.

쟁점이 여럿 얽혀 있어요. 학습 자체가 저작권 침해인가가 하나입니다. 사람이 그림을 보고 배우는 것과 무엇이 다른가라는 반론이 있고, 규모와 상업성이 다르다는 재반론이 있습니다.

특정 작가의 화풍을 흉내 내는 것도 쟁점입니다. 화풍 자체는 대체로 저작권 보호 대상이 아니지만, 살아 있는 작가의 이름을 프롬프트에 넣어 그 사람의 시장을 대체하는 것은 다른 문제죠.

여기서 오늘 배운 내용이 하나 도움이 됩니다. 모델은 이미지를 저장하지 않습니다. 분포를 배울 뿐이에요. 다만 훈련 데이터에 같은 이미지가 아주 많이 반복되면 거의 그대로 재현되는 경우가 실제로 보고됐습니다. "저장하지 않는다"가 "절대 재현되지 않는다"를 뜻하지는 않아요.

27회차에서 실무 기준을 다루겠지만, 지금 단계에서 안전한 태도는 이겁니다. 생성물을 상업적으로 쓸 때는 학습 데이터 출처가 밝혀진 모델을 고르고, 실존 작가 이름을 프롬프트에 넣지 않는 것.

접근성 관점 — 생성 모델이 여는 것과 막는 것

마지막으로 이 시리즈의 관점에서 정리하겠습니다.

여는 쪽이 분명히 있습니다. 그림을 그릴 수 없던 사람이 말로 이미지를 만들 수 있게 됐어요. 손을 쓰기 어려운 사람, 시각적 도구를 다루기 어려운 사람에게 이것은 표현 수단이 하나 생긴 일입니다. 저시력 사용자가 고대비 규격을 지정해 자기에게 보이는 이미지를 직접 만드는 것도 가능해졌고요. 이 블로그가 실제로 그렇게 운영됩니다.

막는 쪽도 있습니다. 생성 이미지가 넘쳐나면서 대체텍스트 없는 이미지도 함께 늘어납니다. 자동으로 만들어진 이미지에는 사람이 붙인 설명이 없기 마련이거든요. 화면 낭독기 사용자에게 웹은 오히려 더 조용해질 수 있습니다.

그래서 이 블로그의 규칙은 이렇습니다. 이미지는 생성해도 되지만 대체텍스트는 사람이 쓴다. 그리고 본문만으로 100퍼센트 이해되게 쓰고, 이미지는 분위기만 맡긴다. 오늘 이 글도 그 규칙대로 쓰였어요.

핵심 정리 — 세 줄

첫째, 생성은 경계가 아니라 대상 전체를 배우는 일입니다. 판별은 고양이와 아닌 것을 가르는 선만 알면 되지만 생성은 고양이가 어떻게 생겼는지를 전부 알아야 합니다. 생성 모델이 하는 일은 그럴듯한 것들이 모여 있는 자리를 배우고 거기서 새 점 하나를 뽑아 오는 것이며, 창작보다 표본 추출에 가깝습니다.

둘째, GAN은 위조범과 감별사의 경쟁으로 손실 함수 자체를 학습시켰습니다. "얼마나 고양이다운가"를 사람이 적을 수 없으니 그 판정을 신경망에게 맡긴 것이고, 상대가 함께 강해지므로 기준이 저절로 올라갑니다. 그러나 모드 붕괴와 훈련 불안정이라는 고질병 때문에 왕좌에서 내려왔습니다.

셋째, 디퓨전은 생성을 잡음 맞히기라는 쉬운 문제로 바꿨습니다. 망가뜨리는 순방향은 공짜로 무한한 훈련 쌍을 주고, 신경망은 그 역방향만 배우면 됩니다. 한 번에 끝내지 않고 여러 걸음에 나눠 덜어내며, 잠재 공간에서 작업해 개인용 그래픽카드에서도 돌아가게 됐습니다. 화려한 구조보다 안정적인 구조가 이긴 또 하나의 사례입니다.

용어 정리

판별 모델 — 입력을 받아 부류나 값을 맞히는 모델. 경계만 배우면 됩니다.

생성 모델 — 데이터가 어떻게 생겼는지의 분포를 배워 새 표본을 만들어 내는 모델.

잠재 공간 — 이미지를 훨씬 적은 숫자로 압축한 공간. 가까운 점끼리 비슷한 이미지가 되고, 방향에 뜻이 생기기도 합니다.

GAN — 만들어 내는 생성자와 판정하는 판별자를 경쟁시켜 학습하는 구조. 2014년 발표.

생성자 / 판별자 — 각각 위조범과 감별사에 해당하는 두 신경망.

모드 붕괴 — 생성자가 판별자를 속이는 한 가지 방법만 반복해 다양성을 잃는 현상.

디퓨전 모델 — 이미지에 잡음을 더해 가는 과정의 역방향을 배워 잡음에서 이미지를 만들어 내는 모델. 현재 이미지 생성의 표준입니다.

순방향 확산 — 깨끗한 이미지에 잡음을 조금씩 더해 완전한 잡음으로 만드는 과정. 배울 것이 없고 훈련 쌍을 공짜로 줍니다.

역방향 과정 — 잡음이 어느 부분인지 예측해 덜어내기를 반복하며 이미지를 드러내는 과정.

잠재 디퓨전 — 픽셀이 아니라 압축된 잠재 공간에서 잡음을 덜어내는 방식. 계산량을 크게 줄여 개인용 장비에서도 돌아가게 만들었습니다.

걸음 수 — 잡음을 몇 번에 나눠 덜어낼지 정하는 값. 많으면 정밀하고 느립니다.

안내 강도 — 프롬프트를 얼마나 강하게 따르게 할지 정하는 값. 높이면 충실하지만 부자연스러워집니다.

시드 — 출발점 잡음을 정하는 값. 같으면 같은 결과가 나와 재현이 가능합니다.

딥페이크 — 실존 인물의 얼굴이나 목소리로 하지 않은 말과 행동을 만들어 낸 합성물.

출처 표시 — 생성 시점에 AI 생성물임을 표시해 두는 방식. 워터마크나 제작 이력 표준이 쓰입니다.

다음 회차 예고 — 그리고 생각해볼 질문

제3부가 끝났습니다. 12회차의 뉴런 하나에서 시작해 학습법을 얻었고, 눈과 귀와 관계를 위한 배열을 봤고, 오늘 만들어 내는 쪽까지 왔습니다. 딥러닝의 부품과 배열은 이제 전부 손에 들어왔어요.

18회차부터 제4부 「생성형 AI와 LLM 시대」가 시작됩니다. 첫 회는 「LLM의 원리」예요.

거기서 다룰 질문은 이겁니다. "다음 낱말 맞히기"라는 시시해 보이는 목표 하나가 어떻게 번역과 요약과 코딩과 추론을 전부 흡수했을까요. 토큰이라는 단위가 왜 필요한지, 그리고 규모를 키우기만 했는데 없던 능력이 나타나는 현상을 어떻게 봐야 하는지를 함께 봅니다.

생각해볼 질문. 오늘 생성 모델이 하는 일을 "창작이 아니라 표본 추출"이라고 정리했습니다. 그럴듯한 것들이 모여 있는 자리에서 하나를 뽑아 오는 일이라고요.

그런데 사람의 창작은 정말 다를까요? 우리도 지금까지 보고 들은 것들의 분포 안에서 무언가를 꺼내는 것 아닐까요. 만약 다르다면 무엇이 다른 걸까요 — 의도일까요, 경험일까요, 아니면 틀릴 수 있다는 것일까요? 댓글로 들려주세요.

이 포스트는 SVIL 연구소 「AI 기초 및 활용」 30회 시리즈의 17회차이며, 제3부 「딥러닝과 신경망」의 마지막 회입니다. 하버드 CS50 AI, MIT 6.S191 등 공개 교육과정의 구조를 참고했으며, 모든 내용은 이미지 없이 본문만으로 이해할 수 있도록 구성되어 있습니다. 모든 이미지에는 내용을 설명하는 대체텍스트가 포함되어 있습니다.

협업문의 : kuroicode@gmail.com
블로그 : https://blog.svil.dev/
홈페이지 : https://kuroicode-beep.github.io/svil-homepage/