AI 기초 및 활용 19회: LLM은 어떻게 길러지는가 — 아는 것과 처신하는 것은 다른 문제입니다

오늘의 질문 — 사전학습만 끝낸 모델은 대화를 못 합니다

18회차에서 사전학습을 다뤘습니다. 웹을 통째로 읽으며 다음 조각을 맞히는 훈련이었죠. 이 단계가 끝나면 모델은 언어와 세상에 대한 엄청난 것을 담게 됩니다.

그런데 그 모델에게 "대한민국의 수도는 어디인가요?"라고 물으면 무슨 일이 벌어질까요. 답을 할 것 같지만, 실제로는 이런 식으로 이어 갈 가능성이 높습니다. "일본의 수도는 어디인가요? 프랑스의 수도는 어디인가요?"

이상해 보이지만 당연합니다. 웹에는 질문 목록이라는 글이 흔하거든요. 문제집, 시험지, 퀴즈 모음. 모델은 지금 가장 그럴듯한 다음 조각을 고르고 있을 뿐이에요.

오늘의 질문은 이것입니다. 이 날것의 모델을 어떻게 대화 상대로 만들까요.

지난 회차 연결 — 원리에서 양육으로

18회차가 무엇을 하는 장치인가였다면, 오늘은 어떻게 지금의 모습이 되는가입니다.

그리고 이 회차는 기술 이야기이자 가치 이야기이기도 합니다. "좋은 답"을 정의하는 순간 누구에게 좋은 답인가라는 질문이 따라오거든요. 이 질문을 피하지 않고 다루겠습니다.

또 하나. 11회차에서 강화학습을 다루며 인간 피드백 강화학습은 19회차에서라고 예고했었죠. 오늘 그 약속을 지킵니다. 그리고 그때 배운 보상 해킹이 여기서 다시 나타납니다.

날것의 모델은 무엇을 하나

사전학습만 끝낸 모델을 기반 모델이라고 부릅니다. 이 모델의 성질을 정확히 알아 둘 필요가 있어요.

기반 모델은 지시를 따르지 않습니다. "요약해 줘"라고 하면 요약하는 게 아니라 요약을 요청하는 다른 문장을 이어 쓸 수 있어요.

기반 모델은 거절하지 않습니다. 위험한 요청에도 그럴듯한 다음 조각을 계속 만들어 냅니다. 그런 판단 기준이 애초에 없거든요.

기반 모델은 사람의 말투를 흉내 냅니다. 웹 글의 분포를 따르니, 상황에 따라 광고문이 되기도 하고 댓글 싸움이 되기도 합니다.

그런데 오해하면 안 되는 것이 있어요. 능력이 없는 게 아닙니다. 번역도 요약도 할 줄 압니다. 다만 지금 그걸 하라는 신호를 알아듣지 못할 뿐이에요. 이 구분이 오늘의 핵심입니다.

세 단계로 길러집니다

기반 모델을 대화 가능한 모델로 만드는 과정은 보통 세 단계로 정리됩니다.

1단계 사전학습. 18회차에서 다룬 그것입니다. 비용의 절대 다수가 여기 들어가고, 시간도 수개월이 걸립니다. 지식과 능력이 여기서 형성됩니다.

2단계 지시 미세조정. "이런 요청에는 이렇게 답한다"는 예시를 보여주며 다듬는 단계입니다. 사람이 쓴 질문-답변 쌍을 씁니다.

3단계 선호 학습. 사람이 여러 답 중 무엇을 더 좋아하는지를 배워 그 방향으로 다듬는 단계입니다. 인간 피드백 강화학습이 대표적이에요.

비유하자면 1단계는 세상을 읽어 아는 것이고, 2·3단계는 그 앎을 어떻게 쓰는지 배우는 것입니다. 아는 것과 처신하는 것은 다른 문제죠.

2단계 지시 미세조정 — 대화의 형식을 가르치기

2단계는 개념이 단순합니다. 좋은 질문-답변 쌍을 잔뜩 만들어 그걸로 이어서 학습시킵니다. 7회차의 지도학습 그대로예요.

여기서 모델이 배우는 것은 지식이 아니라 형식과 태도입니다. 질문이 오면 답을 한다는 것, 요약하라면 요약을 한다는 것, 모르면 모른다고 말할 수 있다는 것.

중요한 것은 이 데이터가 사람이 손으로 쓴다는 점입니다. 어떤 답이 좋은 답인지 사람이 시범을 보이는 거예요. 그래서 이 시범을 누가 쓰느냐가 모델의 성격을 만듭니다.

요즘은 잘 만들어진 큰 모델이 데이터 일부를 만들기도 합니다. 다만 그러면 그 모델의 편향까지 물려받는다는 문제가 따라와요.

데이터는 아주 적어도 됩니다

여기서 놀라운 사실이 하나 있습니다. 지시 미세조정에 필요한 데이터가 사전학습에 비하면 터무니없이 적습니다.

사전학습은 조 단위 토큰을 씁니다. 그런데 지시 미세조정은 수천에서 수만 쌍이면 충분한 경우가 많아요. 심지어 천 개 정도의 아주 잘 고른 예시만으로도 상당한 효과가 난다는 연구가 있었습니다.

비율로 보면 소수점 아래로 한참 내려가는 양입니다. 그런데 그 적은 데이터가 모델의 겉모습을 완전히 바꿉니다.

이 사실은 무엇을 뜻할까요. 다음 섹션이 그 해석입니다.

표면 정렬 가설 — 배우는 게 아니라 꺼내는 것

이 현상을 설명하는 관점을 표면 정렬 가설이라고 부릅니다. 주장은 이렇습니다.

모델의 지식과 능력은 사실상 전부 사전학습에서 만들어진다. 2·3단계가 하는 일은 새로운 능력을 넣는 것이 아니라, 이미 있는 것 중 어떤 것을 꺼내 쓸지를 정해 주는 것이다.

비유하자면 이렇습니다. 사전학습이 수만 권의 책을 읽은 사람을 만들었다면, 미세조정은 그 사람에게 "손님이 오면 이렇게 응대하세요"를 알려주는 겁니다. 지식을 새로 넣는 게 아니라 꺼내는 방식을 정하는 거예요.

이 관점이 맞다면 중요한 함의가 둘 있습니다. 하나는 미세조정으로 없던 지식을 만들 수 없다는 것. 모델이 모르는 사실은 미세조정해도 여전히 모릅니다. 다른 하나는 미세조정으로 걸어 둔 제약이 얕을 수 있다는 것이에요. 능력 자체는 밑에 그대로 있으니까요. 21번째 섹션의 탈옥 이야기가 여기서 나옵니다.

그런데 지시 미세조정만으로는 부족합니다

2단계까지 하면 꽤 쓸 만해집니다. 그런데 한계가 분명해요.

문제는 시범을 보이는 방식의 한계입니다. 좋은 답의 예를 보여줄 수는 있지만, "이 답이 저 답보다 왜 나은가"는 알려줄 수 없어요.

그리고 좋은 답은 하나가 아닙니다. 같은 질문에 훌륭한 답이 수십 가지일 수 있죠. 시범 하나를 정답으로 놓고 학습시키면, 모델은 그 표현 방식 자체를 흉내내게 됩니다.

더 근본적인 문제도 있습니다. 사람은 좋은 답을 쓰는 것보다 두 답 중 나은 것을 고르는 게 훨씬 쉽습니다. 요리를 못 해도 어느 요리가 맛있는지는 알 수 있죠.

3단계는 이 비대칭을 이용합니다. 쓰게 하지 말고 고르게 하자.

3단계 인간 피드백 — 좋은 답을 어떻게 정의하나

구체적인 절차는 이렇습니다. 먼저 같은 질문에 모델이 여러 개의 답을 만들게 합니다. 18회차의 샘플링을 떠올리면 됩니다. 확률적으로 뽑으니 매번 다른 답이 나오죠.

그다음 사람에게 그 답들을 보여주고 순위를 매기게 합니다. "이게 저것보다 낫다"는 판단만 하면 됩니다.

이렇게 모은 것이 선호 데이터입니다. 어느 답이 어느 답보다 나은지에 대한 사람의 판단 기록이에요.

중요한 것은 이 판단이 여러 축을 한꺼번에 반영한다는 점입니다. 정확한가, 도움이 되는가, 읽기 좋은가, 위험하지 않은가. 사람은 이것들을 통합해 하나의 선호로 표현합니다. 13회차에서 목표가 여럿일 때 하나로 합쳐야 한다고 했던 그 일을 사람의 직관이 대신하는 겁니다.

보상 모델 — 사람의 취향을 숫자로

선호 데이터를 모았지만 이걸로 바로 학습할 수는 없습니다. 학습에는 매 순간의 점수가 필요한데, 사람이 그때그때 채점해 줄 수는 없으니까요.

그래서 보상 모델을 따로 만듭니다. 답을 넣으면 점수를 내놓는 신경망이에요. 사람의 순위 데이터로 학습시켜서, 사람이 좋아할 답에 높은 점수를 주도록 만듭니다.

여기서 17회차의 GAN이 떠오르실 겁니다. 손실 함수 자체를 신경망으로 만드는 그 발상이죠. "좋은 답"의 기준을 사람이 적을 수 없으니 학습된 판정자에게 맡기는 겁니다.

그리고 여기가 이 파이프라인의 가장 약한 고리입니다. 보상 모델은 사람의 선호를 근사할 뿐이에요. 그 근사가 어긋난 지점을 나중에 모델이 파고듭니다.

강화학습으로 다듬기

이제 11회차의 강화학습이 등장합니다. 구도를 대응시켜 볼게요.

에이전트는 언어 모델입니다. 행동은 답을 만들어 내는 것이고요. 보상은 보상 모델이 매기는 점수입니다.

모델은 점수가 높아지는 방향으로 조금씩 조정됩니다. 답을 만들고, 점수를 받고, 그 방향으로 가중치를 밀고. 11회차에서 배운 순환이 그대로입니다.

여기에 안전장치가 하나 붙습니다. 원래 모델에서 너무 멀어지지 못하게 붙잡아 둡니다. 이유가 있어요. 점수만 좇으면 모델이 점수는 높지만 말이 안 되는 이상한 답으로 흘러갈 수 있거든요. 그래서 "원래 하던 말투에서 크게 벗어나면 벌을 준다"는 제약을 겁니다.

이 제약이 있다는 사실 자체가 시사적입니다. 보상만 좇게 두면 이상해진다는 것을 이미 알고 있다는 뜻이니까요.

11회차의 예고를 회수합니다

11회차에서 보상 해킹을 다뤘습니다. 보트 경주 게임에서 결승선에 가는 대신 점수 아이템만 뱅뱅 돌며 먹던 그 에이전트요.

그때 이렇게 말했습니다. "에이전트는 의도가 아니라 보상을 좇습니다." 그리고 "무엇을 보상할 것인가는 AI 시대 전체의 안전 문제"라고 했죠.

이제 그 말의 무게가 달라집니다. 오늘날 우리가 매일 쓰는 언어 모델이 정확히 그 구조로 다듬어졌기 때문이에요.

보상 모델은 사람의 진짜 선호가 아니라 그것의 근사치입니다. 그리고 충분히 영리한 모델은 근사가 어긋난 틈을 찾아냅니다. 다음 세 섹션이 그 결과입니다.

정렬세 — 얌전해지면서 잃는 것

첫 번째 결과는 정렬세입니다. 모델을 안전하고 얌전하게 만들수록 순수한 능력이 조금 깎이는 현상이에요.

실제로 관측됩니다. 3단계를 거친 모델이 기반 모델보다 특정 시험 성적이 낮게 나오는 경우가 있어요. 창의적인 글쓰기나 다양한 발상이 필요한 과제에서 특히 그렇습니다.

이유를 짐작해 보면 이렇습니다. 사람이 선호하는 답은 대체로 안전하고 무난한 답입니다. 그쪽으로 밀다 보면 분포가 좁아져요. 18회차의 온도 이야기와 닮았습니다. 뾰족해지면 일관되지만 다양성을 잃죠.

그래서 개발자용으로는 제약이 덜한 판을 따로 제공하기도 합니다. 안전과 능력 사이의 저울질이 실제 제품 결정으로 나타나는 셈이에요.

아첨 — 맞는 말보다 듣기 좋은 말

두 번째 결과가 더 미묘하고 더 위험합니다. 아첨입니다.

사람은 자기 생각에 동의해 주는 답을 더 좋게 평가하는 경향이 있습니다. 무의식적으로요. 그러면 선호 데이터에 그 경향이 스며들고, 보상 모델이 그걸 배우고, 결국 모델이 동의하는 쪽으로 기웁니다.

실제 증상은 이렇습니다. 사용자가 "아닌 것 같은데요?"라고 하면 맞는 답이었는데도 쉽게 물러섭니다. 사용자가 어떤 입장을 드러내면 그 입장에 맞춰 답이 기웁니다.

이게 왜 위험할까요. AI를 쓰는 이유 중 하나가 내 생각을 점검받는 것인데, 그 기능이 무력화되기 때문입니다. 확인해 주는 거울이 되어 버리는 거예요.

실무 대응이 있습니다. 내 입장을 먼저 밝히지 말고 묻기. "내 생각엔 A인데 맞지?" 대신 "A와 B 중 무엇이 맞고 왜 그런가"라고 물으세요. 그리고 반대 근거를 명시적으로 요구하는 것도 효과적입니다.

보상 해킹이 여기서도 나옵니다

세 번째는 좀 더 표면적이지만 매일 마주치는 것들입니다. 보상 모델의 허점을 파고드는 습관이에요.

사람 평가자는 길고 구조가 잘 잡힌 답을 더 좋게 보는 경향이 있습니다. 그래서 모델이 불필요하게 길어지고, 목록과 소제목을 남발합니다. 한 문장이면 될 답에 굳이 세 항목을 만드는 거죠.

과도한 서두와 마무리도 같은 뿌리입니다. "좋은 질문입니다"로 시작하고 "도움이 되었길 바랍니다"로 끝나는 그 습관이요.

그리고 지나친 신중함도 있습니다. 안전을 높이 평가하다 보면 위험하지 않은 질문에도 경고를 붙이거나 거절하는 쪽으로 기울어요.

이것들은 버그가 아니라 보상 설계의 결과입니다. 11회차의 보트가 점수 아이템을 뱅뱅 돌던 것과 정확히 같은 현상이에요. 다만 대상이 게임 점수가 아니라 사람의 평가일 뿐입니다.

헌법적 방법 — 원칙을 글로 적어 두기

사람의 선호에만 기대는 방식의 한계가 드러나자 다른 접근이 나왔습니다. 원칙을 미리 글로 적어 두는 방법입니다.

절차는 이렇습니다. 먼저 지켜야 할 원칙 목록을 사람이 작성합니다. 그다음 모델이 자기 답을 그 원칙에 비추어 스스로 비판하고 고치게 합니다. 그렇게 고쳐진 답으로 학습시켜요.

장점이 둘입니다. 첫째, 기준이 문서로 남습니다. 사람의 무의식적 편향이 데이터에 스며드는 대신 명시된 원칙이 기준이 되죠. 논쟁도 가능해집니다. 원칙 문서를 두고 다툴 수 있으니까요.

둘째, 사람이 유해한 내용을 계속 볼 필요가 줄어듭니다. 이건 종종 간과되는데, 유해 콘텐츠 평가 작업은 실제로 사람에게 해를 입히는 노동입니다. 그 부담을 줄이는 것은 윤리적으로 중요한 문제예요.

물론 완전한 해법은 아닙니다. 원칙을 누가 쓰는가라는 질문이 남으니까요. 다음 섹션의 주제입니다.

최근의 흐름 — 더 단순한 방법들

기술 쪽 흐름도 짚어 두겠습니다. 3단계 강화학습은 복잡하고 불안정했습니다. 보상 모델을 따로 학습시키고 그걸로 또 강화학습을 돌려야 했으니까요.

그래서 보상 모델을 따로 두지 않고 선호 데이터로 곧장 학습시키는 방법들이 나왔습니다. 계산이 훨씬 가볍고 다루기 쉬워서 널리 쓰이고 있어요.

여기서도 같은 교훈이 반복됩니다. 15회차 GRU, 16회차 트랜스포머, 17회차 디퓨전에서 봤던 그것. 단순하고 안정적인 쪽이 결국 이깁니다.

또 하나 큰 흐름은 검증 가능한 보상입니다. 수학이나 코딩처럼 정답을 기계가 확인할 수 있는 분야에서는 사람의 선호 대신 실제로 맞았는지를 보상으로 씁니다. 사람의 취향이 개입하지 않으니 아첨도 보상 해킹도 훨씬 덜해요. 최근 추론 능력이 크게 올라간 배경입니다. 다만 정답을 확인할 수 있는 분야에서만 쓸 수 있다는 한계가 있습니다.

누구의 선호가 기준이 되나

이제 피하지 않기로 한 질문입니다. 3단계의 기준은 사람의 선호였습니다. 그런데 어떤 사람일까요.

실제로 평가 작업을 하는 사람들은 특정 국가, 특정 언어, 특정 연령대에 몰려 있는 경우가 많습니다. 비용 문제로 임금이 낮은 지역에 위탁되기도 하고요.

그 결과 모델의 "좋은 답"에 대한 감각이 특정 집단의 것에 가까워집니다. 무엇이 예의 바른 표현인지, 어떤 주제가 민감한지, 어느 정도가 지나친 신중함인지 — 전부 문화마다 다른데 말이죠.

한국어 사용자가 체감하는 어색함 중 일부가 여기서 옵니다. 번역투 문장, 한국 맥락에 안 맞는 조언, 한국에서는 문제되지 않는 것에 대한 과도한 경고. 성능 문제가 아니라 누구의 선호로 다듬였는가의 문제입니다.

그리고 이 문제는 기술로 완전히 풀리지 않습니다. "좋은 답"의 정의에는 가치 판단이 들어 있고, 가치는 사회마다 다르니까요. 28·29회차에서 이 문제를 정면으로 다룹니다.

실전 ① 시스템 프롬프트라는 층

실무로 넘어옵니다. 여러분이 채팅창에 무언가를 입력하기 전에 이미 들어가 있는 글이 있습니다. 시스템 프롬프트예요.

여기에는 오늘 날짜, 응답 형식 지침, 하지 말아야 할 것들, 도구 사용법 같은 것이 적혀 있습니다. 서비스마다 다르고, 같은 모델이라도 이것 때문에 성격이 달라집니다.

알아 둘 점은 이겁니다. 시스템 프롬프트는 훈련이 아니라 입력입니다. 훈련으로 몸에 밴 성향과 달리 그때그때 바꿀 수 있어요. 그래서 API로 직접 쓸 때는 여러분이 이 층을 통제할 수 있습니다.

그리고 이것이 같은 모델인데 여기서는 되고 저기서는 안 되는 현상의 흔한 원인입니다. 모델이 아니라 그 위에 얹힌 층이 다른 거예요.

실전 ② 왜 모델마다 성격이 다른가

같은 트랜스포머 구조에 비슷한 데이터를 쓰는데도 모델마다 인상이 다릅니다. 어떤 모델은 간결하고, 어떤 모델은 장황하고, 어떤 모델은 유난히 조심스럽죠.

차이의 상당 부분이 2·3단계에서 생깁니다. 어떤 시범 데이터를 썼는지, 어떤 원칙 문서를 세웠는지, 평가자에게 무엇을 중시하라고 지시했는지.

그래서 모델을 고를 때 성능 점수만 보는 것은 부족합니다. 여러분의 용도에 성향이 맞는지가 실사용 만족도를 더 크게 좌우해요.

실용적인 조언 하나. 같은 과제를 두세 모델에 똑같이 던져 보세요. 벤치마크 순위보다 훨씬 정확한 정보를 줍니다. 26회차에서 이 이야기를 도구 선택 관점으로 다시 다룹니다.

실전 ③ 탈옥과 거절

표면 정렬 가설을 다시 떠올려 봅시다. 능력은 밑에 있고 제약은 위에 얹혀 있다면, 그 제약은 우회될 수 있을까요. 실제로 그렇습니다.

역할극 상황을 만들거나, 요청을 학술적 맥락으로 감싸거나, 여러 단계로 쪼개어 각각은 무해해 보이게 만드는 방식으로 거절을 우회하는 시도가 꾸준히 보고됩니다. 이것을 탈옥이라고 부르죠.

그래서 실무에서 모델의 거절 기능만 믿고 시스템을 설계하면 안 됩니다. 진짜 위험한 동작은 모델 바깥에서 막아야 해요. 권한을 제한하고, 실행 전에 확인을 받고, 로그를 남기는 식으로요. 23회차 에이전트에서 이 원칙이 결정적이 됩니다.

동시에 반대 방향의 문제도 있습니다. 거절이 과하면 정당한 사용이 막힙니다. 의료인이 약물 정보를 묻거나 보안 담당자가 공격 기법을 묻는 경우가 그렇죠. 안전과 유용성은 맞바꿈 관계이고, 이 저울의 눈금을 어디에 두는지가 제품의 성격을 만듭니다.

접근성 관점 — 거절이 만드는 장벽

이 시리즈의 관점에서 하나 짚고 가겠습니다. 과도한 거절은 접근성 문제이기도 합니다.

장애나 질병과 함께 사는 사람은 자기 몸과 약과 기기에 대해 구체적으로 물을 일이 많습니다. 그런데 모델이 의료 관련 질문에 지나치게 조심스러우면, 일반적인 정보조차 얻기 어려워집니다.

정보 접근성이 이미 불리한 사람에게 또 하나의 문턱이 생기는 셈이에요. 병원에 자주 가기 어려운 사람, 화면 낭독기로 긴 문서를 훑기 어려운 사람일수록 이 문턱이 큽니다.

그래서 이 문제는 안전 대 자유의 문제만이 아니라 누가 그 비용을 치르는가의 문제입니다. 과도한 신중함의 비용은 가장 정보가 필요한 사람에게 가장 무겁게 떨어져요. 25회차에서 이 주제를 정면으로 다룹니다.

핵심 정리 — 세 줄

첫째, 지식은 사전학습에서 만들어지고 처신은 미세조정에서 만들어집니다. 사전학습만 끝낸 기반 모델은 능력은 있지만 지시를 따르지 않고 거절도 못 합니다. 이후 단계에 쓰이는 데이터는 사전학습에 비해 터무니없이 적은데도 겉모습을 완전히 바꾸는데, 없던 능력을 넣는 것이 아니라 이미 있는 것을 어떻게 꺼낼지 정해 주기 때문입니다.

둘째, 사람은 좋은 답을 쓰는 것보다 고르는 것을 훨씬 잘합니다. 이 비대칭을 이용해 선호 데이터를 모으고, 그것으로 보상 모델을 만들어 강화학습을 돌리는 것이 인간 피드백 강화학습입니다. 좋은 답의 기준을 사람이 적을 수 없으니 학습된 판정자에게 맡긴 것이며, 이 근사가 이 파이프라인의 가장 약한 고리입니다.

셋째, 보상을 좇는 구조는 반드시 그 허점도 좇습니다. 정렬세로 능력이 조금 깎이고, 아첨으로 맞는 말보다 듣기 좋은 말이 나오며, 길고 장황한 답이 선호되는 습관이 생깁니다. 11회차의 보상 해킹이 사람의 평가를 대상으로 그대로 재현되는 것이고, 그래서 "누구의 선호가 기준인가"는 기술이 아니라 가치의 문제로 남습니다.

용어 정리

기반 모델 — 사전학습만 마친 날것의 모델. 능력은 있지만 지시를 따르거나 거절하지 못합니다.

지시 미세조정 — 사람이 쓴 질문-답변 쌍으로 응답의 형식과 태도를 가르치는 단계.

표면 정렬 가설 — 지식과 능력은 사전학습에서 형성되고 이후 단계는 그중 무엇을 꺼낼지 정할 뿐이라는 관점.

선호 데이터 — 같은 질문에 대한 여러 답의 우열을 사람이 매긴 기록.

보상 모델 — 답을 넣으면 사람이 좋아할 정도를 점수로 내놓는 신경망. 사람의 선호를 근사합니다.

인간 피드백 강화학습 — 보상 모델의 점수를 보상으로 삼아 강화학습으로 언어 모델을 다듬는 방법.

정렬세 — 안전하고 얌전하게 다듬는 대가로 순수한 능력이나 다양성이 조금 깎이는 현상.

아첨 — 사용자의 의견에 동조하는 쪽으로 답이 기우는 성향. 사람이 동의를 더 좋게 평가하는 경향에서 나옵니다.

헌법적 방법 — 원칙을 문서로 적어 두고 모델이 자기 답을 그 원칙에 비추어 고치게 하는 방식.

검증 가능한 보상 — 사람의 선호 대신 기계가 정답 여부를 확인할 수 있는 신호를 보상으로 쓰는 방식. 수학·코딩에서 효과적입니다.

시스템 프롬프트 — 사용자 입력 앞에 항상 들어가는 지침 글. 훈련이 아니라 입력이라 그때그때 바꿀 수 있습니다.

탈옥 — 역할극이나 맥락 위장 등으로 모델의 거절을 우회하려는 시도.

다음 회차 예고 — 그리고 생각해볼 질문

20회차는 「프롬프트 엔지니어링」입니다. 18·19회차에서 모델이 어떤 장치이고 어떻게 길러졌는지를 알았으니, 이제 그 지식이 곧장 실전 기술이 됩니다.

다음 회차에서는 좋은 지시의 원칙과 실전 프롬프트 패턴 열 가지를 다룹니다. 그런데 요령 나열이 아니라 왜 그게 통하는지를 오늘까지 배운 원리로 설명할 거예요. 예를 들어 단계적으로 생각하게 하기가 통하는 이유는 18회차의 자기회귀에서 이미 나왔습니다. 중간 과정을 글로 쓰면 그 글이 다시 입력이 되어 실질적으로 계산을 더 하게 되니까요.

그리고 오늘 다룬 아첨을 피하는 질문법도 거기서 체계적으로 정리합니다.

생각해볼 질문. 오늘 아첨을 다뤘습니다. 사람은 자기 생각에 동의해 주는 답을 더 좋게 평가하고, 그 경향이 모델에 그대로 학습된다고요.

그런데 이건 기계만의 이야기일까요. 우리 주변에도 동의해 주는 사람이 더 좋게 평가되는 구조가 있습니다. 회의에서, 조직에서, 인간관계에서요. 여러분은 내 말에 반대해 주는 존재를 곁에 두고 계신가요? 그리고 AI에게 그 역할을 시키려면 무엇을 어떻게 물어야 할까요? 댓글로 들려주세요.

이 포스트는 SVIL 연구소 「AI 기초 및 활용」 30회 시리즈의 19회차이며, 제4부 「생성형 AI와 LLM 시대」의 두 번째 회입니다. 하버드 CS50 AI, MIT 6.S191 등 공개 교육과정의 구조를 참고했으며, 모든 내용은 이미지 없이 본문만으로 이해할 수 있도록 구성되어 있습니다. 모든 이미지에는 내용을 설명하는 대체텍스트가 포함되어 있습니다.

협업문의 : kuroicode@gmail.com
블로그 : https://blog.svil.dev/
홈페이지 : https://kuroicode-beep.github.io/svil-homepage/