AI 기초 및 활용 18회: LLM의 원리 — 다음 낱말 맞히기가 어떻게 전부를 흡수했나
훈련 목표는 빈칸 채우기 하나뿐인데 번역도 요약도 코딩도 해냅니다. 토큰과 확률 분포와 자기회귀라는 세 부품으로 그 이유를 설명하고, 규모의 법칙이 AI를 연구 문제에서 자본 문제로 바꾼 과정까지 다룹니다.
GPT
AI 기초 및 활용 16회: 어텐션과 트랜스포머 — 압축을 그만두자 열린 문
문장 전체를 묶음 하나에 욱여넣던 병목을, 필요할 때마다 원본을 돌아보는 방식이 어떻게 없앴는지. 그리고 순환 구조를 걷어내자 열린 병렬 처리가 왜 오늘의 거대 모델을 가능하게 했는지 — 제4부로 넘어가는 다리.