AI 기초 및 활용 15회: RNN과 시퀀스 — 기억을 가진 망, 그리고 열 걸음이면 흐려지는 이유
순서가 정보인 데이터를 다루려면 망에 기억이 필요합니다. 되먹임과 은닉 상태로 순서를 새겨 넣는 방법, 같은 가중치를 반복해 곱해서 기억이 흐려지는 구조적 이유, 그리고 곱하지 말고 더하자는 LSTM의 해법까지.
순서가 정보인 데이터를 다루려면 망에 기억이 필요합니다. 되먹임과 은닉 상태로 순서를 새겨 넣는 방법, 같은 가중치를 반복해 곱해서 기억이 흐려지는 구조적 이유, 그리고 곱하지 말고 더하자는 LSTM의 해법까지.
픽셀 백만 개를 전부 연결하면 가중치가 10억 개가 됩니다. 작은 창문 하나로 화면을 훑는다는 아이디어가 어떻게 그 재앙을 해결하고, 선에서 모양으로 물체로 올라가는 위계를 스스로 만들어냈는지 — 2012년 알렉스넷의 그날까지.
손실 함수로 틀린 정도를 하나의 숫자로 만들고, 경사하강법으로 그 숫자를 줄이는 방향을 찾고, 역전파로 그 책임을 안쪽 층까지 나눠 물린다 — 20년의 겨울을 끝낸 세 가지를 수식 없이 말로 풀었습니다.
곱하고, 더하고, 문턱을 넘는지 본다 — 오늘 모든 AI의 가장 작은 부품인 인공 뉴런의 세 동작과, 그 하나로는 XOR을 절대 못 푸는 이유, 그리고 층을 쌓는다는 해법까지. 제3부 「딥러닝과 신경망」의 첫 회입니다.