AI 기초 및 활용 12회: 뉴런에서 퍼셉트론으로 — 직선 하나로는 못 푸는 문제

오늘의 질문 — 뉴런 하나로 생각을 흉내 낼 수 있을까요

사람의 뇌에는 신경세포, 즉 뉴런이 약 860억 개 있습니다. 하나하나는 놀라울 만큼 단순한 일을 합니다. 여기저기서 신호를 받아 모으고, 그 합이 어느 선을 넘으면 자기도 신호를 내보내고, 넘지 않으면 가만히 있습니다. 그게 전부예요.

여기서 이상한 질문이 하나 생깁니다. 이렇게 단순한 장치가 860억 개 모였다고 해서, 어떻게 시를 읽고 농담을 이해하고 처음 보는 얼굴을 알아보는 일이 가능해질까요?

1943년에 두 사람이 이 질문을 뒤집어 봅니다. 뉴런이 하는 일이 정말 그렇게 단순하다면, 그 단순한 일을 계산으로 똑같이 흉내 낼 수 있지 않을까? 그리고 그것을 잔뜩 이어 붙이면, 생각 비슷한 것이 나오지 않을까?

오늘 그 질문을 따라갑니다. 이 회차가 끝나면 여러분은 오늘날 모든 AI의 가장 작은 부품이 정확히 무엇인지, 그리고 그 부품 하나가 왜 절대 혼자서는 안 되는지를 알게 됩니다.

지난 회차 연결 — 상자를 열 시간입니다

제2부에서 우리는 머신러닝의 세 갈래 길을 걸었습니다. 정답을 보며 배우는 지도학습, 정답 없이 구조를 찾는 비지도학습, 보상만 받으며 시행착오로 배우는 강화학습이었죠.

그런데 그 여섯 회차 내내 우리는 한 가지를 계속 얼버무렸습니다. 모델을 "다이얼이 잔뜩 달린 상자"라고만 불렀어요. 다이얼을 돌려 오차를 줄인다고 했지, 그 상자 안에서 다이얼들이 어떻게 연결되어 있는지는 한 번도 열어 보지 않았습니다.

제3부는 그 상자를 여는 이야기입니다. 그리고 상자 안에서 우리가 발견할 것은 놀랍도록 단순합니다. 같은 부품 하나가 아주 많이, 층층이 쌓여 있을 뿐이에요.

오늘은 그 부품 하나를 봅니다. 다음 회차에서 그 부품들이 어떻게 스스로 배우는지를 보고, 그다음부터는 이 부품을 어떻게 배열하느냐에 따라 눈이 되고(14회) 귀가 되고(15회) 말이 되는지(16회)를 따라갑니다.

뇌를 흉내 낸다는 발상은 어디서 왔나

19세기 말까지 사람들은 뇌가 하나로 이어진 그물 같은 조직이라고 생각했습니다. 이 그림을 바꾼 사람이 스페인의 해부학자 산티아고 라몬 이 카할입니다. 그는 뇌가 서로 떨어진 개별 세포들의 모임이며, 그 사이에 아주 좁은 틈이 있다는 것을 밝혀냅니다.

이것이 왜 중요할까요. 뇌가 하나로 이어진 덩어리라면 흉내 낼 방법이 없습니다. 하지만 낱개의 부품이 신호를 주고받는 구조라면 이야기가 달라집니다. 부품 하나의 동작만 알아내면, 그것을 복제해서 이어 붙이면 되니까요.

그리고 1930~40년대에 또 하나의 흐름이 겹칩니다. 앨런 튜링을 비롯한 사람들이 "계산이란 무엇인가"를 엄밀하게 정의하기 시작한 시기였어요. 2회차에서 만난 그 흐름입니다.

한쪽에서는 뇌가 낱개 부품의 회로라는 것이 밝혀지고, 다른 쪽에서는 계산이 기계적 절차라는 것이 정리됩니다. 두 흐름이 만나는 자리에서 오늘의 이야기가 시작됩니다.

생물학적 뉴런이 실제로 하는 일

뉴런 하나의 구조를 말로 그려 보겠습니다. 한쪽에 수상돌기라고 부르는 잔가지들이 무성하게 뻗어 있습니다. 이 잔가지들이 다른 뉴런들로부터 신호를 받아들이는 입구예요. 한 뉴런이 수천 개의 입구를 가지기도 합니다.

가운데에는 세포체가 있습니다. 잔가지들이 받아 온 신호가 여기로 모입니다. 그냥 모이기만 하는 게 아니라 더해집니다. 어떤 신호는 "켜라"는 쪽으로 밀고, 어떤 신호는 "끄라"는 쪽으로 당깁니다. 세포체는 이 밀고 당김의 총합을 계산해요.

반대쪽에는 축삭이라는 긴 줄기 하나가 뻗어 있습니다. 이것이 출구입니다. 입구는 수천 개인데 출구는 하나예요. 이 비대칭이 중요합니다.

그리고 입구와 출구 사이의 좁은 틈, 시냅스가 있습니다. 여기가 신호의 세기를 조절하는 자리입니다. 어떤 연결은 강하게 전달하고 어떤 연결은 약하게 전달해요. 뒤에서 보겠지만, 학습이 실제로 일어나는 곳이 바로 여기입니다.

전부 아니면 전무 — 문턱이라는 장치

여기서 뉴런의 가장 결정적인 성질이 나옵니다. 세포체에 모인 신호의 합이 어떤 기준선을 넘으면, 뉴런은 축삭을 통해 신호를 쏩니다. 이것을 발화라고 합니다.

그런데 이 발화에는 세기 조절이 없습니다. 합이 기준선을 아슬아슬하게 넘겼든 한참 넘겼든, 나가는 신호의 크기는 똑같아요. 넘으면 쏘고 못 넘으면 안 쏩니다. 이것을 전부 아니면 전무 법칙이라고 부릅니다.

비유하자면 수도꼭지가 아니라 스위치입니다. 물을 조금씩 더 트는 장치가 아니라, 딸깍 하고 켜지거나 꺼지거나 둘 중 하나인 장치예요. 그 기준선을 문턱이라고 부릅니다.

이 성질 덕분에 뉴런은 아날로그 신호를 받아 디지털 판단을 내놓는 장치가 됩니다. 들어오는 것은 연속적인 세기의 합인데, 나가는 것은 예/아니오예요. 계산으로 흉내 내기에 이보다 좋은 성질이 없습니다.

1943년, 두 사람이 뉴런을 계산으로 바꿉니다

신경생리학자 워런 맥컬록과 논리학자 월터 피츠가 1943년에 한 편의 논문을 발표합니다. 제목을 우리말로 옮기면 「신경 활동에 내재한 생각의 논리적 계산」 정도가 됩니다.

두 사람이 한 일은 이것입니다. 뉴런의 동작에서 생물학적인 것을 전부 걷어내고 뼈대만 남겼습니다. 화학물질도, 세포막도, 전위차도 다 지웠어요. 남은 것은 이렇습니다. 여러 입력을 받아 더한다. 합이 문턱을 넘으면 1을 내보내고, 넘지 않으면 0을 내보낸다.

그리고 두 사람은 이 장치들을 이어 붙이면 논리 연산을 만들 수 있다는 것을 보였습니다. 5회차에서 다룬 그 논리 말입니다. "그리고", "또는", "아니다"를 뉴런 조합으로 구현할 수 있다는 것이죠.

이 논문의 파괴력은 여기에 있습니다. 논리를 만들 수 있다면 계산을 만들 수 있고, 계산을 만들 수 있다면 원리적으로는 무엇이든 만들 수 있다는 뜻이 됩니다. "생각은 결국 계산이다"라는 주장이 처음으로 구체적인 부품 도면을 얻은 순간이었어요.

인공 뉴런 ① 입력과 가중치 — 무엇을 얼마나 믿을 것인가

이제 인공 뉴런의 구조를 하나씩 뜯어보겠습니다. 수식은 쓰지 않고 전부 말로 설명할게요.

먼저 입력이 있습니다. 여러 개의 숫자가 들어옵니다. 스팸 필터라면 "링크가 몇 개인가", "대문자 비율이 얼마인가" 같은 값들이겠죠. 6회차에서 말한 특징들입니다.

그다음이 핵심입니다. 각 입력마다 가중치라는 자기 몫의 숫자가 붙어 있습니다. 입력값에 그 가중치를 곱해서 안으로 들여보내요. 가중치가 크면 그 입력은 판단에 크게 반영되고, 작으면 거의 무시됩니다.

가중치가 음수일 수도 있습니다. 그러면 그 입력은 값이 커질수록 오히려 "아니다" 쪽으로 밀어냅니다. 생물학적 뉴런에서 억제성 신호가 하는 역할이 이것이에요.

그러니까 가중치는 "이 신호를 얼마나 믿을 것인가"를 적어 놓은 숫자입니다. 그리고 학습이란, 결국 이 숫자들을 고쳐 나가는 일입니다. 시냅스가 학습의 자리라고 했던 것과 정확히 대응합니다.

인공 뉴런 ② 합과 편향 — 문턱을 옮기는 다이얼

입력마다 가중치를 곱했으면, 그것들을 전부 더합니다. 이 하나의 숫자가 "지금까지 모인 증거의 총량"입니다.

여기에 하나가 더 붙습니다. 편향이라고 부르는 숫자인데, 입력과 상관없이 항상 더해지는 상수예요. 이름이 어렵게 들리지만 하는 일은 간단합니다. 문턱을 옮기는 다이얼입니다.

편향이 크면 증거가 조금만 모여도 발화합니다. 의심이 많지 않은 뉴런이 되는 거죠. 편향이 작으면 웬만큼 확실하지 않으면 발화하지 않습니다. 신중한 뉴런이 됩니다.

실제 스팸 필터로 옮겨 보면 이런 뜻입니다. 편향을 높이면 조금만 수상해도 스팸으로 분류하고, 낮추면 어지간히 확실해야 스팸으로 칩니다. 10회차에서 다룬 정밀도와 재현율의 저울질이 이 숫자 하나로 조절된다는 이야기예요.

인공 뉴런 ③ 활성화 — 넘으면 켜진다

마지막 단계입니다. 가중치를 곱해 더하고 편향까지 얹은 그 하나의 숫자를 활성화 함수에 넣습니다.

맥컬록과 피츠의 원래 버전에서 이 함수는 아주 단순했습니다. 0보다 크면 1, 아니면 0. 딱 스위치예요. 이것을 계단 함수라고 부릅니다. 값이 계단처럼 뚝 끊기며 올라가기 때문입니다.

정리하면 인공 뉴런 하나는 세 동작을 순서대로 합니다. 곱하고, 더하고, 문턱을 넘는지 본다. 이게 전부입니다. 오늘 지구상에서 돌아가는 모든 거대 언어 모델의 가장 작은 부품이 정확히 이 세 동작을 합니다.

차이는 부품의 복잡함이 아니라 개수와 배열에 있습니다. 이 사실이 제3부 전체를 관통하는 열쇠입니다.

7회차의 그 장치와 왜 이렇게 닮았을까요

눈치채신 분이 있을 겁니다. "곱해서 더한다"는 구조, 7회차 지도학습에서 이미 봤습니다. 각 특징에 계수를 곱해 더해서 예측값을 만들던 선형 모델이 바로 그것이었죠.

닮은 게 아니라 같습니다. 인공 뉴런의 앞부분은 정확히 선형 모델이에요. 인공 뉴런은 거기에 딱 하나를 더 붙였을 뿐입니다. 뒤에 활성화 함수를 달아 놓은 것.

그런데 이 "하나 더"가 나중에 모든 것을 바꿉니다. 선형 모델을 아무리 여러 개 쌓아도 결과는 여전히 선형 모델 하나와 똑같습니다. 곧은 것을 아무리 겹쳐도 곧기 때문이에요.

중간에 구부러지는 장치가 하나 끼어야 쌓는 것이 의미를 갖습니다. 활성화 함수가 그 구부러짐입니다. 이 이야기는 21번째 섹션에서 다시 나옵니다. 기억해 두세요.

1958년, 로젠블랫의 퍼셉트론 — 처음으로 '배우는' 기계

맥컬록과 피츠의 인공 뉴런에는 결정적인 것이 빠져 있었습니다. 가중치를 사람이 손으로 정해 줘야 했어요. 논리 회로를 만들 수는 있었지만, 스스로 배우지는 못했습니다.

1958년, 코넬 항공연구소의 심리학자 프랭크 로젠블랫이 그 빈칸을 채웁니다. 그가 만든 것이 퍼셉트론입니다. 구조는 인공 뉴런과 같은데, 가중치를 데이터로부터 스스로 고쳐 나가는 규칙이 함께 붙어 있었어요.

이것이 왜 사건이었을까요. 5회차에서 본 규칙 기반 AI는 사람이 지식을 전부 적어 넣어야 했습니다. 퍼셉트론은 예시만 보여주면 자기가 규칙을 찾아냈습니다. 6회차에서 말한 "화살표의 역전"이 실물로 처음 구현된 순간이에요.

퍼셉트론 학습 규칙 — 틀리면 그쪽으로 조금 민다

학습 규칙은 놀랄 만큼 단순합니다. 세 줄로 끝나요.

하나, 예시를 하나 집어넣고 답을 내게 합니다. 둘, 맞았으면 아무것도 하지 않습니다. 셋, 틀렸으면 가중치를 정답 쪽으로 조금 밀어 줍니다. 그리고 다음 예시로 넘어갑니다.

"조금"이 얼마인지는 학습률이라는 다이얼이 정합니다. 너무 크게 밀면 지나쳐서 반대쪽으로 틀리고, 너무 작게 밀면 하염없이 오래 걸립니다.

이 단순한 규칙에는 아름다운 보장이 하나 딸려 있습니다. 직선 하나로 나눌 수 있는 문제라면, 퍼셉트론은 반드시 유한한 횟수 안에 답을 찾아냅니다. 이것을 퍼셉트론 수렴 정리라고 합니다. 수학적으로 증명된 사실이에요.

그런데 이 정리의 앞부분에 붙은 조건, "직선 하나로 나눌 수 있는 문제라면"이 나중에 이 이야기의 목을 조릅니다.

마크 원 — 소프트웨어가 아니라 기계였습니다

오늘날 우리는 신경망을 프로그램으로 생각하지만, 로젠블랫의 퍼셉트론은 실물 기계였습니다. 마크 원 퍼셉트론이라고 불렀어요.

입력은 400개의 광센서였습니다. 가로세로 20개씩 배열해서 그 앞에 놓인 것의 명암을 읽었습니다. 그리고 가중치는 숫자가 아니라 전위차계, 즉 손으로 돌리는 저항기로 구현되어 있었습니다.

학습은 어떻게 했을까요. 모터가 그 저항기의 손잡이를 물리적으로 돌렸습니다. 가중치를 조금 민다는 것이 말 그대로 축이 조금 회전한다는 뜻이었어요.

이 기계는 실제로 간단한 도형을 구별했고, 왼쪽에 표시된 것과 오른쪽에 표시된 것을 학습으로 알아맞혔습니다. 1950년대에 배선을 바꾸지 않고 경험만으로 행동이 달라지는 기계가 나타난 겁니다.

그리고 과장이 시작됩니다

1958년 뉴욕타임스에 퍼셉트론 관련 기사가 실립니다. 거기에는 이 기계가 앞으로 걷고, 말하고, 보고, 쓰고, 자기 존재를 의식하게 될 것이라는 전망이 담겼습니다.

실제로 그 기계가 하던 일은 단순한 도형 구별이었습니다. 3회차에서 다룬 AI 사이클의 전형적인 초입 국면이에요. 진짜 성과가 있고, 그 성과가 실제보다 훨씬 크게 부풀려집니다.

여기서 오늘의 교훈 하나를 미리 꺼내겠습니다. 부풀린 약속은 반드시 청구서로 돌아옵니다. 10년 뒤 이 분야가 맞은 겨울의 온도는, 그때 약속했던 크기와 정확히 비례했습니다.

뉴런 하나가 그을 수 있는 선 — 직선 하나

이제 이 이야기의 반전으로 갑니다. 퍼셉트론 하나가 할 수 있는 일의 정확한 한계를 봐야 해요.

퍼셉트론은 입력들에 가중치를 곱해 더한 값이 문턱을 넘는지 봅니다. 이것을 그림으로 옮기면 무슨 뜻일까요. 특징이 두 개인 경우를 생각해 봅시다. 가로축에 특징 하나, 세로축에 특징 하나를 놓고 데이터를 점으로 찍습니다.

그러면 퍼셉트론이 하는 일은 그 평면에 곧은 선을 하나 긋는 것이 됩니다. 선의 한쪽에 있으면 1, 다른 쪽에 있으면 0. 가중치를 바꾸면 선의 기울기가 바뀌고, 편향을 바꾸면 선이 평행하게 이동합니다.

특징이 셋이면 선 대신 평평한 판 하나가 되고, 더 많아지면 사람이 그릴 수 없는 고차원의 평평한 칸막이가 됩니다. 하지만 본질은 그대로예요. 언제나 곧은 칸막이 하나입니다. 휘어지지 않습니다.

AND와 OR는 됩니다

이 한계가 얼마나 심각한지 구체적인 예로 확인해 보겠습니다. 입력이 두 개고 각각 0 또는 1만 받는 아주 작은 문제를 생각해 볼게요.

먼저 "둘 다 1일 때만 1"인 문제입니다. 논리의 "그리고"에 해당하죠. 네 가지 경우를 평면에 찍어 보면, 둘 다 1인 점 하나만 한쪽 구석에 떨어져 있습니다. 그 구석을 잘라내는 직선을 그으면 끝납니다. 퍼셉트론으로 됩니다.

다음은 "둘 중 하나라도 1이면 1"인 문제, 논리의 "또는"입니다. 이번에는 둘 다 0인 점 하나만 반대쪽 구석에 있습니다. 역시 직선 하나로 잘라낼 수 있어요. 이것도 됩니다.

여기까지만 보면 퍼셉트론은 논리를 배울 수 있는 기계처럼 보입니다. 그래서 사람들이 흥분했던 거예요.

XOR — 직선 하나로는 절대 못 가르는 문제

이제 세 번째 문제입니다. "둘 중 하나만 1일 때 1"인 문제예요. 둘 다 1이면 0, 둘 다 0이어도 0입니다. 논리에서 배타적 논리합, 줄여서 XOR이라고 부릅니다.

일상어로 옮기면 "둘 중 하나는 맞아야 하는데, 둘 다 맞으면 안 된다"입니다. 드물지도 이상하지도 않은 조건이에요. 메뉴에서 국이나 샐러드 중 하나만 고를 수 있는 상황이 이것입니다.

네 점을 평면에 찍어 봅시다. 1을 내야 하는 두 점은 서로 대각선 방향으로 마주 보는 자리에 있습니다. 0을 내야 하는 두 점도 나머지 대각선에 마주 보고 있어요.

직선을 어떻게 그어도 대각선끼리 묶을 수 없습니다. 기울여도, 옮겨도, 뒤집어도 안 됩니다. 이것은 학습이 부족해서가 아니라 구조적으로 불가능합니다. 퍼셉트론 하나로는 이 작은 문제를 영원히 못 풉니다.

1969년, 『퍼셉트론즈』가 나옵니다

MIT의 마빈 민스키와 시모어 페퍼트가 1969년에 『퍼셉트론즈』라는 책을 냅니다. 이 책은 퍼셉트론이 무엇을 할 수 있고 무엇을 할 수 없는지를 수학적으로 엄밀하게 정리했습니다.

그리고 그 안에 XOR 문제가 명확한 반례로 들어가 있었습니다. 흥분의 대상이던 기계가 초등학생도 이해하는 조건 하나를 못 푼다는 사실이 증명과 함께 제시된 거예요.

책의 분석 자체는 정확했습니다. 오늘 읽어도 틀린 곳이 없어요. 문제는 그 정확한 분석이 당시의 분위기와 만났을 때 어떤 일이 벌어졌는가입니다.

첫 번째 겨울의 방아쇠

10년 동안 부풀려진 약속이 있었습니다. 곧 걷고 말하고 스스로를 의식할 기계라는 약속이었죠. 그런데 그 기계가 XOR을 못 푼다는 증명이 나왔습니다.

연구비를 대던 쪽에서 보면 계산은 간단합니다. 약속은 거대했고 실물은 작았으며, 이제 한계까지 증명되었습니다. 돈이 끊깁니다.

3회차에서 다룬 첫 번째 AI 겨울이 여기서 시작됩니다. 신경망 연구는 이후 십수 년간 학계의 변두리로 밀려납니다. 논문을 내기도, 자리를 얻기도 어려운 시기가 이어졌어요.

공교롭게도 로젠블랫은 1971년 마흔셋의 나이에 보트 사고로 세상을 떠납니다. 자신이 시작한 흐름이 되살아나는 것을 보지 못했습니다.

그런데 그 책은 정말 그렇게 말했을까요

여기서 흔한 오해를 하나 바로잡아야 합니다. 『퍼셉트론즈』가 "신경망은 안 된다"고 선언했다는 이야기가 널리 퍼져 있는데, 정확하지 않습니다.

책이 증명한 것은 단층 퍼셉트론의 한계였습니다. 층이 하나뿐인 구조 말이에요. 저자들은 층을 여러 개 쌓으면 이 한계를 넘을 수 있다는 것도 알고 있었고 책에서 언급도 했습니다.

다만 그들은 여러 층을 어떻게 학습시킬지에 대해 회의적이었습니다. 그리고 그 회의는 당시로서는 합리적이었어요. 실제로 방법이 없었으니까요.

결과적으로 벌어진 일은 이렇습니다. 정확한 기술적 지적이, 과장된 기대에 대한 반작용과 만나, 실제 주장보다 훨씬 넓은 사망 선고로 읽혔습니다. 기술의 역사에서 되풀이되는 패턴입니다.

해법은 이미 알려져 있었습니다 — 층을 쌓기

XOR을 푸는 방법 자체는 어렵지 않습니다. 퍼셉트론을 두 층으로 쌓으면 됩니다.

이렇게 생각해 보세요. 첫 층에 뉴런 두 개를 둡니다. 하나는 "둘 중 하나라도 1인가"를 판단하고, 다른 하나는 "둘 다 1인가"를 판단합니다. 둘 다 앞에서 봤듯이 직선 하나로 되는 문제예요.

그리고 두 번째 층의 뉴런 하나가 이 두 판단을 입력으로 받습니다. "하나라도 1이다"는 맞는데 "둘 다 1이다"는 아닌 경우에만 1을 내라고 하면, 그게 정확히 XOR입니다. 그리고 이 조건도 직선 하나로 되는 문제입니다.

직선으로 안 되는 문제를, 직선으로 되는 문제 두 단계로 나눈 겁니다. 가운데 낀 층을 은닉층이라고 부릅니다. 입력도 출력도 아니고 안에 숨어 있어서 붙은 이름이에요.

은닉층이 하는 일 — 좌표를 바꿔 다시 그리기

은닉층을 이해하는 더 좋은 방법이 있습니다. 은닉층은 문제를 새로운 좌표로 옮겨 그립니다.

원래 평면에서는 1을 내야 할 점들이 대각선으로 흩어져 있어서 직선으로 자를 수 없었습니다. 그런데 은닉층 뉴런 두 개의 출력을 새로운 가로축과 세로축으로 삼아 다시 찍어 보면, 그 새 평면에서는 네 점의 배치가 달라집니다. 그리고 거기서는 직선 하나로 갈라집니다.

즉 은닉층은 판단을 하는 층이 아니라 판단하기 좋은 자리로 데이터를 옮겨 놓는 층입니다. 다음 층이 곧은 칼 하나로 자를 수 있도록 재료를 다시 배치해 주는 거예요.

층을 더 쌓으면 이 재배치가 반복됩니다. 옮기고, 다시 옮기고, 또 옮깁니다. 이것이 깊은 신경망, 즉 딥러닝의 "깊다"가 뜻하는 것입니다. 부품이 똑똑해지는 게 아니라 재배치가 여러 번 일어나는 것이죠.

그런데 왜 20년이 더 걸렸나

층을 쌓으면 된다는 것을 알았는데, 왜 신경망은 1980년대 중반까지 겨울에 있었을까요. 층을 쌓는 법은 알았지만 가르치는 법을 몰랐기 때문입니다.

퍼셉트론 학습 규칙을 다시 떠올려 보세요. "틀렸으면 가중치를 정답 쪽으로 민다"였습니다. 이 규칙이 성립하려면 그 뉴런이 얼마나 틀렸는지를 알아야 합니다.

출력층 뉴런은 문제가 없습니다. 정답과 자기 답을 비교하면 되니까요. 그런데 은닉층 뉴런은요? 그 뉴런에는 정답이 주어지지 않습니다. 아무도 은닉층 뉴런에게 "너는 이 값을 냈어야 했다"고 말해 주지 않아요.

최종 답이 틀렸을 때 그 책임을 은닉층의 각 뉴런에 어떻게 나눠 물릴 것인가. 11회차의 공로 배분 문제와 정확히 같은 모양의 난제입니다. 이 문제가 풀리기 전까지 깊은 신경망은 그림의 떡이었습니다.

이 잠긴 문을 여는 열쇠가 역전파입니다. 그리고 그것이 바로 다음 회차의 주제예요.

6회차의 복선 회수 — 특징 설계 병목이 뚫리는 방식

6회차에서 우리는 머신러닝의 두 번째 병목을 이야기했습니다. 규칙을 사람이 적는 병목은 데이터로 뚫었는데, "무엇을 특징으로 볼 것인가"를 사람이 정해야 하는 병목은 그대로 남아 있다고 했죠.

고양이 사진을 분류하려면 누군가 "귀의 뾰족한 정도", "털의 질감" 같은 것을 숫자로 뽑아내야 했습니다. 이 작업이 학위 논문 하나 분량이었어요.

은닉층은 이 병목을 정면으로 뚫습니다. 은닉층이 하는 일이 무엇이었죠. 판단하기 좋은 자리로 데이터를 다시 배치하는 것이었습니다. 그게 바로 특징을 만드는 일이에요.

다시 말해 특징을 사람이 설계하는 대신 층이 스스로 만들게 하는 것, 이것이 딥러닝의 진짜 혁명입니다. 14회차에서 CNN을 다룰 때, 층이 스스로 선을 찾고 그다음 층이 모양을 찾고 그다음 층이 물체를 찾는 것을 실제로 보게 됩니다.

실전 ① 오늘도 살아 있는 단층 구조

퍼셉트론이 역사 유물이라고 생각하기 쉬운데, 그렇지 않습니다. 단층 구조는 지금도 현역입니다.

대량의 텍스트를 빠르게 분류해야 하는 곳, 광고를 클릭할지 예측하는 곳, 금융 거래를 실시간으로 판정하는 곳에서는 여전히 선형 모델이 많이 쓰입니다. 이유는 셋입니다. 빠르고, 적은 데이터로도 안정적이고, 왜 그렇게 판단했는지 설명할 수 있기 때문이에요.

가중치를 열어 보면 어떤 특징이 얼마나 기여했는지가 그대로 보입니다. 6회차에서 말한 "설명 능력의 상실"이 여기서는 일어나지 않아요. 대출 심사처럼 근거를 설명해야 하는 분야에서 이 성질은 대체 불가능합니다.

실무의 정석은 단순한 모델부터 시작하는 것입니다. 선형 모델로 기준선을 잡고, 그것으로 부족할 때 층을 올립니다. 처음부터 깊은 망으로 가는 것은 대개 낭비예요.

실전 ② 활성화 함수는 어떻게 바뀌었나

맥컬록과 피츠의 계단 함수는 오늘날 거의 쓰이지 않습니다. 이유는 다음 회차와 곧장 연결됩니다. 계단은 뚝 끊겨 있어서 "조금 밀면 얼마나 좋아지는지"를 알 수 없기 때문이에요.

그래서 1980년대에는 계단을 부드럽게 다듬은 S자 곡선이 쓰였습니다. 시그모이드라고 부릅니다. 계단과 비슷하지만 모서리가 둥글어서, 조금 밀었을 때의 변화를 잴 수 있었어요.

그리고 2010년대 이후 표준이 된 것이 렐루입니다. 규칙은 어이없을 만큼 단순합니다. 값이 음수면 0, 양수면 그대로 통과. 꺾인 선 하나예요.

이 단순한 함수가 시그모이드를 밀어낸 이유는 계산이 빠르고, 층을 깊게 쌓아도 신호가 사라지지 않기 때문입니다. 오늘의 거대 언어 모델 안에도 렐루 계열의 함수가 들어 있습니다. 60년 전 계단 함수의 직계 후손이 그 자리에 그대로 있는 셈이에요.

실전 ③ 이 구조를 알면 뉴스가 다르게 읽힙니다

오늘 배운 것만으로도 AI 뉴스의 상당 부분이 해독됩니다. 세 가지만 짚을게요.

첫째, "파라미터 몇 조"라는 표현입니다. 이 파라미터가 바로 오늘 배운 가중치와 편향입니다. 모델의 크기는 결국 조절 가능한 다이얼의 개수예요. 부품이 정교해진 게 아니라 다이얼이 많아진 것입니다.

둘째, "층이 몇 개"라는 표현입니다. 데이터를 재배치하는 단계가 몇 번인가를 뜻합니다. 깊다는 말은 재배치를 여러 번 한다는 뜻이지 부품이 똑똑하다는 뜻이 아니에요.

셋째, 모델이 왜 그렇게 답했는지 설명하기 어렵다는 이야기입니다. 이유가 오늘 다 나왔습니다. 은닉층이 만들어낸 좌표는 사람이 정한 것이 아니라 학습이 만들어낸 것이라, 그 축이 무엇을 뜻하는지 아무도 이름 붙여 주지 않았기 때문입니다.

핵심 정리 — 세 줄

첫째, 인공 뉴런은 곱하고 더하고 문턱을 넘는지 보는 세 동작이 전부입니다. 입력마다 가중치를 곱해 더하고, 편향으로 문턱을 옮기고, 활성화 함수로 켜고 끕니다. 오늘 지구상의 모든 거대 모델이 이 부품 하나를 아주 많이 쌓아 만든 것이며, 발전은 부품이 아니라 개수와 배열에서 왔습니다.

둘째, 뉴런 하나는 곧은 칸막이 하나만 그을 수 있고, 그래서 XOR을 못 풉니다. 이 한계는 학습이 부족해서가 아니라 구조적인 것이며, 1969년에 수학적으로 증명되어 첫 번째 AI 겨울의 방아쇠가 되었습니다. 부풀린 약속은 정확한 지적을 만났을 때 실제보다 넓은 사망 선고로 읽힙니다.

셋째, 층을 쌓으면 한계가 풀리며, 은닉층은 판단이 아니라 재배치를 합니다. 직선으로 못 자르는 문제를 자를 수 있는 좌표로 옮겨 놓는 것이 은닉층의 일이고, 이것이 곧 특징을 스스로 만드는 일입니다. 6회차의 두 번째 병목이 여기서 뚫립니다.

용어 정리

뉴런 — 신경계를 이루는 세포. 여러 입구로 신호를 받아 합치고, 문턱을 넘으면 하나의 출구로 신호를 내보냅니다.

수상돌기 — 뉴런이 다른 뉴런의 신호를 받아들이는 잔가지들. 한 뉴런에 수천 개가 있기도 합니다.

축삭 — 뉴런이 신호를 내보내는 긴 줄기 하나. 입구는 여럿이지만 출구는 하나입니다.

시냅스 — 뉴런과 뉴런 사이의 좁은 틈. 연결의 세기가 조절되는 자리이며, 학습이 실제로 일어나는 곳입니다.

발화 — 신호의 합이 문턱을 넘어 뉴런이 신호를 내보내는 것.

전부 아니면 전무 법칙 — 문턱을 넘으면 항상 같은 크기로 발화하고, 못 넘으면 아무것도 내보내지 않는 성질. 뉴런이 스위치처럼 동작하게 만듭니다.

문턱 — 발화 여부를 가르는 기준선.

인공 뉴런 — 뉴런의 동작에서 생물학적 요소를 걷어내고 계산만 남긴 장치. 곱하고, 더하고, 문턱을 넘는지 봅니다.

가중치 — 각 입력을 얼마나 크게 반영할지 정하는 숫자. 음수면 반대 방향으로 밀어냅니다. 학습이 고쳐 나가는 대상입니다.

편향 — 입력과 무관하게 항상 더해지는 상수. 문턱을 옮기는 다이얼 역할을 합니다.

활성화 함수 — 더한 값을 받아 최종 출력을 정하는 함수. 신경망에 구부러짐을 넣어 주는 장치이며, 이것이 없으면 층을 쌓아도 의미가 없습니다.

계단 함수 — 문턱을 넘으면 1, 아니면 0을 내놓는 가장 단순한 활성화 함수.

시그모이드 — 계단을 부드럽게 다듬은 S자 곡선. 조금 밀었을 때의 변화를 잴 수 있어 학습에 쓰였습니다.

렐루 — 음수는 0으로 만들고 양수는 그대로 통과시키는 활성화 함수. 계산이 빠르고 깊은 망에서도 신호가 잘 전달되어 현재 표준입니다.

퍼셉트론 — 1958년 로젠블랫이 만든, 가중치를 데이터로부터 스스로 고치는 학습 규칙이 붙은 인공 뉴런.

퍼셉트론 학습 규칙 — 맞으면 두고 틀리면 가중치를 정답 쪽으로 조금 미는 규칙.

학습률 — 한 번에 얼마나 크게 밀지 정하는 다이얼. 크면 지나치고 작으면 느립니다.

퍼셉트론 수렴 정리 — 직선 하나로 나눌 수 있는 문제라면 퍼셉트론이 유한 횟수 안에 반드시 답을 찾는다는 증명.

선형 분리 가능 — 곧은 칸막이 하나로 두 부류를 완전히 가를 수 있는 상태.

XOR — 둘 중 하나만 참일 때 참이 되는 조건. 직선 하나로는 나눌 수 없는 가장 작은 예입니다.

단층 퍼셉트론 — 은닉층 없이 입력에서 곧바로 출력으로 가는 구조. 곧은 칸막이 하나만 그을 수 있습니다.

은닉층 — 입력층과 출력층 사이에 낀 층. 판단이 아니라, 다음 층이 곧은 칼로 자를 수 있도록 데이터를 재배치하는 일을 합니다.

다층 퍼셉트론 — 은닉층을 하나 이상 가진 신경망. XOR처럼 직선으로 못 가르는 문제를 풀 수 있습니다.

깊다 — 층이 많다는 뜻. 데이터 재배치가 여러 번 일어난다는 의미이며, 부품이 정교하다는 뜻이 아닙니다.

파라미터 — 학습으로 정해지는 숫자들의 총칭. 가중치와 편향이 여기에 해당하며, 모델 크기를 말할 때 세는 대상입니다.

역전파 — 최종 오차의 책임을 은닉층 뉴런들에게 거꾸로 나눠 물리는 방법. 13회차에서 다룹니다.

다음 회차 예고 — 그리고 생각해볼 질문

13회차는 「신경망은 어떻게 배우는가」입니다. 오늘 우리는 잠긴 문 앞에서 멈췄어요. 층을 쌓으면 된다는 것은 알았는데, 은닉층 뉴런에게는 정답이 주어지지 않아 얼마나 틀렸는지를 알 수 없다는 문제였죠.

다음 회차에서 그 문을 엽니다. 먼저 "얼마나 틀렸는가"를 하나의 숫자로 요약하는 손실 함수를 보고, 그 숫자를 줄이는 방향을 찾는 경사하강법을 안개 낀 산에서 발끝 감각만으로 내려오는 이야기로 풀겠습니다. 그리고 마침내 역전파, 최종 오차의 책임을 뒤쪽으로 거슬러 나눠 물리는 방법을 수식 없이 말로 완전히 설명합니다.

오늘 계단 함수가 왜 밀려났는지 궁금하셨다면, 다음 회차에서 그 답이 나옵니다. 그리고 20년의 겨울이 어떻게 끝났는지도요.

생각해볼 질문. 오늘 은닉층이 하는 일을 "판단하기 좋은 자리로 데이터를 다시 배치하는 것"이라고 했습니다. 그런데 이건 사람도 늘 하는 일 아닐까요. 복잡한 문제를 앞에 두고 우리는 종종 "관점을 바꿔 보자", "다른 축으로 놓고 보자"고 말합니다. 그러면 갑자기 답이 단순해지죠.

여러분이 어떤 문제를 관점을 바꿔서 풀어냈던 경험을 떠올려 보세요. 그때 여러분이 한 일은 새로운 정보를 얻은 것이었을까요, 아니면 가지고 있던 정보를 다른 좌표에 다시 그린 것이었을까요? 댓글로 들려주세요.

이 포스트는 SVIL 연구소 「AI 기초 및 활용」 30회 시리즈의 12회차이며, 제3부 「딥러닝과 신경망」의 첫 회입니다. 하버드 CS50 AI, MIT 6.S191 등 공개 교육과정의 구조를 참고했으며, 모든 내용은 이미지 없이 본문만으로 이해할 수 있도록 구성되어 있습니다. 모든 이미지에는 내용을 설명하는 대체텍스트가 포함되어 있습니다.

협업문의 : kuroicode@gmail.com
블로그 : https://blog.svil.dev/
홈페이지 : https://kuroicode-beep.github.io/svil-homepage/