AI 기초 및 활용 22회: 멀티모달 AI — 서로 다른 감각을 같은 좌표에 놓기
오늘의 질문 — 사진을 '본다'는 건 무슨 뜻일까요
요즘 AI에게 사진을 보여주고 물어볼 수 있습니다. "이 그래프에서 무슨 일이 일어났나요", "이 약봉지에 뭐라고 적혀 있나요", "이 방에서 위험한 게 있나요".
그런데 18회차에서 배운 대로 모델은 토큰의 확률 분포를 다루는 장치입니다. 사진은 픽셀 덩어리인데 어떻게 그 안에 들어갈까요.
더 이상한 것도 있습니다. 같은 모델이 글도 읽고 그림도 보고 목소리도 듣습니다. 세 가지는 전혀 다른 종류의 데이터인데 말이죠.
오늘의 질문은 이것입니다. 서로 다른 감각을 하나의 모델이 다루게 된 원리는 무엇인가. 그리고 그것이 보는 일이 어려운 사람에게 실제로 무엇을 바꿨는가.
지난 회차 연결 — 글의 경계를 넘습니다
제4부는 지금까지 글만 다뤘습니다. 18회차의 토큰, 19회차의 미세조정, 20회차의 프롬프트, 21회차의 환각까지 전부 텍스트 이야기였죠.
오늘 그 경계를 넘습니다. 그런데 새로운 원리를 배우지는 않습니다. 필요한 것은 이미 다 나왔어요.
16회차에서 어텐션에는 언어에 특화된 가정이 없다고 했습니다. "여러 조각이 있고 그 사이 관계가 중요하다"면 무엇에든 쓸 수 있다고요. 오늘 그 말의 결과를 봅니다.
그리고 17회차의 잠재 공간도 다시 나옵니다. 서로 다른 것을 같은 좌표에 놓는 그 아이디어가 오늘의 핵심이에요.
모달리티란 무엇인가
모달리티는 정보가 담기는 형식을 뜻합니다. 글, 이미지, 음성, 영상이 각각 하나의 모달리티예요.
사람은 이것들을 자연스럽게 섞습니다. 대화하면서 표정을 보고, 글을 읽으면서 그림을 참고하죠. 여러 모달리티를 통합해 하나의 이해를 만드는 것이 사람의 기본값입니다.
그런데 AI는 오랫동안 그러지 못했습니다. 14회차의 CNN은 이미지 전용이었고, 15회차의 음성 인식은 음성 전용이었으며, 언어 모델은 글 전용이었어요. 각각 다른 구조, 다른 훈련, 다른 팀이었습니다.
이것들을 잇는 방법도 있긴 했습니다. 이미지를 CNN으로 분석해 글로 옮긴 다음 언어 모델에 넣는 식이죠. 그런데 중간에 글을 거치면 잃는 것이 많습니다. "탁자 위 컵"이라고 옮기는 순간 색과 위치와 분위기가 사라져요.
왜 하나의 모델로 묶을 수 있게 됐나
전환점은 16회차의 트랜스포머였습니다. 이유는 하나예요. 어텐션이 다루는 것은 "조각들의 집합"일 뿐이라는 것.
어텐션이 필요로 하는 것은 딱 둘입니다. 입력이 여러 조각으로 나뉘어 있을 것, 그리고 각 조각이 숫자 묶음으로 표현될 것. 그 조각이 낱말이든 이미지 조각이든 소리 조각이든 상관하지 않습니다.
CNN은 그렇지 않았습니다. "이웃한 픽셀이 관계가 있다"는 가정이 구조에 박혀 있었죠. 그 가정이 이미지에는 맞지만 글에는 안 맞습니다.
어텐션은 그런 가정이 없어서 범용입니다. 14회차에서 "가정을 구조에 못 박으면 그것을 배울 필요가 없다"고 했는데, 여기서는 못 박지 않은 것이 이점이 됐어요. 무엇에든 쓸 수 있으니까요.
공통 표현 공간 — 같은 자리에 놓기
핵심 아이디어를 한 문장으로 줄이면 이렇습니다. 글이든 이미지든 소리든, 같은 좌표계 위의 점으로 바꾼다.
17회차의 잠재 공간을 떠올려 보세요. 이미지를 몇백 개 숫자로 압축한 공간이었고, 가까운 점끼리 비슷한 이미지였죠.
멀티모달 모델은 이 공간을 모달리티가 공유하도록 만듭니다. 그래서 고양이 사진과 "고양이"라는 낱말이 그 공간에서 가까운 자리에 놓입니다.
이게 되면 놀라운 일이 가능해집니다. 사진을 넣고 글을 검색할 수 있고, 글을 넣고 사진을 찾을 수 있어요. 둘이 같은 언어로 번역된 셈이니까요.
그리고 17회차의 이미지 생성도 이 위에 서 있습니다. 글의 좌표를 잡아 그 근처의 이미지를 만들어 내는 것이었죠.
이미지를 토큰으로 바꾸기
구체적으로 이미지가 어떻게 조각이 되는지 봅시다. 방법은 놀랄 만큼 단순합니다.
이미지를 작은 사각형 타일로 자릅니다. 가로세로 열여섯 픽셀 정도씩요. 그러면 사진 한 장이 수백 개의 타일이 됩니다.
각 타일의 픽셀 값을 쭉 펴서 숫자 묶음으로 만들고, 간단한 변환을 거쳐 낱말 토큰과 같은 크기의 묶음으로 바꿉니다. 그러면 타일 하나가 토큰 하나가 돼요.
여기에 16회차의 위치 인코딩을 붙입니다. 타일이 원래 몇 번째 자리에 있었는지를 값에 실어 주는 거죠. 그러지 않으면 타일을 뒤섞어도 같은 결과가 나올 테니까요.
이제 이 타일 토큰들을 낱말 토큰과 한 줄로 이어 붙여 트랜스포머에 넣습니다. 모델은 이제 "이 타일과 저 낱말의 관계"를 어텐션으로 계산할 수 있습니다. 그게 전부예요.
텍스트와 이미지를 짝짓기 — 대조학습
그런데 어떻게 같은 공간에 놓이도록 학습시킬까요. 여기서 영리한 방법이 나옵니다.
인터넷에는 이미지와 그 설명이 짝지어진 데이터가 엄청나게 많습니다. 사진에 붙은 설명글, 대체텍스트, 캡션 같은 것들이요.
이걸 이용합니다. 이미지 쪽과 글 쪽을 각각 인코더에 넣어 좌표를 얻은 다음, 짝인 것끼리는 가까워지게, 짝이 아닌 것끼리는 멀어지게 학습시킵니다. 이것을 대조학습이라고 해요.
여기서 중요한 사실 하나. 사람이 붙인 대체텍스트가 이 학습의 재료입니다. 접근성을 위해 쓴 그 설명글들이 멀티모달 AI를 만든 데이터의 상당 부분이었어요. 접근성 작업이 기술 발전에 되먹임된 드문 사례입니다.
그래서 무엇이 가능해졌나
구조를 알았으니 능력의 목록을 정리해 봅시다.
이미지 설명이 기본입니다. 사진에 무엇이 있는지 문장으로 말합니다. 14회차의 자동 대체텍스트가 여기서 크게 나아졌어요.
이미지에 대한 질문이 그다음입니다. 이게 진짜 도약입니다. 설명을 미리 정해 두는 게 아니라 내가 궁금한 것을 물을 수 있어요. "이 사람 표정이 어때 보여?", "이 성분표에 유당 들어 있어?"
문서 이해도 됩니다. 표와 그래프가 섞인 문서를 통째로 읽고 내용을 파악합니다. 종이 서류를 찍어서 물어볼 수 있어요.
글과 그림을 섞은 추론도 가능합니다. "이 도면대로 조립하려면 어느 부품이 먼저인가" 같은 질문이요.
음성 — 글자를 거치지 않고 바로
음성 쪽도 같은 원리로 통합됐습니다. 그런데 여기서 중요한 변화가 하나 있어요.
예전 방식은 음성을 글자로 옮긴 뒤 언어 모델에 넣고, 답을 다시 음성으로 바꾸는 삼단 구조였습니다. 15회차에서 다룬 그 조합이죠.
문제는 중간에 글자를 거치면서 잃는 것이었습니다. 말의 빠르기, 머뭇거림, 억양, 감정, 누가 말하는지. 이게 전부 사라집니다. "괜찮아요"가 어떤 톤이었는지가 날아가는 거예요.
요즘 모델은 소리를 직접 조각으로 잘라 토큰으로 다룹니다. 이미지 타일과 같은 방식이죠. 그러면 억양과 감정이 모델 안까지 들어옵니다. 그리고 출력도 소리로 바로 만들어 내니 말투를 조절할 수 있어요.
실시간 대화가 바꾼 것
중간 단계가 사라지면서 속도도 크게 달라졌습니다. 삼단 구조에서는 각 단계마다 지연이 쌓였는데, 이제는 사람 대화에 가까운 반응 속도가 나옵니다.
그러자 대화의 성격 자체가 바뀌었습니다. 말을 끊고 들어갈 수 있고, 도중에 방향을 바꿀 수 있어요. 주고받는 리듬이 생긴 겁니다.
이건 접근성에서 실질적인 차이를 만듭니다. 타자가 어려운 사람, 화면을 보기 어려운 사람에게 말로 하는 대화는 가장 부담이 적은 통로예요. 그런데 반응이 느리면 대화가 아니라 심문이 됩니다. 속도가 곧 사용성인 영역입니다.
영상 — 시간이 하나 더 붙습니다
영상은 이미지에 시간축이 하나 더해진 것입니다. 그래서 어려움도 하나 더 늘어납니다.
이해하는 쪽부터 봅시다. 영상을 프레임으로 쪼개 각 프레임을 타일로 나누면, 조각 수가 폭발합니다. 16회차에서 본 어텐션의 제곱 비용이 여기서 정면으로 부딪혀요.
그래서 실무에서는 프레임을 솎아 냅니다. 초당 한 장만 쓰거나, 장면이 바뀌는 지점만 고르는 식이죠. 그러다 보니 순간적으로 일어난 일을 놓칠 수 있습니다.
만드는 쪽은 17회차에서 짚었듯 더 어렵습니다. 프레임마다 그럴듯한 것을 만드는 것으로는 부족하고 프레임 사이가 자연스럽게 이어져야 하니까요. 그래도 몇 년 사이 진전이 컸고, 이제 짧은 영상은 상당한 수준에 도달했습니다.
화면을 이해하는 AI
최근 실용적으로 중요해진 능력이 있습니다. 컴퓨터 화면을 읽는 것이에요.
화면 이미지를 보고 어디에 무엇이 있는지, 어디를 눌러야 하는지를 파악하는 일입니다. 그냥 이미지 이해와는 조금 달라요. 정확한 위치가 필요하거든요. "버튼이 있다"로는 부족하고 "이 좌표에 있다"여야 합니다.
이 능력이 왜 중요할까요. API가 없는 프로그램도 다룰 수 있게 되기 때문입니다. 사람이 쓰는 것과 같은 방식으로요. 23회차 에이전트의 핵심 재료입니다.
그리고 접근성 관점에서도 큰 의미가 있습니다. 접근성 표준을 안 지킨 프로그램이 여전히 많은데, 화면 낭독기는 그런 프로그램 앞에서 무력합니다. 그런데 화면을 이미지로 이해하는 AI는 표준과 무관하게 읽어 낼 수 있어요. 우회로가 하나 생긴 셈입니다.
접근성 ① 카메라가 눈이 되는 일
이 시리즈에서 가장 직접적인 대목입니다. 멀티모달은 시각 접근성 기술 그 자체가 됐습니다.
예전에도 시각 보조 앱은 있었습니다. 다만 미리 정해진 것만 할 수 있었어요. 글자를 읽거나, 지폐를 구분하거나, 정해진 물건 목록에서 찾거나. 기능마다 따로 만들어야 했습니다.
멀티모달 모델은 그 제약을 없앴습니다. 무엇이든 물어볼 수 있게 됐어요. "이 통조림 유통기한이 언제야?", "옷 색깔이 어울려?", "지금 이 방에 누가 있어?"
기능 목록에서 대화로 바뀐 겁니다. 그리고 이건 양적 차이가 아니라 질적 차이예요. 미리 예상하지 못한 상황을 다룰 수 있게 됐으니까요.
접근성 ② 무엇이 실제로 달라졌나
구체적으로 짚어 보겠습니다. 실제로 달라진 일들입니다.
인쇄물입니다. 약봉지, 영수증, 안내문, 손글씨 메모. 전에는 사람에게 부탁해야 했던 것들이요. 도움을 청하지 않아도 된다는 것은 정보 접근의 문제이자 자율성의 문제입니다.
사진 속 사람과 상황입니다. 가족이 보낸 사진에 무엇이 담겼는지 알 수 있게 됐어요. 정보만이 아니라 관계에 참여하는 문제입니다.
대체텍스트 없는 웹입니다. 여전히 대다수 이미지에 설명이 없는데, 이제 그 자리에서 물어볼 수 있습니다.
화면 안내입니다. 접근성이 엉망인 앱에서 "지금 화면에 뭐가 있어?"를 물을 수 있게 됐습니다.
접근성 ③ 남아 있는 한계
그런데 14·15·16회차에서 반복한 결론이 여전히 유효합니다. 자동 생성물은 안전망이지 대체재가 아닙니다. 이제 그 이유를 더 정확히 말할 수 있어요.
첫째, 맥락을 모릅니다. 이 이미지가 왜 이 글에 있는지, 무엇을 보여주려는 것인지를 모릅니다. 그래서 보이는 것은 말하지만 뜻하는 것은 말하지 못합니다.
둘째, 무엇이 중요한지 모릅니다. 그래프 이미지에서 사람이 쓴 대체텍스트는 "3분기에 급락"이라고 하지만, 자동 설명은 축과 선의 생김새를 말하는 경향이 있습니다.
셋째, 그리고 가장 중요합니다. 21회차의 환각이 여기서도 일어납니다. 그것도 확인이 훨씬 어려운 조건에서요. 글이라면 검색해서 대조할 수 있지만, 사진 설명이 맞는지는 그 사진을 볼 수 있어야 확인됩니다. 볼 수 없어서 물었는데 말이죠. 이 구조적 문제를 25회차에서 정면으로 다룹니다.
한계 ① 세밀한 것을 놓칩니다
기술적 한계도 정직하게 정리하겠습니다. 첫째는 해상도입니다.
이미지를 타일로 자를 때 정보가 압축됩니다. 그래서 작게 적힌 글씨, 미세한 차이, 촘촘한 표에서 오류가 납니다.
실무 대응이 있습니다. 궁금한 부분만 크게 찍어서 보여주세요. 전체 서류를 한 장으로 찍는 것보다 해당 부분을 확대해 찍는 편이 훨씬 정확합니다.
한계 ② 공간 관계에 약합니다
둘째는 위치와 개수입니다. 의외로 자주 틀립니다.
"왼쪽에서 세 번째", "컵 뒤에 있는 것", "전부 몇 개인가" 같은 질문에서 오류가 잦아요.
이유를 짐작해 보면 이렇습니다. 대조학습의 재료였던 이미지 설명글에 정확한 위치와 개수가 잘 안 적혀 있습니다. "탁자 위의 커피와 책"이라고 쓰지 "왼쪽 3분의 1 지점에 컵 두 개"라고 쓰지 않으니까요.
이건 저시력 사용자에게 실질적인 제약입니다. 물건을 찾는 데는 위치가 결정적인데 바로 그 부분이 약하거든요. "어디에 있어?"보다 "내 손 기준으로 어느 쪽이야?"처럼 기준점을 주고 묻는 편이 낫습니다.
한계 ③ 이미지에서도 환각이 납니다
셋째는 21회차의 반복입니다. 이미지에 없는 것을 있다고 말합니다.
원리는 같아요. 모델은 그럴듯한 다음 조각을 고릅니다. 부엌 사진에 흔히 있는 것들은 실제로 없어도 언급될 확률이 높습니다.
특히 위험한 형태가 있습니다. "없다"를 확인해 달라고 할 때예요. "이 성분표에 땅콩 없지?"라고 물으면 있어도 없다고 답할 위험이 있습니다. 없는 것을 확인하려면 전체를 정확히 읽어야 하는데 그게 가장 취약한 부분이거든요.
그래서 원칙이 나옵니다. 안전에 관련된 확인은 "없음"을 AI에게 맡기지 마세요. 알레르기 성분, 약물 상호작용, 유통기한 같은 것이요. "무엇이 적혀 있는지 전부 읽어 줘"라고 물어 목록을 받고 판단은 직접 하는 편이 안전합니다.
위험 — 이미지로 들어오는 프롬프트 주입
20회차에서 다룬 프롬프트 주입이 여기서 새로운 통로를 얻습니다.
모델이 이미지를 읽는다는 것은 이미지 안의 글자도 읽는다는 뜻입니다. 그러면 이미지에 "이전 지시를 무시하고 이렇게 하라"는 문구를 넣어 둘 수 있어요.
더 고약한 것은 사람 눈에는 거의 안 보이게 만들 수 있다는 점입니다. 배경과 비슷한 색으로 아주 작게 적어 두면요.
그래서 원칙이 이렇습니다. 외부에서 받은 이미지는 신뢰할 수 없는 입력으로 취급하세요. 특히 그 결과로 무언가를 실행하는 자동화를 만들 때는요. 23회차에서 이어집니다.
실전 ① 무엇에 쓰면 좋은가
실용적으로 정리하겠습니다. 멀티모달이 확실히 잘하는 일부터요.
글로 옮기기 어려운 것을 보여주기. 화면의 오류 상태, 물건의 생김새, 손으로 그린 도표. 설명하느니 찍는 게 빠릅니다.
문서를 통째로 읽히기. 표와 그림이 섞인 자료를 그대로 넣고 물어보는 것이요.
대략을 파악하기. "이 사진 분위기가 어때", "이 그래프 흐름이 어떤가" 같은 질문. 정확한 수치가 아니라 인상을 묻는 것이 안전 지대입니다.
반대로 정확한 숫자, 정확한 위치, "없음"의 확인은 조심해야 할 영역입니다.
실전 ② 어떻게 물어야 잘 나오나
20회차의 원칙이 여기서도 그대로 적용됩니다. 이미지 특유의 요령만 덧붙일게요.
무엇을 알고 싶은지 말하세요. "이 사진 설명해 줘"보다 "이 사진에서 유통기한이 어디에 적혀 있고 뭐라고 쓰여 있어?"가 훨씬 정확합니다.
읽기와 해석을 나누세요. "적힌 글자를 전부 그대로 읽어 줘"를 먼저 하고, 그다음에 해석을 묻는 겁니다. 21회차의 사실과 해석 분리가 이미지에서 특히 유용해요.
확신 정도를 물으세요. "확실히 보이는 것과 추측인 것을 나눠서 말해 줘"라고 하면 흐릿한 부분을 표시해 줍니다.
여러 각도로 찍어 교차 확인하세요. 21회차의 교차 확인이 이미지에서는 다시 찍기로 구현됩니다. 두 사진의 답이 다르면 그 부분은 신뢰할 수 없어요.
앞으로 — 모달리티가 늘어난다는 것
마지막으로 방향을 짚겠습니다. 오늘 배운 원리는 확장이 쉽습니다.
조각으로 자를 수 있고 숫자로 바꿀 수 있다면 무엇이든 넣을 수 있으니까요. 실제로 3차원 구조, 센서 데이터, 생체 신호, 로봇의 관절 상태까지 같은 방식으로 들어가고 있습니다.
이게 피지컬 AI의 밑바탕입니다. 로봇이 카메라로 보고 말로 지시받아 손을 움직이려면 시각과 언어와 동작을 한 공간에서 다뤄야 하거든요. 오늘의 원리가 그대로 쓰입니다.
그리고 이 확장에는 같은 한계도 함께 따라갑니다. 세밀한 것을 놓치고, 공간 관계에 약하고, 없는 것을 있다고 말하는 성질이요. 모달리티가 늘어난다고 그 성질이 사라지지 않습니다. 오히려 틀렸을 때의 결과가 물리적이 되죠.
핵심 정리 — 세 줄
첫째, 멀티모달은 새로운 원리가 아니라 어텐션의 범용성이 낳은 결과입니다. 어텐션은 조각들의 집합만 다루므로 그 조각이 낱말이든 이미지 타일이든 소리 조각이든 상관하지 않습니다. 이미지를 작은 타일로 잘라 위치 정보를 붙이면 그대로 토큰이 되고, 낱말 토큰과 한 줄로 이어 붙일 수 있습니다.
둘째, 서로 다른 감각을 같은 좌표계에 놓는 것이 핵심입니다. 고양이 사진과 고양이라는 낱말이 그 공간에서 가까운 자리에 놓이게 학습시키며, 그 재료가 인터넷에 쌓인 이미지-설명 짝입니다. 접근성을 위해 사람들이 쓴 대체텍스트가 이 기술을 만든 데이터의 상당 부분이었습니다.
셋째, 능력이 커진 만큼 확인은 더 어려워졌습니다. 세밀한 것을 놓치고 위치와 개수에 약하며 없는 것을 있다고 말하는데, 볼 수 없어서 물은 사람은 그 답을 검증할 수단이 마땅치 않습니다. 특히 "없음"의 확인은 맡기지 말고 목록을 받아 직접 판단해야 합니다.
용어 정리
모달리티 — 정보가 담기는 형식. 글, 이미지, 음성, 영상 등이 각각 하나의 모달리티입니다.
멀티모달 모델 — 여러 모달리티를 하나의 모델에서 함께 다루는 모델.
공통 표현 공간 — 서로 다른 모달리티의 데이터를 같은 좌표계 위의 점으로 표현한 공간. 뜻이 비슷하면 가까이 놓입니다.
이미지 타일 — 이미지를 잘라 만든 작은 사각형 조각. 각각이 토큰 하나가 됩니다.
대조학습 — 짝인 것끼리는 가까워지고 짝이 아닌 것끼리는 멀어지도록 학습시켜 공통 공간을 만드는 방법.
화면 이해 — 화면 이미지를 보고 요소의 종류와 정확한 위치를 파악하는 능력. 에이전트의 핵심 재료입니다.
이미지 프롬프트 주입 — 이미지 안에 사람 눈에 잘 안 보이는 지시문을 심어 모델의 원래 지시를 덮어쓰려는 공격.
다음 회차 예고 — 그리고 생각해볼 질문
23회차는 「AI 에이전트」입니다. 제4부의 마지막 회예요.
지금까지 AI는 말하는 존재였습니다. 물으면 답하고, 시키면 글을 만들었죠. 다음 회차에서는 행동하는 존재가 됩니다. 도구를 쓰고, 계획을 세우고, 여러 단계를 스스로 밟아 나가는 것이요.
그런데 여기서 오늘과 21·20회차의 한계들이 전부 실제 결과가 됩니다. 환각이 잘못된 실행이 되고, 프롬프트 주입이 실제 행동이 되죠. 그래서 다음 회차는 능력만큼이나 안전 장치를 함께 다룹니다.
생각해볼 질문. 오늘 대체텍스트 이야기를 했습니다. 접근성을 위해 사람들이 하나하나 써 온 그 설명글들이 멀티모달 AI를 만든 재료가 됐다고요.
이건 흥미로운 되먹임입니다. 소수를 위해 만든 것이 결국 모두를 위한 기술의 기반이 된 거죠. 여러분 주변에도 이런 사례가 있나요? 특정한 필요 때문에 만들어졌는데 결국 모두가 쓰게 된 것이요. 댓글로 들려주세요.
이 포스트는 SVIL 연구소 「AI 기초 및 활용」 30회 시리즈의 22회차이며, 제4부 「생성형 AI와 LLM 시대」의 다섯 번째 회입니다. 하버드 CS50 AI, MIT 6.S191 등 공개 교육과정의 구조를 참고했으며, 모든 내용은 이미지 없이 본문만으로 이해할 수 있도록 구성되어 있습니다. 모든 이미지에는 내용을 설명하는 대체텍스트가 포함되어 있습니다.
협업문의 : kuroicode@gmail.com
블로그 : https://blog.svil.dev/
홈페이지 : https://kuroicode-beep.github.io/svil-homepage/