AMD가 AI 모델을 칩에 통째로 새기는 회사를 샀습니다 — 탈라스 인수와 추론 비용의 재설계
AI 뉴스 SVIL AMD Taalas 탈라스 AI 반도체 AI 추론 엔비디아 TSMC

AMD가 AI 모델을 칩에 통째로 새기는 회사를 샀습니다 — 탈라스 인수와 추론 비용의 재설계

SVIL - Singularity Visual Intelligence Lab 22 min read

AI 칩 이야기는 보통 "누가 더 빠른 GPU를 만들었나"로 흘러갑니다. 그런데 이번 건은 방향이 좀 다릅니다. AMD가 8월 6일에 인수한 캐나다 스타트업 탈라스(Taalas)는 더 빠른 범용 칩을 만드는 회사가 아니라, 학습이 끝난 AI 모델을 아예 실리콘에 새겨 넣어 버리는 회사입니다.

소프트웨어로 돌리던 것을 하드웨어로 굳힌다는 뜻인데, 이게 성립하면 추론 비용 구조가 통째로 바뀝니다. 오늘은 이 인수가 무슨 의미인지, 그리고 어디까지가 확인된 사실이고 어디부터가 아직 약속인지 차분히 정리해 볼게요.

어두운 실리콘 판 표면에 청록빛 회로 격자가 깊게 각인되어 안쪽에서 빛나는 이미지 — 모델을 칩에 새겨 넣는다는 개념을 표현

8월 6일, AMD가 조용히 회사 하나를 샀습니다

AMD는 8월 6일 탈라스를 인수하는 최종 계약을 체결했다고 발표했습니다. 인수 금액은 공개하지 않았습니다. 다만 이번 건은 인재만 데려오는 이른바 '애크하이어(acquihire)'가 아니라 회사와 기술을 통째로 사는 정식 인수라는 점이 여러 매체에서 함께 확인됐습니다.

탈라스는 2023년 캐나다 토론토에서 창업한 신생 기업입니다. 창업한 지 3년이 채 되지 않았고, 첫 제품을 공개한 것이 올해 2월이었습니다. AMD는 이 팀 전체를 자사 인공지능 사업부(Artificial Intelligence Group)로 편입한다고 밝혔습니다.

탈라스는 뭐 하는 회사인가요

한 문장으로 줄이면 "AI 모델을 칩으로 굽는 회사"입니다.

보통 우리가 쓰는 AI는 이렇게 돌아갑니다. 학습이 끝난 모델의 가중치(weights)는 거대한 숫자 덩어리로 메모리에 저장돼 있고, GPU가 그 숫자를 메모리에서 꺼내 와 계산하고, 다시 집어넣고, 또 꺼내 옵니다. 모델은 데이터고, 칩은 그 데이터를 처리하는 도구입니다. 둘은 분리돼 있습니다.

탈라스는 이 전제를 깹니다. 가중치를 메모리에 두지 않고 트랜지스터 배치 자체에 박아 넣습니다. 모델이 곧 칩이 되는 겁니다.

왼쪽에는 흩어져 떠다니는 청록 입자 무리, 오른쪽에는 홈에 단단히 끼워 맞춰진 청록 정육면체 배열 — 메모리에 떠 있는 가중치와 실리콘에 고정된 가중치의 대비

"모델을 실리콘에 굽는다"는 말의 뜻

비유를 하나 들어 볼게요. 지금의 GPU는 악보를 보면서 연주하는 연주자에 가깝습니다. 악보(가중치)는 보면대(메모리)에 있고, 연주자(연산 유닛)는 매 마디마다 악보를 눈으로 읽어 와야 합니다. 곡이 바뀌면 악보만 갈아 끼우면 되니 유연합니다. 대신 계속 읽어 오는 그 동작 자체가 시간을 잡아먹습니다.

탈라스가 만든 칩은 그 곡만 연주하도록 제작된 오르골에 가깝습니다. 악보를 읽는 과정이 아예 없습니다. 원통의 돌기 배치가 곧 곡이니까요. 대신 다른 곡은 연주할 수 없습니다.

이 비유가 곧 이 기술의 장점과 한계를 동시에 설명합니다. 뒤에서 다시 다루겠습니다.

지금 AI 칩이 답답한 진짜 이유 — 메모리 장벽

많은 분이 AI가 느린 이유를 "계산량이 많아서"라고 생각하시는데, 추론 단계에서는 사실 그것보다 데이터를 옮기는 시간이 더 큰 문제입니다. 업계에서 '메모리 장벽(memory wall)'이라고 부르는 현상입니다.

연산 유닛의 속도는 지난 수십 년간 빠르게 올라갔는데, 메모리에서 데이터를 꺼내 오는 속도는 그만큼 따라오지 못했습니다. 그래서 요즘 AI 칩은 계산을 못 해서 노는 게 아니라, 계산할 재료가 도착하기를 기다리느라 놉니다. 고속도로는 넓어졌는데 진입로가 좁은 상황입니다.

AMD가 인수 발표에서 밝힌 명분도 정확히 이 지점입니다. 탈라스 방식이 범용 아키텍처의 연산·메모리 병목을 줄인다는 것입니다.

여러 갈래 청록 빛줄기가 두 개의 매끈한 어두운 블록 사이 좁은 틈으로 압축되어 빠져나가는 이미지 — 메모리 병목을 표현한 개념 이미지

GPU는 원래 범용으로 만들어진 물건입니다

여기서 짚고 갈 점이 하나 있습니다. GPU가 AI에 비효율적인 건 GPU를 잘못 만들어서가 아닙니다. 애초에 무엇이든 돌릴 수 있게 설계했기 때문입니다.

어떤 모델이 올지 모르는 상태에서 만들어야 하니, 칩은 온갖 종류의 연산을 감당할 준비를 갖춰야 합니다. 그 준비 비용이 트랜지스터·전력·면적으로 계속 나갑니다. 유연성의 값입니다.

그런데 지금 현실을 보면, 세상의 추론 수요 상당 부분이 손에 꼽을 만한 몇 개 모델에 몰려 있습니다. 그렇다면 "어떤 모델이든"이 아니라 "이 모델만" 돌리는 칩을 만들면 어떻게 될까 — 탈라스의 출발점이 여기입니다.

하드와이어링이 바꾸는 계산의 순서

탈라스 CEO 류비샤 바이치는 자사 기술을 설명하면서 트랜지스터 하나로 4비트를 저장하고 그와 관련된 곱셈까지 한다는 취지로 말했습니다.

이게 왜 중요하냐면, 기존 구조에서는 '저장'과 '연산'이 물리적으로 다른 곳에서 일어나기 때문입니다. 저장은 메모리, 연산은 연산 유닛. 그 사이를 데이터가 오갑니다. 저장과 연산이 같은 소자에서 동시에 일어나면 그 왕복이 사라집니다.

메모리 장벽을 더 빠른 메모리로 넘어서려는 시도가 아니라, 넘어야 할 벽 자체를 없애는 접근이라고 보시면 됩니다.

굵고 밝은 청록 광선 하나가 화면을 가로지르고 그 아래로 훨씬 가늘고 어두운 광선이 지나가는 이미지 — 처리 속도 격차를 표현

HC1 — 탈라스가 2월에 공개한 첫 칩

이번 인수를 이해하려면 지난 2월로 한 번 돌아가야 합니다. 탈라스는 올해 2월 19일 첫 제품인 HC1을 공개했습니다. AMD가 산 것은 계획서가 아니라 이미 실물이 나온 기술이라는 뜻입니다.

HC1은 메타의 라마 3.1 8B 모델을 하드와이어링한 주문형 반도체(ASIC)입니다. 특정 모델 하나를 위해 만들어진 칩입니다.

초당 1만 7천 토큰이라는 숫자

탈라스가 내세운 수치는 사용자 한 명 기준 초당 약 1만 7천 토큰입니다. 회사 설명으로는 당시 최고 수준 대비 약 10배 수준입니다.

감이 잘 안 오실 수 있어 바꿔 말씀드리면, 우리가 챗봇에서 글자가 한 줄씩 타이핑되듯 나오는 걸 보는 이유가 토큰 생성 속도 때문입니다. 초당 1만 7천 토큰이면 사람이 읽는 속도로는 도저히 따라갈 수 없는 영역입니다.

다만 이 숫자는 제조사가 제시한 값이고, 8B급 모델 하나를 하드와이어링한 조건에서 나온 것입니다. 훨씬 큰 모델에서 같은 배수가 나온다는 뜻은 아닙니다. 이 구분은 꼭 해두셔야 합니다.

수많은 작은 청록 정육면체가 조밀하게 뭉쳐 하나의 구를 이루고 어둠 속에 떠 있는 이미지 — 수백억 개 소자의 집적을 표현

트랜지스터 530억 개, TSMC 6나노

HC1의 물리적 제원도 공개돼 있습니다. 트랜지스터는 약 530억 개, 다이 면적은 815제곱밀리미터입니다. 제조는 TSMC의 6나노(N6) 공정으로 이뤄졌습니다.

여기서 눈여겨볼 지점이 있습니다. 6나노는 지금 기준으로 최첨단 공정이 아닙니다. 최신 칩들이 3나노, 2나노로 가는 중인데 탈라스는 한 세대 이상 뒤의 공정을 썼습니다.

그런데도 저 성능이 나왔다면, 이 접근의 이득이 공정 미세화가 아니라 설계 방식에서 나온다는 뜻이 됩니다. 최첨단 공정 물량은 지금 전 세계가 줄을 서서 기다리는 자원이라, 이 점은 전략적으로 꽤 큽니다.

전력 10분의 1, 제조비 20분의 1

탈라스가 제시한 나머지 두 숫자는 전력 소비 10분의 1, 제조 비용 20분의 1입니다.

AI 이야기에서 전력은 이제 곁가지가 아닙니다. 데이터센터 전력 확보가 산업 전체의 병목이 된 상황이라, 같은 일을 10분의 1 전력으로 한다는 주장은 성능 배수만큼이나 무게가 있습니다.

물론 이 셋 — 속도 10배, 전력 10분의 1, 비용 20분의 1 — 은 모두 회사가 스스로 밝힌 값입니다. 독립적인 제3자 벤치마크로 검증된 수치가 아니라는 점은 분명히 해 둘게요.

매끈한 어두운 원판 위로 청록빛 동심원이 바깥으로 퍼져 나가는 이미지 — 반도체 웨이퍼와 공정을 표현한 개념 이미지

24명이 3천만 달러로 만들어냈습니다

개인적으로 이번 건에서 가장 인상적이었던 건 성능 숫자가 아니라 개발 규모였습니다.

탈라스는 총 2억 달러 이상을 조달했는데, 첫 제품을 세상에 내놓기까지 실제로 쓴 돈은 3천만 달러 남짓이었습니다. 투입된 인원은 24명입니다.

대형 AI 칩 하나를 설계·검증·양산하는 데 보통 수백 명과 수억 달러가 든다는 걸 생각하면 이례적인 수치입니다. 범용성을 포기하면 설계 복잡도가 얼마나 줄어드는지를 보여주는 방증이기도 합니다.

창업자 류비샤 바이치와 텐스토렌트

탈라스를 만든 사람은 류비샤 바이치(Ljubisa Bajic)와 드라고 이그냐토비치(Drago Ignjatovic)입니다. 두 사람 모두 AI 반도체 업계에서는 익숙한 이름입니다.

바이치는 AMD 출신이고, 이후 AI 칩 설계 기업 텐스토렌트(Tenstorrent)를 창업해 CEO를 맡았던 인물입니다. 텐스토렌트를 떠난 뒤 2023년에 다시 토론토에서 탈라스를 세웠습니다.

정리하면 AMD를 떠났던 사람이 회사를 두 번 세운 끝에 다시 AMD로 돌아오는 그림입니다. AMD 입장에서는 기술만이 아니라 검증된 설계 조직을 함께 얻는 셈입니다.

광활한 어둠 속에 작고 희미한 청록 정육면체 하나만 은은한 빛무리와 함께 떠 있는 이미지 — 소수 인원의 작은 팀을 표현

AMD는 왜 하필 지금 샀을까요

타이밍을 보면 이유가 읽힙니다.

첫째, 추론 시장이 지금 급격히 커지고 있습니다. 모델을 만드는 일(학습)보다 만들어진 모델을 굴리는 일(추론)의 총량이 훨씬 빠르게 늘고 있습니다. AMD 발표문 자체가 "빠르게 성장하는 AI 추론 시장"을 명시적으로 겨냥하고 있습니다.

둘째, 정면 승부만으로는 격차를 좁히기 어렵습니다. 범용 GPU 시장에서 엔비디아를 상대하는 건 AMD에게도 힘든 싸움입니다. 다른 축이 필요합니다.

셋째, 탈라스는 이미 물건이 있습니다. HC1이 2월에 나왔으니 기술 실현 가능성 검증 단계는 지나 있습니다.

인스팅트·헬리오스·에픽·ROCm — AMD가 짜는 판

AMD는 탈라스 기술을 자사 가속기 로드맵에 통합하겠다고 밝혔습니다. 구체적으로 함께 언급된 것들은 이렇습니다.

  • 인스팅트(Instinct) GPU — AMD의 데이터센터용 AI 가속기 계열
  • 헬리오스(Helios) — 랙 단위로 묶는 대규모 시스템 플랫폼
  • 에픽(EPYC) CPU — 서버용 중앙처리장치
  • ROCm — AMD의 소프트웨어 스택

즉 탈라스 칩을 따로 파는 그림이 아니라, 기존 시스템 안에 특화 가속 블록으로 끼워 넣는 구상입니다. 유연한 GPU가 전체를 감당하고, 자주 쓰는 모델은 굳혀 놓은 칩이 값싸게 처리하는 조합입니다.

두 개의 매끈한 어두운 블록이 나란히 서서 굵은 청록 발광 막대로 연결된 이미지 — 서로 다른 칩을 하나의 시스템으로 결합하는 구조를 표현

엔비디아를 정면으로 넘지 않고 옆으로 도는 길

엔비디아의 진짜 해자는 칩 성능만이 아니라 CUDA를 중심으로 쌓인 소프트웨어 생태계입니다. 개발자들이 이미 그 위에서 일하고 있어서, 칩을 조금 더 빠르게 만드는 것만으로는 이 벽을 넘기 어렵습니다.

그런데 하드와이어링 칩은 이 구도에서 약간 비켜서 있습니다. 모델이 칩에 고정돼 있으니 사용자가 그 위에서 자유롭게 코드를 짜는 상황을 전제하지 않습니다. "이 모델을 이 값에 이 속도로 돌려 드립니다"라는 서비스에 가깝습니다.

생태계 싸움이 아니라 단위 비용 싸움으로 판을 옮기는 시도로 읽힙니다.

학습보다 추론이 커지는 국면

지난 몇 년간 AI 반도체 이야기의 주인공은 학습이었습니다. 더 큰 모델을 더 빨리 훈련시키는 경쟁이었으니까요.

그런데 모델이 실제 서비스에 들어가기 시작하면 상황이 뒤집힙니다. 학습은 한 번 하지만 추론은 사용자가 요청할 때마다 매번 일어납니다. 사용자가 늘수록, 대화가 길어질수록, 에이전트가 백그라운드에서 스스로 일할수록 추론량은 계속 불어납니다.

그래서 지금 업계 전반이 추론 단가를 붙들고 있습니다. 이번 인수도, 최근 여러 회사가 자체 칩에 손대는 것도 같은 맥락 위에 있습니다.

단단한 청록 기하 입체가 주변의 어두운 덩어리 속에 움직일 수 없게 융합되어 있는 이미지 — 모델이 실리콘에 고정되어 바꿀 수 없음을 표현

하드와이어링의 대가 — 모델을 바꿀 수 없습니다

이제 반대편을 봐야 합니다. 이 방식에는 피할 수 없는 대가가 있습니다.

칩에 새겨진 모델은 바꿀 수 없습니다. 소프트웨어 업데이트로 개선할 수 없고, 미세조정도 할 수 없고, 더 나은 모델이 나와도 갈아 끼울 수 없습니다. 그 칩은 그 모델 전용으로 태어나 그대로 수명을 마칩니다.

앞서 든 오르골 비유 그대로입니다. 악보를 읽지 않으니 빠르지만, 곡을 바꾸려면 오르골을 새로 만들어야 합니다.

그래서 어떤 모델이 후보가 될까요

이 제약을 뒤집으면 어떤 모델이 이 방식에 맞는지가 보입니다. 조건은 대략 이렇습니다.

  • 충분히 오래 쓰일 모델 — 칩 개발·양산 기간을 버텨야 합니다
  • 수요가 몰려 있는 모델 — 물량이 나와야 단가가 맞습니다
  • 사양이 안정된 모델 — 자주 갱신되면 굳힐 수 없습니다

탈라스가 HC1의 대상으로 라마 3.1 8B를 고른 것도 이 관점에서 자연스럽습니다. 공개 가중치라 접근이 자유롭고, 널리 쓰이고, 사양이 고정돼 있습니다.

반대로 프론티어 모델은 몇 달 단위로 세대가 바뀌니 후보로는 부적합합니다. 이 기술이 프론티어 경쟁을 대체하는 게 아니라, 검증돼 안정된 모델을 값싸게 대량으로 돌리는 자리를 노린다는 뜻입니다.

크고 매끈한 어두운 육각 입체가 더 작은 어두운 입체 셋을 자기 쪽으로 끌어당기고 접점마다 청록빛이 밝게 빛나는 이미지 — 인수와 기술 통합을 표현

앤트로픽·구글도 같은 방향을 보고 있습니다

흐름을 넓게 보면 이번 인수는 혼자 튀는 사건이 아닙니다.

앤트로픽은 이달 초 자체 칩 팀을 꾸리고 있다는 사실이 확인됐습니다. 클로드의 추론 비용을 절반 수준으로 낮추는 것이 목표로 알려졌습니다. 구글은 오래전부터 TPU를 자체 설계해 왔고, 앤트로픽과의 컴퓨팅 파트너십도 확대하고 있습니다.

공통점이 뚜렷합니다. 모델을 만드는 쪽이 칩까지 내려오고, 칩을 만드는 쪽이 모델까지 올라옵니다. 소프트웨어와 하드웨어의 경계가 양쪽에서 동시에 흐려지고 있습니다. 탈라스는 그 경계를 가장 극단적으로 지운 사례일 뿐입니다.

우리 같은 사용자에게는 뭐가 달라지나요

당장 내일 체감할 변화는 없습니다. 이건 인수 단계고, 제품 통합 일정도 공개되지 않았습니다. 그래도 방향이 유지된다면 이런 변화가 따라옵니다.

첫째, 응답이 빨라집니다. 특히 긴 글을 요약하거나 대화가 길게 이어질 때 기다리는 시간이 줄어듭니다.

둘째, 무료·저가 구간이 넓어집니다. 추론 단가가 내려가면 회사들이 무료 사용자에게 열어 주는 한도를 늘릴 여지가 생깁니다.

셋째, 기기 안에서 도는 AI가 현실적이 됩니다. 전력을 10분의 1로 줄이는 접근은 데이터센터보다 오히려 노트북·휴대폰·안경 같은 기기에서 의미가 큽니다.

저시력 사용자 입장에서 특히 눈여겨볼 지점은 세 번째입니다. 화면을 읽어 주고 사물을 설명해 주는 보조 기능은 지연이 짧을수록, 인터넷 없이도 돌아갈수록 실제로 쓸모가 커집니다. 사진을 찍고 3초를 기다리는 것과 즉시 들리는 것은 완전히 다른 도구입니다. 온디바이스 추론의 전력·비용 문턱이 내려간다는 건 그쪽 이야기이기도 합니다.

넓은 청록 광선이 깊은 어둠 속으로 뻗어 나가며 멀어질수록 더 밝아지는 이미지 — 앞으로의 로드맵을 표현한 개념 이미지

아직 확인되지 않은 것들

기대만 적으면 균형이 안 맞으니, 아직 답이 없는 것들도 함께 적어 둘게요.

  • 인수 금액이 공개되지 않았습니다. 규모를 알 수 없으니 AMD가 이 방향에 얼마나 걸었는지 가늠하기 어렵습니다.
  • 제품 일정이 없습니다. 언제 어떤 형태로 인스팅트·헬리오스에 들어가는지 발표되지 않았습니다.
  • 성능 수치가 제3자 검증을 거치지 않았습니다. 10배·20배는 모두 회사 제시값입니다.
  • 어떤 모델을 굽을지 정해지지 않았습니다. 이 기술의 실효는 결국 모델 선택에 달려 있습니다.
  • 수율과 원가가 미지수입니다. 815제곱밀리미터는 상당히 큰 다이라 양산 난도가 낮지 않습니다.

지켜볼 지점을 하나만 꼽자면, AMD가 첫 대상 모델로 무엇을 고르는가입니다. 그 선택이 이 기술을 어디에 쓸 생각인지 가장 정직하게 알려 줄 겁니다.

핵심 정리

  • AMD가 8월 6일 캐나다 스타트업 탈라스를 인수했습니다. 금액은 비공개, 애크하이어가 아닌 정식 인수입니다.
  • 탈라스는 학습된 모델의 가중치를 트랜지스터에 직접 새겨 넣는 방식으로 연산·메모리 병목을 없앱니다.
  • 첫 제품 HC1은 라마 3.1 8B를 하드와이어링한 ASIC으로, 트랜지스터 530억 개, 다이 815㎟, TSMC 6나노로 제조됐습니다.
  • 회사 제시 수치는 초당 1만 7천 토큰(약 10배), 전력 1/10, 제조비 1/20입니다. 제3자 검증은 아직 없습니다.
  • 첫 제품까지 24명·3천만 달러가 들었습니다. 범용성을 포기하면 설계 복잡도가 크게 준다는 방증입니다.
  • 창업자 류비샤 바이치는 AMD 출신이자 텐스토렌트 창업자입니다. 팀 전체가 AMD 인공지능 사업부로 합류합니다.
  • AMD는 인스팅트·헬리오스·에픽·ROCm과 묶어 시스템 수준 해법으로 통합할 계획입니다.
  • 대가는 분명합니다 — 칩에 새긴 모델은 바꿀 수 없습니다. 오래 쓰이고 수요가 몰린 안정된 모델만 후보가 됩니다.
  • 앤트로픽의 자체 칩 팀, 구글의 TPU와 함께 모델과 칩의 경계가 흐려지는 큰 흐름의 일부입니다.

마무리

이번 인수를 한 줄로 줄이면 "AI를 더 빠르게 만드는 대신, 더 싸게 만드는 쪽으로 가는 길"입니다. 성능 경쟁의 화려함은 없지만, 실제로 AI가 일상 도구가 되려면 반드시 지나야 하는 구간이기도 합니다.

SVIL은 이런 하부 구조의 변화가 결국 화면 앞 사람에게 무엇이 되어 돌아오는지를 계속 따라가려 합니다. 응답 지연이 줄고, 기기 안에서 AI가 돌고, 무료 한도가 넓어지는 변화는 저시력 사용자에게 특히 크게 와닿는 종류의 변화니까요.

비슷한 결의 이야기를 계속 보고 싶으시면 블로그를 구독해 주세요. 궁금하신 주제가 있으면 언제든 알려 주시고요.

출처

  1. AMD Investor Relations — AMD Acquires Taalas to Advance Compute Solutions for Rapidly Growing AI Inference Market
  2. The Register — AMD acquires AI chip startup Taalas to boost inference performance by etching models into silicon
  3. CNBC — AMD buys Taalas, startup that hardwires AI models into its silicon
  4. Forbes — AMD Buys Taalas, The Startup That Carves AI Models Into Silicon
  5. heise online — AI inference cast in silicon: Taalas announces HC1 chip
  6. The Next Platform — Taalas Etches AI Models Onto Transistors To Rocket Boost Inference
  7. Forbes — Taalas Launches Hardcore Chip With 'Insane' AI Inference Performance
  8. HotHardware — AMD Buys Startup Taalas To Bake AI Models Straight Into Silicon
  9. Futurum Group — AMD Acquires Taalas to Accelerate AI Inference
  10. Taalas — The path to ubiquitous AI
매끈한 어두운 정육면체가 한 줄기 직선을 따라 갈라지며 그 틈에서 밝은 청록빛이 새어 나오는 이미지 — 닫혀 있던 구조가 열리는 전환을 표현

협업문의 : kuroicode@gmail.com
블로그 : https://blog.svil.dev/
홈페이지 : https://kuroicode-beep.github.io/svil-homepage/

]]>