열한 명이 GPU를 안 바꾸고 추론을 30배 빠르게 하겠답니다 — 프랑스 코그와 초당 3천 토큰

AI가 답을 뱉는 속도를 올리는 방법은 보통 두 가지로 이야기됩니다. 더 좋은 칩을 사거나, 전용 칩을 새로 만들거나. 지난 몇 해 동안 업계가 수십조 원을 쏟아부은 방향이 정확히 이 두 가지였습니다.

그런데 프랑스 파리의 열한 명짜리 회사가 다른 말을 하고 있습니다. 칩은 그대로 두고 소프트웨어만 고쳐도 최대 30배가 나온다는 겁니다. 회사 이름은 코그(Kog)입니다. 2026년 8월 14일 테크크런치가 이 회사를 다루면서 이야기가 퍼졌습니다. 오늘은 이 주장이 무엇이고, 어디까지가 실증된 숫자이며, 무엇이 아직 물음표로 남아 있는지 정리해 보겠습니다.

GPU를 바꾸지 않고 30배 빠르게 하겠다는 회사

코그의 주장은 간단합니다. 기업이 이미 갖고 있는 데이터센터 GPU에서, 큰 언어 모델이 답을 만들어 내는 과정을 소프트웨어 수준에서 다시 짜면 훨씬 빨라진다는 것입니다. 회사가 만든 것은 코그 추론 엔진(Kog Inference Engine, KIE)이라는 소프트웨어 계층입니다.

새 칩을 사지 않아도 된다는 점이 이 접근의 핵심입니다. 지금 AI 인프라 비용에서 가장 큰 항목이 GPU 구매와 임대인데, 같은 하드웨어에서 처리량이 몇 배로 늘면 실질 비용이 그만큼 줄어드는 셈이기 때문입니다.

코그는 어떤 회사인가 — 파리, 11명

코그는 2023년에 파리에서 설립됐습니다. 직원은 열한 명이고 그중 열 명이 엔지니어와 연구자, 박사 학위 소지자가 다섯입니다. 회사 규모로만 보면 아주 작은 조직입니다.

이런 회사가 주목받는 이유는 다루는 문제가 대형 인프라 기업의 영역이기 때문입니다. 보통 추론 최적화는 칩 제조사나 대형 클라우드가 자기 하드웨어에 맞춰 하는 일인데, 열한 명이 그 층을 직접 건드리겠다고 나선 것입니다.

초당 3,000토큰이라는 숫자

코그가 내세우는 대표 수치는 단일 요청 기준 초당 3,000토큰입니다. 토큰은 AI가 글을 만들 때 쓰는 조각 단위인데, 우리말로는 대략 한 글자에서 두 글자 사이라고 보시면 이해가 쉽습니다.

초당 3,000토큰이면 사람이 읽는 속도를 한참 넘어섭니다. 화면에 글자가 차례로 찍히는 것을 눈으로 좇을 수 없는 수준입니다. 일반적인 대화형 서비스에서 체감하는 속도가 초당 수십에서 백몇십 토큰 사이라는 점을 생각하면 차이가 큽니다.

이 숫자가 어디서 나왔나 — 2B 라네포머

여기서 중요한 단서가 하나 붙습니다. 이 숫자는 코그가 직접 만든 20억 파라미터짜리 모델로 낸 값입니다. 회사는 이 모델을 라네포머(Laneformer)라고 부릅니다.

20억 파라미터는 오늘날 기준으로 작은 모델입니다. 작은 모델이 빠른 것은 당연하므로, 이 수치는 "코그의 기술이 잘 맞아떨어졌을 때 이런 속도가 가능하다"는 가능성의 증명으로 읽는 편이 정확합니다. 회사가 말하는 30배는 더 큰 모델에서 기대하는 값이지 이미 달성한 값이 아닙니다.

AMD MI300X 8장과 엔비디아 H200 8장

실측 환경은 두 가지였습니다. AMD MI300X 8장에서 초당 3,000토큰, 엔비디아 H200 8장에서 초당 2,100토큰입니다.

흥미로운 부분은 AMD 쪽 숫자가 더 높다는 점입니다. 추론 소프트웨어 생태계는 그동안 엔비디아 중심으로 발전해 왔고, AMD 칩은 성능이 나쁘지 않은데도 소프트웨어가 따라오지 못해 제 값을 못 한다는 지적을 받아 왔습니다. 코그의 숫자는 그 격차가 하드웨어가 아니라 소프트웨어에서 왔다는 주장을 뒷받침합니다.

왜 '단일 요청' 속도가 중요한가

코그가 강조하는 표현은 "단일 요청 디코딩"입니다. 요청 하나를 얼마나 빨리 끝내느냐를 뜻합니다.

이 구분이 중요한 이유가 있습니다. 대부분의 추론 최적화는 여러 요청을 한꺼번에 묶어 처리량을 올리는 쪽에 집중해 왔습니다. 서버 운영자에게는 그게 이득이기 때문입니다. 그런데 사용자 한 명 입장에서 체감하는 것은 처리량이 아니라 내 요청이 언제 끝나는가입니다.

배치 처리량과 응답 지연은 다른 문제입니다

조금 더 풀어 보겠습니다. 식당에 비유하면 처리량은 한 시간에 손님 몇 명을 받느냐이고, 지연은 내가 주문한 음식이 몇 분 만에 나오느냐입니다. 주방을 크게 만들면 처리량은 오르지만, 내 음식이 빨리 나온다는 보장은 없습니다.

지금까지 추론 최적화의 상당 부분이 주방을 키우는 쪽이었습니다. 코그는 한 접시를 빨리 내는 쪽을 겨냥합니다. 사람이 앞에 앉아 결과를 기다리는 작업에서는 이쪽이 훨씬 크게 체감됩니다.

클로드 코드 사용자가 몇 시간을 기다린 이유

코그가 예로 든 상황이 구체적입니다. 코딩 에이전트 사용자가 결과를 몇 시간씩 기다리는 경우가 있다는 것입니다.

이런 도구는 한 번 지시하면 수십 개 파일을 읽고, 고치고, 결과를 확인하고, 틀리면 다시 고치는 과정을 스스로 반복합니다. 각 단계는 짧아도 단계 수가 수백 번이면 총 시간은 크게 늘어납니다. 여기서 한 단계의 지연을 줄이는 일은 전체 시간에 그대로 곱해집니다.

코딩 에이전트가 속도에 예민한 구조적 이유

일반적인 대화형 AI는 사람이 답을 읽는 속도가 병목입니다. 초당 50토큰이든 100토큰이든 사람이 읽기에는 충분히 빠릅니다.

그런데 에이전트는 사람이 읽지 않습니다. AI가 만든 결과를 AI가 곧바로 받아 다음 단계로 넘어갑니다. 사람의 읽기 속도라는 상한이 없어지므로, 모델이 빠를수록 전체 작업이 그만큼 빨리 끝납니다. 코그가 코딩 워크플로를 첫 시장으로 잡은 이유가 여기 있습니다.

어셈블리와 바이너리까지 내려간다는 뜻

기술적으로 코그가 하는 일은 아주 낮은 층을 직접 건드리는 것입니다. 창업자는 "어셈블리 언어와 바이너리 코드 수준까지 내려가 역공학한다"고 설명합니다.

보통 GPU 프로그래밍은 제조사가 제공하는 도구를 통해 합니다. 그 아래에서 칩이 실제로 어떻게 명령을 처리하는지는 문서에 다 적혀 있지 않습니다. 코그는 그 층을 직접 뜯어 보고 최적화한다는 것입니다. 손이 많이 가지만 남들이 못 얻는 여지가 거기 있다는 판단입니다.

GPU의 물리 법칙을 이해한다는 말

창업자가 쓴 표현 중에 "물리 법칙과 GPU의 법칙을 이해하는 사고방식"이라는 말이 있습니다. 다소 추상적으로 들리지만 실무적인 뜻이 있습니다.

GPU에서 속도를 결정하는 것은 대개 계산 능력이 아니라 데이터가 메모리와 연산 장치 사이를 오가는 시간입니다. 이 이동을 얼마나 줄이느냐가 성능을 가릅니다. 칩의 물리적 구조를 정확히 알고 있어야 이 최적화를 끝까지 밀어붙일 수 있습니다.

창업자 가엘 델랄로 — 물리학과 공격 보안

코그를 만든 사람은 가엘 델랄로(Gaël Delalleau)입니다. 단독 창업자이고, 배경이 독특합니다. 에콜 폴리테크니크에서 고체물리학을 공부했고, 이후 공격 보안 분야에서 일했습니다.

물리학과 보안이라는 조합이 이 회사의 성격을 잘 설명합니다. 물리학은 하드웨어가 왜 그렇게 동작하는지를 보는 눈이고, 공격 보안은 문서에 없는 동작을 파헤치는 훈련입니다. 어셈블리까지 내려가 역공학한다는 접근은 이 두 이력의 자연스러운 결과에 가깝습니다.

데프콘 CTF 결승 4회 진출이라는 이력

창업자는 보안 경진대회 데프콘 CTF 결승에 네 번 올랐습니다. CTF는 주어진 시스템의 취약점을 찾아 뚫는 대회이고, 데프콘 본선은 그중에서도 가장 어려운 무대로 꼽힙니다.

이 이력이 왜 의미가 있냐면, CTF에서 요구하는 능력이 주어진 설명서를 넘어 시스템의 실제 동작을 알아내는 것이기 때문입니다. GPU 최적화에서 필요한 능력과 겹칩니다. 참고로 그의 첫 창업은 스트라이브(Stribe)였고 AI와는 무관한 분야였습니다.

칩 하나에 몇 주에서 몇 달

이 접근에는 분명한 대가가 있습니다. 새로운 GPU 하나를 지원하는 데 몇 주에서 몇 달이 걸립니다. 칩마다 내부 구조가 다르니 처음부터 다시 파헤쳐야 하기 때문입니다.

범용 최적화 도구가 새 칩을 며칠 만에 지원하는 것과 대조됩니다. 코그는 깊이를 얻는 대신 넓이를 포기한 구조입니다. 이 선택이 회사의 성장 속도를 좌우하게 됩니다.

작은 팀이 지원 칩을 늘리지 못하는 이유

열한 명이라는 팀 크기가 여기서 제약이 됩니다. 칩 하나에 몇 달이 든다면 동시에 다룰 수 있는 칩의 수가 제한됩니다.

이것은 기술의 한계가 아니라 인력의 한계입니다. 그래서 이 회사의 향후 관전 포인트는 성능 수치보다 지원 칩 목록이 얼마나 빨리 늘어나는가일 수 있습니다. 늘지 않으면 특정 칩에서만 통하는 기술로 남고, 늘어나면 인프라 계층의 표준을 노려볼 수 있습니다.

시드 라운드와 프랑스 테크 2030

코그는 바시티 VC(Varsity VC)가 공동 주도한 시드 라운드로 500만 달러를 조달했습니다. 프랑스 공공투자은행 Bpifrance의 딥테크 프로그램 지원을 받았고, 2025년 10월에는 프랑스 테크 2030 인증도 받았습니다. 클라우드 사업자 스케일웨이(Scaleway)도 지원에 참여했습니다.

흥미로운 세부 사항이 하나 있습니다. 시드 라운드를 공동 주도한 바시티 VC의 카멜 제루알은 창업자의 첫 회사 공동창업자였습니다. 오래된 신뢰 관계에서 초기 자금이 나온 셈입니다.

200건의 사업 문의가 뜻하는 수요

회사는 초기 시연 이후 200건의 사업 문의를 받았다고 밝혔습니다. 열한 명짜리 회사가 감당하기에는 많은 숫자입니다.

이 숫자가 말해 주는 것은 성능 자체보다 시장의 갈증입니다. 추론 비용과 대기 시간이 실제 서비스 운영에서 얼마나 큰 부담인지를 보여줍니다. 다만 문의는 계약이 아니고, 실제 도입까지 이어진 사례가 얼마나 되는지는 아직 공개되지 않았습니다.

시리즈 A의 조건 — 9월 10배 실증

창업자는 첫 대형 모델에서 10배 속도를 구현한 뒤 시리즈 A를 진행할 것으로 보고 있습니다. 시점은 9월로 잡고 있습니다.

이 발언은 사실상 스스로 건 검증 조건입니다. 지금까지의 3,000토큰이 작은 모델에서 나온 값이니, 실제 크기의 모델에서 몇 배가 나오는지가 이 회사의 진짜 시험대라는 뜻입니다. 9월에 어떤 숫자가 나오는지가 판단의 기준이 됩니다.

ZML과 무엇이 다른가

비슷한 일을 하는 프랑스 스타트업으로 ZML이 함께 거론됩니다. ZML은 여러 하드웨어에서 두루 쓰이는 것을 목표로 하는 접근입니다.

코그는 반대쪽에 섰습니다. 특정 칩을 깊이 파고드는 대신 범용성을 포기했습니다. 두 접근 모두 성립할 수 있고, 어느 쪽이 이기느냐는 시장이 원하는 것이 "어디서나 적당히"인지 "한 곳에서 압도적으로"인지에 달려 있습니다.

스탠퍼드 헤이지 리서치와 비교되는 이유

테크크런치는 코그의 접근을 스탠퍼드의 헤이지 리서치(Hazy Research) 연구실에 견줬습니다. GPU의 하드웨어 특성을 정면으로 파고들어 커널 수준에서 성능을 끌어내는 연구로 알려진 곳입니다.

이 비유가 시사하는 바는 코그의 작업이 제품 개발보다 연구에 가까운 성격을 띤다는 점입니다. 박사 다섯 명이 있는 인력 구성과도 맞아떨어집니다. 다만 연구실과 회사는 다른 조건에서 움직입니다. 시간과 자금이라는 제약이 결과를 좌우할 것입니다.

하드웨어 경쟁과 소프트웨어 경쟁

지난 몇 해 동안 추론 속도 경쟁은 주로 전용 칩에서 벌어졌습니다. 세레브라스 같은 회사들이 새로운 구조의 칩으로 기존 GPU를 앞서는 속도를 보여 줬습니다.

코그가 던지는 질문은 이것입니다. 그 속도 차이가 정말 칩 때문이었나. 소프트웨어가 GPU의 잠재력을 다 끌어내지 못한 상태에서 비교한 것 아니냐는 문제 제기입니다. 답이 어느 쪽이든, 이 질문 자체가 업계에 유용합니다.

AMD에 먼저 최적화한 선택

코그가 AMD MI300X에서 가장 높은 숫자를 낸 것은 우연이 아닐 가능성이 큽니다. 엔비디아 생태계는 이미 최적화가 촘촘하게 되어 있어 추가로 짜낼 여지가 적습니다. 반대로 AMD 쪽은 하드웨어 성능 대비 소프트웨어가 덜 여물어 있어 여지가 큽니다.

작은 회사가 큰 차이를 보여 주기에는 후자가 유리합니다. 동시에 AMD 입장에서도 자기 칩의 값어치를 증명해 줄 파트너가 필요합니다. 서로의 필요가 맞아떨어지는 자리입니다.

로컬 작업실에서 이 흐름이 갖는 뜻

저희 연구소처럼 개인 작업실에서 AI를 직접 돌리는 환경에도 시사점이 있습니다. 그래픽카드를 새로 사는 것은 큰 지출이지만, 같은 카드에서 소프트웨어만 바꿔 속도가 오른다면 이야기가 달라집니다.

코그의 엔진 자체는 데이터센터 GPU를 겨냥하고 있어 개인용 카드에 바로 적용되지는 않습니다. 다만 소프트웨어 층에 아직 큰 여지가 남아 있다는 사실이 확인되면, 개인용 추론 도구에도 같은 흐름이 이어질 가능성이 높습니다.

검증되지 않은 것들 — 남은 물음표

마지막으로 아직 확인되지 않은 것을 분명히 해 두겠습니다.

첫째, 30배는 아직 실증된 값이 아닙니다. 공개된 실측은 20억 파라미터 모델 기준입니다.

둘째, 독립적인 제3자 검증이 아직 없습니다. 수치는 회사가 낸 것입니다.

셋째, 품질 저하 여부가 공개되지 않았습니다. 추론을 빠르게 하는 기법 중에는 정확도를 조금 내주는 것이 적지 않습니다.

넷째, 실제 도입 사례가 아직 공개되지 않았습니다. 문의 200건과 계약은 다른 이야기입니다.

핵심 정리

오늘 내용을 짧게 정리하겠습니다.

프랑스 파리의 열한 명짜리 스타트업 코그가 GPU를 바꾸지 않고 소프트웨어만으로 추론 속도를 크게 올릴 수 있다고 주장하고 있습니다.

공개된 실측은 AMD MI300X 8장에서 초당 3,000토큰, 엔비디아 H200 8장에서 초당 2,100토큰입니다. 단 이 값은 자체 개발한 20억 파라미터 모델 기준이고, 회사가 말하는 30배는 아직 목표치입니다.

핵심 착안점은 처리량이 아니라 단일 요청 지연을 겨냥한다는 것입니다. 코딩 에이전트처럼 AI가 결과를 곧바로 받아 다음 단계로 넘어가는 작업에서 이 차이가 크게 작용합니다.

기술적으로는 어셈블리와 바이너리 수준까지 역공학하는 접근이라 칩 하나에 몇 주에서 몇 달이 듭니다. 깊이를 얻고 넓이를 포기한 구조이며, 열한 명이라는 팀 크기가 지원 칩 확대의 제약이 됩니다.

다음 확인 시점은 9월입니다. 실제 크기의 모델에서 10배를 보여 주겠다고 창업자가 스스로 조건을 걸었습니다. 그때까지는 가능성의 증명으로 읽는 것이 정확합니다.

참고하실 만한 것

추론 속도에 관심이 있으시다면, 성능 수치를 볼 때 세 가지를 함께 확인하는 습관을 권합니다. 어떤 크기의 모델에서 잰 값인지, 요청 하나 기준인지 여러 요청을 묶은 값인지, 그리고 정확도 변화가 함께 공개됐는지입니다. 이 셋이 빠진 숫자는 비교가 어렵습니다.

SVIL 연구소는 로컬 환경에서 AI를 직접 돌리며 얻은 실측을 계속 기록하고 있습니다. 비슷한 작업을 하고 계신 분이라면 아래 연락처로 편하게 이야기 나눠 주세요.

출처

• TechCrunch — Kog is going deeper to squeeze more inference out of GPUs (2026-08-14)
• Kog Labs — Real-time LLM inference on standard datacenter GPUs
• French Tech Journal — Kog says the industry was solving the wrong problem
• TechBuzz — French startup Kog challenges GPU inference limits
• Kog says software can unlock 30x faster LLM inference on existing GPUs
• Crunchbase — Kog company profile and funding
• Kog Labs blog
• TechCrunch — Why the first GPU financiers are turning to inference chips

협업문의 : kuroicode@gmail.com
블로그 : https://blog.svil.dev/
홈페이지 : https://kuroicode-beep.github.io/svil-homepage/