엔비디아가 하루에 칩 두 개를 꺼냈습니다 — 그록 3 LPX 양산과 스페이스X AI의 베라 CPU
8월 24일 하루에 엔비디아 보도자료가 두 건 나왔습니다. 하나는 추론만 담당하는 새 가속기 「그록 3 LPX」가 양산에 들어갔다는 소식이고, 다른 하나는 스페이스X AI가 엔비디아의 첫 에이전트용 CPU 「베라」를 도입한다는 소식입니다.
따로 읽으면 그저 제품 소식 두 건입니다. 나란히 놓으면 같은 이야기의 앞뒤입니다. 둘 다 AI 에이전트가 얼마나 똑똑한가가 아니라 얼마나 빨리 대답하는가를 겨냥하고 있습니다.
오늘은 이 두 발표에 담긴 숫자를 하나씩 풀어 보겠습니다. 숫자가 많이 나오지만, 어려운 수식은 없습니다.
8월 24일, 엔비디아가 같은 날 두 건을 발표했습니다
엔비디아 뉴스룸에 8월 24일 자로 올라온 보도자료는 두 건입니다. 「NVIDIA Groq 3 LPX Now in Full Production」과 「SpaceXAI Adopts NVIDIA Vera CPU」입니다.
앞의 것은 칩 하나가 시제품 단계를 끝내고 본격 생산에 들어갔다는 발표이고, 뒤의 것은 그 칩이 들어가는 플랫폼을 큰 고객 한 곳이 채택했다는 발표입니다.
공교롭게도 두 발표에는 같은 단어가 반복해서 나옵니다. 에이전트입니다. 모델이 혼자 답을 뱉는 것이 아니라, 도구를 부르고 코드를 돌리고 다시 생각하는 방식으로 일하는 AI를 말합니다.
그록 3 LPX란 무엇인가 — 추론만 하는 가속기
그록 3 LPX는 엔비디아가 「인터랙티브 AI 추론 가속기」라고 부르는 제품입니다. 이름의 LPX는 이 칩이 LPU, 즉 언어 처리 장치 계열이라는 뜻입니다.
핵심은 추론 전용이라는 점입니다. 모델을 학습시키는 일은 하지 않고, 이미 학습된 모델이 답을 만들어 내는 과정만 담당합니다.
학습과 추론은 요구하는 성질이 다릅니다. 학습은 며칠이 걸려도 되니 처리량이 중요하고, 추론은 사용자가 화면 앞에서 기다리고 있으니 지연 시간이 중요합니다.
LPU와 GPU는 무엇이 다른가
GPU는 원래 그래픽을 그리려고 만든 칩이 AI로 옮겨 온 것입니다. 수천 개의 작은 계산기를 한꺼번에 돌려 대량의 곱셈을 처리하는 데 강합니다.
LPU는 처음부터 언어 모델이 토큰을 하나씩 뱉는 과정에 맞춰 설계된 칩입니다. 토큰 생성은 앞 글자를 알아야 다음 글자를 만들 수 있어서, 대량 병렬보다 한 걸음의 지연이 성능을 좌우합니다.
그래서 LPU는 계산기 개수를 늘리기보다 데이터가 오가는 거리를 줄이는 쪽으로 설계됩니다. 이번 발표의 숫자들이 대부분 메모리와 대역폭에 몰려 있는 이유입니다.
SRAM 500메가바이트가 뜻하는 것
엔비디아가 밝힌 사양을 보면 가속기 한 장에 SRAM이 500메가바이트 들어갑니다. 요즘 GPU가 자랑하는 수십 기가바이트에 비하면 작아 보입니다.
하지만 SRAM은 종류가 다른 메모리입니다. 우리가 흔히 말하는 HBM이나 D램은 칩 옆에 붙어 있는 창고이고, SRAM은 계산 회로 바로 곁에 있는 작업대입니다.
작업대는 창고보다 훨씬 작습니다. 대신 손을 뻗으면 닿습니다. 500메가바이트라는 숫자는 「작다」가 아니라 「이만큼을 손 닿는 거리에 둔다」로 읽어야 합니다.
초당 150테라바이트라는 대역폭
같은 사양표에 SRAM 대역폭이 초당 150테라바이트로 적혀 있습니다. 감이 잘 오지 않는 숫자입니다.
비교하자면 요즘 고성능 GPU의 HBM 대역폭이 초당 수 테라바이트 수준입니다. 용량은 훨씬 작지만 오가는 속도는 수십 배라는 뜻입니다.
토큰을 하나 만들 때마다 모델은 자기 가중치를 훑어야 합니다. 이 훑는 속도가 곧 토큰이 나오는 속도입니다. 대역폭이 지연 시간을 결정한다는 말은 이런 의미입니다.
초당 3,400토큰 — 이 숫자를 읽는 법
엔비디아는 성능 수치로 초당 3,400개의 출력 토큰을 제시했습니다. 아티피셜 애널리시스라는 외부 벤치마크 기관의 측정값입니다.
토큰은 대략 한글 한 글자에서 두 글자 정도에 해당합니다. 초당 3,400토큰이면 사람이 눈으로 따라 읽을 수 있는 속도를 한참 넘어섭니다.
그래서 이 숫자의 의미는 「사람이 읽기 편하다」가 아닙니다. 에이전트가 스스로 생각을 여러 번 반복하고, 그 과정을 사용자가 기다리지 않게 하는 데 필요한 여유입니다.
젬마 4 31B와 10만 토큰 문맥이라는 조건
성능 수치에는 조건이 붙어 있습니다. 구글의 젬마 4 31B 모델을, 10만 토큰 길이의 문맥으로 돌렸을 때의 값입니다.
조건을 확인하는 습관은 중요합니다. 같은 칩이라도 모델이 커지면 토큰 속도는 떨어지고, 문맥이 짧으면 올라갑니다.
310억 개 파라미터에 10만 토큰 문맥은 요즘 기준으로 중간급 부하입니다. 아주 유리한 조건만 골랐다고 보기도, 가장 힘든 조건이라고 보기도 어려운 지점입니다.
왜 하필 응답 속도를 앞세웠나
엔비디아는 지연에 민감한 작업에서 가장 가까운 경쟁 플랫폼 대비 최대 4배 빠른 반응성을 낸다고 밝혔습니다.
몇 년 동안 AI 경쟁의 지표는 모델 크기와 벤치마크 점수였습니다. 그런데 에이전트가 실제 업무에 들어가면서 다른 것이 걸리기 시작했습니다. 기다림입니다.
사람이 한 번 묻고 한 번 답을 받을 때는 3초가 참을 만합니다. 에이전트가 스무 번 스스로 묻고 답하면 그 3초가 1분이 됩니다.
베라 루빈 NVL72와 한 몸으로 붙습니다
그록 3 LPX는 독립된 제품이 아니라 엔비디아 베라 루빈 플랫폼의 확장입니다. 기존 루빈 GPU가 들어가는 NVL72 시스템에 얹혀 함께 동작합니다.
엔비디아가 이 조합을 강조하는 이유는 분업 때문입니다. 루빈 GPU는 큰 메모리가 필요한 부분을, LPX는 빠른 응답이 필요한 부분을 맡습니다.
결과적으로 이 발표는 새 칩 하나가 아니라, 기존 랙 구성을 한 단계 더 세분화한 것으로 보는 편이 정확합니다.
랙 하나에 가속기 256장
엔비디아는 랙 규모로 묶었을 때 최대 256장의 가속기를 하나로 연결할 수 있다고 밝혔습니다. 칩과 칩 사이는 초고대역 인터커넥트로 이어집니다.
이 대목에서 스케일업 대역폭 초당 2.5테라바이트라는 수치가 함께 나옵니다. 칩 여러 장이 한 장처럼 보이게 만드는 데 쓰이는 통로입니다.
수백 장을 묶는 이유는 요즘 모델 하나가 칩 한 장에 들어가지 않기 때문입니다. 조각내어 나눠 담고, 그 조각들이 서로 대화하게 해야 합니다.
HBM과 SRAM을 함께 쓰는 이유
엔비디아 설명을 그대로 옮기면, 루빈 GPU가 HBM을 담당하고 LPU가 SRAM을 담당하는 조합입니다.
쉽게 말해 큰 창고와 빠른 작업대를 한 시스템 안에 같이 두는 구조입니다. 모델 전체는 창고에 두고, 지금 당장 쓰는 부분만 작업대로 올립니다.
엔비디아는 이 조합이 조 단위 파라미터 모델과 백만 토큰 문맥을 겨냥한 것이라고 밝혔습니다. 아직 그런 모델이 흔하지는 않지만, 하드웨어가 먼저 자리를 잡는 모습입니다.
첫 고객은 네비우스입니다
그록 3 LPX를 처음 도입하는 AI 클라우드로 네비우스가 지목됐습니다. 유럽에 기반을 둔 GPU 클라우드 사업자입니다.
첫 고객이 대형 하이퍼스케일러가 아니라 전문 클라우드라는 점은 눈여겨볼 만합니다. 새 칩은 대개 물량보다 검증이 급한 곳부터 들어갑니다.
실제 서비스에 얹혔을 때 벤치마크 수치가 얼마나 유지되는지는 이런 초기 도입처의 사용기에서 먼저 드러납니다.
같은 날 두 번째 발표 — 스페이스X AI와 베라 CPU
두 번째 보도자료는 스페이스X AI가 엔비디아 베라 CPU를 도입해 차세대 에이전트 워크로드를 돌린다는 내용입니다.
엔비디아는 이 칩을 「에이전트를 위해 만든 첫 CPU」라고 표현했습니다. GPU가 아니라 CPU라는 점이 이 발표의 핵심입니다.
스페이스X AI는 자사 모델 그록을 위한 인프라를 기가와트 규모로 키우는 중이며, 그 확장에 베라 루빈 플랫폼을 쓴다고 밝혔습니다.
베라 CPU는 어떤 칩인가 — 올림푸스 코어 88개
베라 CPU에는 엔비디아가 직접 설계한 올림푸스 코어가 88개 들어갑니다. 인텔이나 AMD의 x86 계열이 아니라 자체 설계 코어입니다.
엔비디아가 CPU를 직접 만드는 흐름은 그레이스 CPU에서 이미 시작됐습니다. 베라는 그 계보를 잇되 에이전트 작업을 겨냥해 다듬은 세대입니다.
코어 개수 자체는 서버용 x86 최상위 제품과 비슷한 수준입니다. 차이는 개수가 아니라 메모리를 붙이는 방식에 있습니다.
초당 1.2테라바이트 LPDDR5X
베라 CPU는 LPDDR5X 메모리를 쓰고, 대역폭은 초당 1.2테라바이트라고 밝혔습니다.
LPDDR은 원래 휴대전화에 들어가던 저전력 메모리 계열입니다. 서버용 CPU가 이 계열을 쓰는 것은 몇 년 전만 해도 흔한 선택이 아니었습니다.
이유는 전력과 대역폭입니다. 데이터센터에서 전력은 곧 비용이고, 같은 전력으로 더 많은 데이터를 옮길 수 있으면 그만큼 GPU를 더 돌릴 수 있습니다.
x86 대비 1.8배라는 주장
엔비디아는 에이전트 AI와 강화학습, 데이터 처리 작업에서 x86 CPU 대비 최대 1.8배 빠른 작업 완료를 낸다고 밝혔습니다.
「최대」라는 단어가 붙어 있으니 모든 작업에서 그렇다는 뜻은 아닙니다. 제조사 자체 측정치이기도 합니다.
다만 방향은 분명합니다. CPU 성능을 범용 연산이 아니라 에이전트 워크로드 기준으로 홍보하는 것 자체가 최근에 생긴 변화입니다.
왜 에이전트에 CPU가 다시 중요해졌나
엔비디아 설명에 따르면 에이전트 애플리케이션은 모델 호출 사이사이에 CPU를 씁니다. 도구를 부르고, 코드를 실행하고, 데이터를 다듬고, 시뮬레이션을 돌리는 일입니다.
이 부분은 GPU가 하지 않습니다. 그런데 이 부분이 느리면 GPU는 다음 일감을 기다리며 놀게 됩니다.
비싼 GPU를 쉬게 만드는 병목이 CPU라면, CPU에 투자하는 것이 GPU를 더 사는 것보다 싸게 먹힙니다. 베라의 존재 이유가 여기에 있습니다.
모델 호출과 호출 사이의 시간
에이전트 한 번의 작업을 시간 축에 늘어놓으면 계산 구간과 대기 구간이 번갈아 나타납니다.
모델이 「이 파일을 읽어야겠다」고 판단하는 순간부터 실제 파일을 읽어 다시 모델에게 건네기까지는 GPU가 할 일이 없습니다.
에이전트가 도구를 많이 쓸수록 이 빈틈이 늘어납니다. 엔비디아가 CPU를 앞세운 것은 이 빈틈을 줄이면 전체 시간이 줄어든다는 계산입니다.
그록과 기가와트급 인프라 확장
스페이스X AI는 자사 모델 그록을 위한 AI 인프라를 기가와트 규모로 확장하는 중이라고 밝혔습니다.
기가와트는 발전소 단위입니다. 데이터센터 이야기를 하면서 전력 단위를 쓰는 것 자체가 지금 AI 인프라의 성격을 보여 줍니다.
칩을 몇 장 샀는지가 아니라 전기를 얼마나 끌어올 수 있는지가 규모의 척도가 됐습니다.
스타마인드 — 궤도 위의 NVL72
두 번째 보도자료에는 눈에 띄는 대목이 하나 더 있습니다. 스페이스X AI가 엔비디아 가속 컴퓨팅을 우주로 확장할 계획이라는 부분입니다.
1세대 스타마인드 AI 위성이 최적화된 베라 루빈 NVL72 시스템을 기반으로 한다고 밝혔습니다.
데이터센터 랙 한 벌을 위성에 실어 올린다는 구상입니다. 계획 단계의 발표이므로 실제 발사와 운용은 별개로 지켜봐야 합니다.
우주 데이터센터라는 발상
우주에 연산 장비를 두자는 아이디어의 논거는 전력과 냉각입니다. 궤도에서는 태양광이 끊기지 않고, 열은 복사로 버릴 수 있습니다.
반대로 어려움도 분명합니다. 우주 방사선은 반도체 오류를 일으키고, 고장이 나도 사람이 갈 수 없습니다.
그래서 이 발표는 당장의 제품이라기보다 방향 선언에 가깝습니다. 다만 스페이스X가 발사체를 가진 회사라는 점은 다른 기업의 같은 구상과 무게가 다릅니다.
실제 사례: 에이전트가 느려지는 지점
코딩 에이전트에게 「이 저장소에서 버그를 찾아 고쳐 줘」라고 시킨다고 해 봅시다.
에이전트는 파일 목록을 읽고, 몇 개를 열어 보고, 검색을 돌리고, 테스트를 실행하고, 결과를 보고 다시 생각합니다. 이 사이클이 수십 번 반복됩니다.
실제로 답답한 순간은 모델이 생각하는 동안이 아니라 테스트가 돌아가는 동안, 검색 결과를 기다리는 동안입니다. 오늘 발표된 두 칩은 정확히 이 두 구간을 각각 겨냥합니다.
한국 이용자에게 무엇이 달라지나
당장 우리가 쓰는 서비스가 오늘 빨라지지는 않습니다. 양산 개시는 제품이 고객에게 들어가기 시작한다는 뜻이고, 서비스에 반영되기까지는 시간이 걸립니다.
체감이 오는 경로는 클라우드입니다. 국내 기업이 쓰는 해외 AI 클라우드가 이런 구성을 도입하면 응답 지연이 줄어듭니다.
다만 같은 날 전해진 대로 메모리 값이 오르며 AI 서버 가격도 오르는 중입니다. 빨라지는 것과 싸지는 것은 당분간 같이 오지 않을 가능성이 큽니다.
남은 물음표 — 벤치마크와 실사용의 거리
오늘 나온 숫자는 대부분 제조사 발표이거나 특정 조건의 벤치마크입니다. 실사용 환경에서 얼마나 유지되는지는 아직 알 수 없습니다.
특히 여러 사용자가 동시에 붙는 상황에서의 지연은 단독 측정과 크게 다릅니다.
네비우스 같은 초기 도입처의 실제 서비스 수치가 나오면 그때 다시 판단할 수 있습니다. 지금은 방향만 확인해 두면 충분합니다.
핵심 정리
엔비디아가 8월 24일 두 건을 동시에 발표했습니다. 추론 전용 가속기 그록 3 LPX 양산 개시와, 스페이스X AI의 베라 CPU 도입입니다.
LPX는 SRAM 500메가바이트와 초당 150테라바이트 대역폭으로 토큰 생성 속도를 겨냥하며, 젬마 4 31B 기준 초당 3,400토큰이 제시됐습니다. 첫 고객은 네비우스입니다.
베라 CPU는 올림푸스 코어 88개와 초당 1.2테라바이트 LPDDR5X를 갖췄고, x86 대비 최대 1.8배를 주장합니다. 스페이스X AI는 이를 그록 인프라에 쓰고, 나아가 NVL72 기반 스타마인드 위성까지 언급했습니다.
두 발표를 관통하는 주제는 하나입니다. 에이전트 시대의 병목은 계산량이 아니라 기다림이라는 것입니다.
참고하실 만한 것
AI 에이전트를 업무에 붙여 보고 싶은데 어디서부터 손대야 할지 모르겠다면, 우선 지금 하는 일에서 기다리는 구간을 적어 보시면 좋습니다. 오늘 기사에서 보셨듯 개선의 여지는 대개 거기에 있습니다.
SVIL 연구소는 저시력 접근성 도구와 AI 워크플로우를 함께 만들고 있습니다. 블로그의 다른 글에서 실제 파이프라인을 어떻게 짰는지 정리해 두었으니 함께 보셔도 좋겠습니다.
구축이나 협업에 관해 이야기 나누고 싶은 분은 아래 연락처로 편하게 연락 주세요.
출처
- NVIDIA Newsroom — NVIDIA Groq 3 LPX Now in Full Production With World-Class Speed for Agentic AI (2026-08-24)
- NVIDIA Newsroom — SpaceXAI Adopts NVIDIA Vera CPU to Accelerate Agentic AI at Massive Scale (2026-08-24)
- NVIDIA — Groq 3 LPX: Inference Accelerator for Agentic AI (제품 페이지)
- SiliconANGLE — Nvidia dedicated inference accelerator Groq 3 LPX enters full production (2026-08-24)
- NVIDIA Blog — Vera Arrives: NVIDIA First CPU Built for Agents Lands at Top AI Labs
- StorageReview — SpaceXAI Adopts NVIDIA Vera CPUs for Grok, With a Vera Rubin NVL72 Bound for Orbit in Starmind
- Wccftech — NVIDIA Enters Full Production of Groq 3 LPX AI Inference Accelerator Chips
- GlobeNewswire — NVIDIA Groq 3 LPX Now in Full Production (보도자료 원문, 2026-08-24)
협업문의 : kuroicode@gmail.com
블로그 : https://blog.svil.dev/
홈페이지 : https://svil.dev/