AI 뉴스 SVIL 엔비디아 NVIDIA 네모트론 Nemotron NeMo Switchyard 에이전트 AI 모델 라우팅 오픈소스

엔비디아가 모델을 골라 주는 라이브러리를 열었습니다 — 네모트론 3.5 라이트닝과 니모 스위치야드

SVIL - Singularity Visual Intelligence Lab 2026. 08. 11 13 min read

같은 날 두 개가 나왔는데, 진짜 뉴스는 두 번째입니다

엔비디아(NVIDIA)가 2026년 8월 11일 두 가지를 함께 공개했습니다. 하나는 네모트론 3.5 라이트닝(Nemotron 3.5 Lightning)이라는 오픈소스 모델이고, 다른 하나는 니모 스위치야드(NeMo Switchyard)라는 오픈소스 라우팅 라이브러리입니다.

헤드라인은 대부분 모델 쪽을 잡았습니다. 그런데 이번 발표에서 판을 바꿀 여지가 큰 쪽은 라이브러리입니다. "어떤 모델을 쓸까"를 사람이 아니라 소프트웨어가 매 요청마다 결정하게 만드는 도구이기 때문입니다.

네모트론 3.5 라이트닝은 어떤 모델인가

300억 파라미터 규모의 전문가 혼합(MoE, Mixture of Experts) 모델입니다. 무료이고 오픈소스이며, PC의 그래픽카드 한 장에서 돌아갑니다.

겨냥한 용도가 분명합니다. 범용 대화가 아니라 여러 에이전트가 협업하는 시스템 안에서 특정 작업을 맡는 것입니다. 오래 도는 에이전트 작업에서 정확하고 빠르게 특화 작업을 처리하는 데 초점을 맞췄습니다.

칠흑 속을 매우 빠르게 휘어져 지나가는 길고 밝은 청록빛 잔상 궤적 — 4배 빨라진 출력 속도를 표현한 개념 이미지

전문가 혼합(MoE)이 무슨 뜻인가

보통의 모델은 질문 하나를 처리할 때 파라미터 전체를 다 씁니다. MoE는 다릅니다. 내부를 여러 전문가 덩어리로 나눠 두고, 들어온 요청에 맞는 몇 개만 깨워서 씁니다.

그래서 전체 크기는 300억이어도 한 번 계산할 때 실제로 도는 양은 훨씬 적습니다. 이 구조가 "그래픽카드 한 장에서 돈다"는 결과를 만들어 냅니다.

성능 수치

엔비디아가 제시한 숫자는 두 가지입니다. 동급 모델 대비 출력 속도 최대 4배, 작업 완료 시간 30% 단축입니다.

주의할 점은 "동급 모델 대비"라는 조건입니다. 최상위 프런티어 모델을 이겼다는 뜻이 아니라, 비슷한 크기대에서 빠르다는 뜻입니다. 이 모델의 역할은 1등이 아니라 잘 쓰이는 부품입니다.

어두운 정육면체들이 둥글게 늘어선 가운데 단 하나만 강렬한 청록빛으로 빛나는 모습 — 전문가 혼합 구조에서 일부만 활성화되는 방식을 표현한 개념 이미지

이제 니모 스위치야드 이야기입니다

스위치야드는 모델 라우터를 만드는 오픈소스 라이브러리입니다. 하는 일을 한 문장으로 줄이면, 에이전트 작업 흐름의 각 단계마다 가장 적합하고 비용 효율이 좋은 모델로 요청을 자동으로 보냅니다.

구현은 러스트(Rust)로 된 프록시 겸 라이브러리입니다. 여러 제공사에 걸쳐 요청을 분배하고, 오픈AI 방식 API와 앤스로픽 방식 API 사이를 번역하고, 운영 지표를 기록하고, 타입이 정해진 조합 가능한 라우팅 알고리즘을 제공합니다.

왜 이게 필요해졌나 — 에이전트의 비용 구조

에이전트는 한 번 물어보고 끝나지 않습니다. 계획을 세우고, 도구를 부르고, 결과를 보고, 다시 시도합니다. 이 과정에서 모델 호출이 수십 번에서 수백 번 일어납니다.

그런데 그 호출이 전부 어려운 건 아닙니다. 어떤 단계는 정말 판단력이 필요하고, 어떤 단계는 형식만 맞추면 됩니다. 전부 최고급 모델로 처리하면 쉬운 단계에까지 비싼 값을 치릅니다.

평평하게 놓인 매끈한 어두운 판 안쪽에서 짙은 청록빛이 배어 나오는 모습 — 그래픽카드 한 장 안에서 도는 모델을 표현한 개념 이미지

랭체인의 실측 — 74% 절감

가장 눈에 띄는 숫자는 랭체인(LangChain)에서 나왔습니다. 145건의 다중 턴 딥에이전트 작업에서 비용을 74% 낮췄습니다.

방법은 단순합니다. 전체 호출 중 7%만 프런티어 모델로 보내고 나머지는 저렴한 모델이 처리했습니다. 대가는 정확도 6% 하락이었습니다. 공짜가 아니라는 뜻이고, 이 교환비를 받아들일지는 용도에 따라 갈립니다.

램프의 실측 — 58% 절감, 33% 단축

핀테크 기업 램프(Ramp)의 결과는 성격이 다릅니다. 자체 SWE-Bench(소프트웨어 엔지니어링 벤치마크)에서 프런티어 모델과 같은 성능을 유지하면서 비용을 58%, 실행 시간을 33% 줄였습니다.

랭체인 사례가 "정확도를 조금 내주고 비용을 크게 줄인" 것이라면, 램프 사례는 성능 손실 없이 줄인 것입니다. 작업 종류에 따라 라우팅의 효과가 다르게 나온다는 점을 보여 줍니다.

작고 밝은 청록빛 구체가 훨씬 크고 어두운 구체 옆에 나란히 놓여 있는 모습 — 작은 모델과 대형 모델의 대비를 표현한 개념 이미지

엔비디아 자체 벤치마크

엔비디아 내부 측정에서는 몇 개의 오픈 모델과 앤스로픽 오퍼스 4.8을 섞은 스위치야드 구성이 프런티어급 정확도를 유지하면서 작업 완료 비용을 오퍼스만 쓸 때의 약 3분의 1로 낮췄습니다.

자사 도구를 자사가 측정한 수치라는 점은 감안해야 합니다. 다만 비교 대상으로 경쟁사 최상위 모델을 명시했다는 점에서 검증 가능한 형태로 낸 셈입니다.

라우팅이 실제로 하는 판단

라우터가 보는 것은 대략 세 가지입니다. 이 요청이 얼마나 어려운가, 어느 모델이 이 유형을 잘 하는가, 그리고 얼마가 드는가입니다.

여기서 중요한 것은 판단이 요청 단위로 일어난다는 점입니다. "이 프로젝트는 A 모델로 간다"가 아니라 "이번 호출은 A, 다음 호출은 B"입니다. 사람이 손으로 조율하기 어려운 세밀함입니다.

하나의 매끈한 어두운 정육면체에서 세 갈래 청록빛 빔이 각기 다른 각도로 뻗어 나가는 모습 — 요청이 서로 다른 모델로 분배되는 라우팅을 표현한 개념 이미지

제공사를 넘나든다는 점

스위치야드는 오픈AI 형식과 앤스로픽 형식 API를 서로 번역합니다. 이 기능이 뜻하는 바가 큽니다. 한 워크플로 안에서 여러 회사 모델을 섞어 쓸 수 있다는 것입니다.

지금까지는 한 제공사에 맞춰 코드를 짜면 옮기기가 번거로웠습니다. 번역 계층이 표준화되면 모델을 부품처럼 갈아 끼우는 방식이 현실적인 선택지가 됩니다.

엔비디아가 왜 이걸 무료로 푸나

얼핏 이상해 보입니다. 비싼 모델 호출을 줄이는 도구를, 비싼 칩을 파는 회사가 공짜로 내놓았습니다.

이유를 짚어 보면 앞뒤가 맞습니다. 라우팅이 퍼지면 작은 모델을 자기 하드웨어에서 직접 돌리는 수요가 늘어납니다. 엔비디아가 파는 것은 API 토큰이 아니라 그 모델이 도는 그래픽카드입니다. 클라우드 API 의존이 줄고 로컬·온프레미스 추론이 늘수록 유리한 위치입니다.

비스듬히 길게 늘어선 어두운 정육면체들 가운데 끝부분의 하나만 밝은 청록빛으로 빛나는 모습 — 전체 호출 중 7%만 프런티어 모델로 보내는 구조를 표현한 개념 이미지

어디서 받을 수 있나

니모 스위치야드는 깃허브에 공개되어 있습니다(NVIDIA-NeMo/Switchyard). 네모트론 3.5 라이트닝도 오픈소스로 배포됩니다.

엔비디아는 더 많은 파트너 연동이 준비 중이라고 밝혔습니다. 이미 콩(Kong), 라이트LLM(LiteLLM), 누스 리서치(Nous Research), 케이던스(Cadence), 지멘스(Siemens)가 자사 플랫폼에서 통합하거나 벤치마크를 돌리고 있습니다.

매끈한 어두운 정육면체가 한 줄로 갈라져 열리며 그 틈에서 밝은 청록빛이 새어 나오는 모습 — 오픈소스 공개를 표현한 개념 이미지

실제 사례 ① 라우터는 새로운 개념이 아닙니다

모델 라우팅 자체는 2026년 들어 이미 여러 도구가 나와 있는 영역입니다. 엔비디아도 이전에 LLM 라우터 블루프린트를 냈고, 랭체인 진영에도 비용 인식 라우터 구현이 있습니다.

이번 발표가 다른 점은 대형 하드웨어 회사가 표준을 노리고 내놓았다는 것, 그리고 주요 기업들의 실측 수치를 함께 냈다는 점입니다. 개념 검증 단계에서 운영 도구 단계로 넘어가는 신호로 보입니다.

다섯 개의 매끈한 어두운 블록이 짧은 청록빛 막대로 차례차례 이어져 사슬을 이루는 모습 — 에이전트 워크플로의 단계별 연결을 표현한 개념 이미지

실제 사례 ② 작은 모델을 부품으로 쓰는 흐름

같은 주에 메타도 그래픽카드 한 장에서 도는 300억 파라미터 오픈 가중치 모델을 냈습니다. 방향이 겹칩니다. 거대 모델 하나로 전부 처리하는 방식에서, 작은 모델 여러 개를 조합하는 방식으로 무게가 옮겨 가고 있습니다.

이 흐름에서 병목은 모델 성능이 아니라 조합을 관리하는 층입니다. 스위치야드 같은 도구가 나오는 자리가 정확히 거기입니다.

칠흑 속에 넓고 짙은 청록빛 띠와 아주 가늘고 희미한 청록빛 띠가 나란히 놓인 모습 — 비용과 정확도 사이의 교환 관계를 표현한 개념 이미지

실제 사례 ③ 개인·소규모 팀에게 주는 의미

이 도구가 대기업 전용은 아닙니다. 오히려 비용에 민감한 1인 개발자와 소규모 팀에게 효과가 클 수 있습니다. 로컬 그래픽카드가 있다면 쉬운 단계는 집에서 돌리고, 어려운 단계만 유료 API로 보내는 구성이 가능해집니다.

다만 라우터를 붙인다고 자동으로 절감되는 것은 아닙니다. 어느 작업이 쉬운지 판단하는 기준을 각자 워크로드에 맞게 잡아야 하고, 그 튜닝에 시간이 듭니다.

흩어져 있던 여러 개의 청록빛 고리가 서로 미끄러져 들어와 하나의 큰 고리로 합쳐지는 모습 — 여러 파트너의 통합을 표현한 개념 이미지

저시력 사용자 관점에서 본 의미

접근성 도구를 만들 때 늘 부딪히는 벽이 응답 지연과 사용량 한도입니다. 화면 낭독이나 이미지 설명은 자주, 짧게, 많이 호출되는 유형이라 호출당 비용이 그대로 사용 빈도 제약이 됩니다.

라우팅이 자리 잡으면 이런 가볍고 반복적인 요청은 로컬 소형 모델이 맡고, 복잡한 문서 이해 같은 요청만 큰 모델로 보내는 구성이 쉬워집니다. 접근성 기능을 아껴 쓰는 기능이 아니라 늘 켜 두는 기능으로 만드는 데 도움이 되는 방향입니다.

매끈한 어두운 정육면체를 중심으로 청록빛이 사방으로 넓게 퍼져 나가는 모습 — 오픈소스 도구가 생태계로 확산되는 것을 표현한 개념 이미지

주의해서 볼 부분

몇 가지는 아직 확인이 필요합니다. 첫째, 정확도 6% 하락이 어떤 작업에서 어떻게 나타나는지는 사례마다 다릅니다. 코드 생성에서 6%와 의료 문서 요약에서 6%는 무게가 다릅니다.

둘째, 라우팅 계층 자체가 새 장애 지점이 됩니다. 라우터가 잘못 판단하면 원인을 추적하기가 단일 모델보다 어렵습니다. 셋째, 벤치마크 수치 대부분이 엔비디아와 파트너가 낸 것이라 독립 검증이 아직 없습니다.

핵심 정리

세 가지로 줄이면 이렇습니다.

첫째, 네모트론 3.5 라이트닝은 그래픽카드 한 장에서 도는 300억 파라미터 MoE 모델로, 동급 대비 출력 속도 최대 4배·작업 완료 30% 단축을 내세웁니다.

둘째, 니모 스위치야드는 요청마다 적합한 모델을 자동으로 고르는 오픈소스 라우팅 라이브러리이고, 제공사가 다른 API 사이를 번역합니다. 깃허브에 공개돼 있습니다.

셋째, 실측 절감치는 랭체인 74%(프런티어 모델 호출 7%, 정확도 6% 하락), 램프 58%(성능 유지, 실행 시간 33% 단축), 엔비디아 내부 약 3분의 1(오퍼스 4.8 단독 대비)입니다.

마무리

AI 도구 이야기가 그동안 "어느 모델이 제일 똑똑한가"에 몰려 있었다면, 이번 발표는 "어느 모델을 언제 쓰는가"로 질문을 옮겨 놓습니다. 실무에서 돈과 시간을 실제로 줄이는 건 대체로 후자예요.

SVIL 연구소는 AI 뉴스를 저시력 사용자도 편하게 읽을 수 있도록 큰 글씨와 쉬운 설명으로 정리하고 있습니다. 직접 써 보고 싶은 도구나 더 자세히 다뤄 줬으면 하는 주제가 있으면 알려 주세요.

출처

협업문의 : kuroicode@gmail.com
블로그 : https://blog.svil.dev/
홈페이지 : https://kuroicode-beep.github.io/svil-homepage/