엔비디아가 모델을 골라 주는 라이브러리를 열었습니다 — 네모트론 3.5 라이트닝과 니모 스위치야드
엔비디아가 8월 11일 네모트론 3.5 라이트닝과 니모 스위치야드를 함께 공개했습니다. 하나는 그래픽카드 한 장에서 도는 300억 파라미터 MoE 모델이고, 다른 하나는 요청마다 어느 모델에 보낼지 자동으로 고르는 오픈소스 라우팅 라이브러리입니다. 랭체인 74%, 램프 58% 비용 절감이라는 실측치가 함께 나왔습니다.
엔비디아가 8월 11일 네모트론 3.5 라이트닝과 니모 스위치야드를 함께 공개했습니다. 하나는 그래픽카드 한 장에서 도는 300억 파라미터 MoE 모델이고, 다른 하나는 요청마다 어느 모델에 보낼지 자동으로 고르는 오픈소스 라우팅 라이브러리입니다. 랭체인 74%, 램프 58% 비용 절감이라는 실측치가 함께 나왔습니다.