알리바바가 27B 모델을 통째로 풀었습니다 — 큐원 3.8, 그래픽카드 한 장에 들어가는 멀티모달
AI 뉴스 SVIL 알리바바 큐원 Qwen 오픈웨이트 로컬 AI 아파치 2.0

알리바바가 27B 모델을 통째로 풀었습니다 — 큐원 3.8, 그래픽카드 한 장에 들어가는 멀티모달

SVIL - Singularity Visual Intelligence Lab 16 min read

어제까지만 해도 "내 컴퓨터에서 돌릴 만한 좋은 모델"을 고르는 일은 선택지가 별로 없는 문제였습니다. 그런데 8월 14일 하루 만에 그 목록이 다시 쓰였습니다. 알리바바가 큐원 3.8-27B를 아파치 2.0 라이선스로 공개했거든요. 가중치를 그냥 받아서 쓰라는 뜻입니다.

암흑 속에 홀로 떠 있는 거대한 검은 정육면체의 모든 모서리가 청록빛으로 빛나는 모습 — 통째로 공개된 모델 하나를 표현한 개념 이미지

하루 만에 판이 바뀌었습니다

로컬에서 돌리는 모델의 경쟁은 지난 몇 달 동안 조용히 달아올랐습니다. 메타가 오랜 침묵을 깨고 오픈웨이트로 돌아왔고, 중국 쪽에서도 가중치를 푸는 곳과 잠그는 곳이 갈렸습니다. 그 사이에 알리바바가 던진 것이 큐원 3.8-27B입니다.

중요한 건 크기입니다. 270억 개 규모라는 건 "연구소에서만 돌리는 모델"과 "개인이 가진 그래픽카드 한 장에 올릴 수 있는 모델" 사이의 경계선에 정확히 걸쳐 있습니다.

무엇이 공개됐나 — 한 문장 요약

한 문장으로 줄이면 이렇습니다. 270억 개 규모의 덴스 모델인데, 이미지도 보고, 26만 토큰이 넘는 문서를 한 번에 읽고, 코딩 평가에서 같은 체급의 경쟁 모델을 상당한 차이로 앞섰으며, 라이선스가 아파치 2.0이다.

이 네 가지가 동시에 성립하는 모델은 지금까지 드물었습니다. 보통은 하나를 얻으면 하나를 잃었습니다.

검은 정육면체가 한 직선을 따라 갈라지고 그 틈에서 강한 청록빛이 새어 나오는 모습 — 가중치 공개를 표현한 개념 이미지

8월 14일 오후 3시(UTC), 정확히 무슨 일이

공개 시각은 협정세계시 기준 8월 14일 15시입니다. 한국 시간으로는 8월 15일 자정 무렵이었습니다. 허깅페이스에 가중치가 올라갔고, 모델 카드에 벤치마크 수치가 함께 붙었습니다.

같은 날 알리바바는 2조 4천억 개 규모의 큐원 3.8-맥스 계열도 함께 정리해 내놨습니다. 다만 그쪽은 API로만 쓰는 모델이고, 오늘 이야기의 주인공은 내려받아 쓰는 27B 쪽입니다.

아파치 2.0이라는 말의 무게

라이선스 이야기를 지루하게 느끼실 수 있지만, 여기서는 이게 핵심입니다. 아파치 2.0은 상업적으로 써도 되고, 고쳐도 되고, 고친 것을 다시 배포해도 됩니다. 사용자 수 제한도, 매출 상한도 없습니다.

같은 "오픈"이라는 말을 붙여도 조건이 붙는 라이선스가 많습니다. 어제 다뤘던 사례처럼 성능은 공개하면서 가중치는 끝내 안 푸는 경우도 있고요. 그래서 아파치 2.0 한 줄이 실무에서는 성능 수치 몇 점보다 크게 작용할 때가 있습니다.

중앙의 검은 정육면체에서 똑같은 작은 정육면체들이 사방으로 흩어져 나가는 모습 — 자유로운 재배포를 표현한 개념 이미지

27B인데 28B — 파라미터 숫자부터 정리

이름에는 27B가 붙어 있지만 실제 파라미터 수는 280억 개에 가깝습니다. 이름의 숫자는 대략적인 체급 표시에 가깝고, 정확한 수치는 모델 카드 쪽을 봐야 합니다.

이런 어긋남은 흔합니다. 다만 메모리를 계산할 때는 이름이 아니라 실제 수치로 잡아야 나중에 안 놀랍니다.

덴스 모델이라는 선택

요즘 큰 모델은 대부분 전문가 혼합 방식을 씁니다. 전체는 거대하지만 한 번 답할 때는 일부만 깨우는 구조지요. 큐원 3.8-27B는 그 길을 안 갔습니다. 파라미터 전부가 매번 계산에 참여하는 덴스 구조입니다.

덴스는 총량 대비 성능을 뽑기는 어렵지만, 작게 만들면 다루기가 훨씬 단순합니다. 양자화도 잘 먹고, 미세조정도 예측 가능하게 굴러갑니다. 개인이 손댈 모델로는 오히려 이쪽이 편합니다.

작은 검은 정육면체들이 빈틈없이 촘촘하게 뭉쳐 하나의 큰 덩어리를 이루고 이음매마다 청록빛이 흐르는 모습 — 덴스 구조를 표현한 개념 이미지

하이브리드 어텐션이 바꾸는 것

어텐션은 모델이 "지금 어느 단어를 봐야 하나"를 정하는 장치입니다. 문서가 길어질수록 이 계산이 급격히 비싸집니다. 하이브리드 어텐션은 전 구간을 똑같이 정밀하게 보지 않고, 구간에 따라 방식을 섞어 비용을 줄입니다.

26만 토큰이라는 컨텍스트가 현실적으로 굴러가는 이유가 여기 있습니다. 구조를 바꾸지 않고 창만 늘리면 메모리가 먼저 무너집니다.

예고 없이 들어온 비전 인코더

이번 공개에서 뜻밖이었던 부분입니다. 사전 안내에는 크게 강조되지 않았는데, 열어 보니 이미지를 처리하는 비전 인코더가 들어 있었습니다. 즉 텍스트 전용이 아니라 멀티모달입니다.

같은 체급에서 "코딩도 되고 이미지도 보는" 모델이 하나로 해결된다는 건 실무에서 꽤 큽니다. 모델을 두 개 띄우면 그래픽카드 메모리는 두 배로 듭니다.

나란히 달리던 두 개의 청록빛 직선이 한 점에서 만나 밝게 빛나는 모습 — 텍스트와 이미지가 한 모델로 합쳐진 것을 표현한 개념 이미지

26만 2144 토큰 — 네이티브 컨텍스트의 의미

네이티브 컨텍스트가 262,144 토큰입니다. "네이티브"라는 말이 중요합니다. 억지로 늘린 게 아니라 학습 단계부터 그 길이를 전제로 만들었다는 뜻이거든요.

감을 잡자면, 웬만한 기술 문서 한 권이나 중간 규모 코드베이스 하나가 통째로 들어갑니다. 쪼개서 넣고 요약을 이어 붙이는 과정 자체가 사라집니다.

100만 토큰까지 늘린다는 YaRN 확장

여기에 더해 YaRN이라는 기법으로 100만 토큰까지 확장할 수 있다고 안내돼 있습니다. 다만 이건 공짜가 아닙니다. 확장 구간에서는 정확도가 조금씩 흐려지는 경향이 알려져 있고, 무엇보다 메모리가 크게 늘어납니다.

실무에서는 "된다"와 "쓸 만하다" 사이에 간격이 있습니다. 100만은 상한선으로 기억해 두고, 실제 작업은 네이티브 구간에서 잡는 편이 안전합니다.

검은 정육면체의 한 면에 청록빛 고리가 매끄럽게 박혀 있는 모습 — 모델 안에 내장된 비전 인코더를 표현한 개념 이미지

벤치마크 하나 — 터미널 벤치 2.1에서 73.0

터미널 벤치 2.1은 모델이 터미널에서 실제로 명령을 내리며 일을 끝내는지 보는 평가입니다. 여기서 73.0을 받았습니다. 직전 세대인 3.6이 63.4였으니 한 세대 만에 10점 가까이 올랐습니다.

이런 종류의 평가는 "답을 잘 쓰는가"가 아니라 "끝까지 해내는가"를 봅니다. 에이전트로 쓸 생각이라면 이 숫자가 가장 실전에 가깝습니다.

벤치마크 둘 — SWE-bench Pro에서 61.7

SWE-bench Pro는 실제 오픈소스 저장소의 이슈를 주고 고쳐 보라고 시키는 평가입니다. 61.7을 기록했고, 3.6은 53.5였습니다.

다만 이 수치는 모델 카드에 적힌 자체 보고값이고, 제3자 검증은 아직 진행 중입니다. 이 점은 뒤에서 다시 짚겠습니다.

가느다란 청록빛 광선 하나가 암흑을 가로질러 화면 양끝을 넘어 길게 뻗어 나가는 모습 — 26만 토큰 컨텍스트를 표현한 개념 이미지

벤치마크 셋 — 지시 이행과 과학 추론

지시를 정확히 따르는지 보는 IFBench에서 79.5, 대학원 수준 과학 문제를 다루는 GPQA 다이아몬드에서 89.2를 받았습니다. 자체 코딩 평가인 QwenSWEBench에서는 79.0으로, 3.6의 49.3에서 크게 뛰었습니다.

자체 평가는 당연히 유리하게 나옵니다. 그래도 세대 간 상승폭 자체는 참고할 만합니다.

메타 뮤즈 글리머 30B와의 정면 비교

이 모델의 위치를 가장 잘 보여주는 건 메타의 뮤즈 글리머 30B와의 비교입니다. 며칠 전 아파치 2.0으로 공개된, 체급도 목적도 거의 같은 상대거든요.

터미널 벤치 2.1에서 73.0 대 51.7로 20점 넘게 벌어졌습니다. 지시 이행에서 79.5 대 77.0, 과학 추론에서 89.2 대 83.5로 앞섰습니다. 특히 에이전트 성격이 강한 항목에서 격차가 컸습니다.

검은 판들이 위로 층층이 쌓이고 이음매마다 강한 청록빛이 흐르는 모습 — 컨텍스트 길이 확장을 표현한 개념 이미지

글리머 결과가 비어 있는 항목들

비교표에서 눈에 띄는 대목이 하나 더 있습니다. 알리바바가 돌린 어려운 평가 몇 개에서는 글리머 쪽 수치가 아예 비어 있습니다.

이걸 두 가지로 읽을 수 있습니다. 상대가 그 평가를 안 돌렸을 수도 있고, 유리한 항목만 골라 실었을 수도 있습니다. 발표자가 고른 표라는 점은 늘 감안하고 봐야 합니다.

큐원 3.8 맥스와는 무엇이 다른가

같은 3.8 계열이라도 맥스는 완전히 다른 물건입니다. 2조 4천억 개 규모이고, 가중치를 안 주며, API로만 씁니다. 백만 토큰당 입력 2달러, 출력 6달러 수준의 유료 서비스입니다.

반면 27B는 가중치를 받아 내 장비에 올리고, 원하면 미세조정까지 합니다. 성능의 절대치는 맥스가 높지만, 통제권은 27B가 압도적입니다.

굵고 밝은 청록빛 막대 아래에 훨씬 가늘고 흐린 막대가 놓인 모습 — 벤치마크 점수 차이를 표현한 개념 이미지

내 컴퓨터에 올릴 수 있나 — VRAM 계산

가장 궁금한 부분일 겁니다. 정밀도에 따라 필요한 그래픽카드 메모리가 이렇게 갈립니다.

  • BF16: 약 56GB — H100·H200 또는 96GB급 워크스테이션 카드
  • FP8: 약 28GB — L40S, RTX 5090급
  • 4비트: 14~17GB — RTX 4090, RTX 5090

즉 원본 정밀도로는 개인 장비에서 어렵고, 양자화를 하면 소비자용 카드 한 장에 들어옵니다.

4비트 양자화가 여는 문

4비트로 줄이면 14~17GB입니다. 24GB 카드 한 장이면 여유가 있고, 16GB 카드에서도 설정을 조이면 시도해 볼 만한 범위입니다.

양자화는 공짜가 아니라 정확도를 조금 내주는 거래입니다. 다만 요즘 방식들은 손실이 예전보다 훨씬 작아서, 일상적인 작업에서는 체감하기 어려운 수준까지 왔습니다.

멀리 떨어져 떠 있는 두 개의 검은 정육면체 중 하나만 강한 청록빛으로 빛나는 모습 — 같은 체급 두 모델의 성능 차이를 표현한 개념 이미지

KV 캐시라는 숨은 비용

위의 숫자는 가중치만입니다. 실제로 돌리면 KV 캐시가 따로 붙습니다. 모델이 앞서 읽은 내용을 기억해 두는 공간인데, 컨텍스트가 길수록, 동시 사용자가 많을수록 커집니다.

긴 문서를 물릴 생각이라면 메모리 요구가 두 배 가까이 뛸 수 있습니다. "가중치가 들어가니 되겠지" 하고 계산하면 긴 작업에서 어김없이 막힙니다.

실제 사례 — 그래픽카드 한 장으로 돌리는 로컬 에이전트

구체적으로 그려 보겠습니다. RTX 4090 한 장을 가진 개발자가 4비트 양자화본을 올립니다. 프로젝트 폴더를 통째로 컨텍스트에 넣고, 터미널 명령을 맡기고, 스크린샷을 붙여 화면 상태를 물어봅니다.

여기서 나가는 API 비용은 0원이고, 코드가 외부로 나가지도 않습니다. 몇 달 전만 해도 이 조합은 성능을 크게 포기해야 가능했습니다. 터미널 벤치 73.0이라는 숫자가 바꾼 것이 정확히 이 지점입니다.

거대한 검은 정육면체 옆에 아주 작은 정육면체가 놓이고 둘 다 청록빛 윤곽으로 빛나는 모습 — 초거대 모델과 소형 모델의 대비를 표현한 개념 이미지

실제 사례 — 저시력 환경에서 로컬 모델이 갖는 뜻

저시력 사용자에게 화면 속 정보를 말로 풀어 주는 도구는 일상 도구입니다. 그런데 그 도구가 클라우드에 붙어 있으면, 화면에 뜬 것이 은행 잔액이든 진료 기록이든 매번 밖으로 나갑니다.

이미지를 보는 모델이 내 장비 안에서 돌면 그 전제가 바뀝니다. 네트워크가 끊긴 곳에서도 쓸 수 있고, 응답 지연도 줄어듭니다. 접근성 도구에서 로컬 멀티모달이 갖는 의미는 성능표 한 줄보다 훨씬 큽니다.

오픈웨이트 경쟁의 무게중심이 옮겨갔습니다

몇 달 사이 흐름을 정리하면 이렇습니다. 메타가 오픈웨이트로 복귀했고, 중국 쪽에서는 성능은 공개하되 가중치는 잠그는 선택이 나왔으며, 알리바바는 상위 모델을 API로 팔면서 중간 체급을 아파치 2.0으로 풀었습니다.

이제 "가중치를 여느냐"보다 "어느 체급을 여느냐"가 전략이 됐습니다. 소비자 장비에 들어가는 체급을 통째로 여는 쪽이 개발자 생태계를 가져갑니다.

검은 정육면체가 세워진 판의 좁은 사각 구멍을 통과하고 구멍 테두리가 청록빛으로 빛나는 모습 — 양자화로 크기를 줄여 소비자 장비에 넣는 것을 표현한 개념 이미지

아직 검증되지 않은 것들

냉정하게 짚을 대목이 있습니다. 지금 도는 수치는 대부분 모델 카드에 실린 자체 보고값입니다. 독립적인 재현 결과는 아직 충분히 쌓이지 않았습니다.

특히 SWE-bench Pro 같은 평가는 실행 환경과 채점 방식에 따라 점수가 크게 흔들립니다. 며칠 지나 제3자 결과가 나오면 순위가 조정될 여지가 있습니다.

무엇을 조심해야 하나

세 가지만 기억하시면 됩니다.

첫째, 메모리는 가중치가 아니라 가중치 더하기 KV 캐시로 잡습니다. 둘째, 100만 토큰은 상한선이지 권장값이 아닙니다. 셋째, 벤치마크는 발표자가 고른 표라는 전제를 깔고 봅니다.

그리고 하나 더 — 아파치 2.0이라도 모델이 뱉는 결과물의 책임까지 면제되지는 않습니다. 업무에 넣을 때는 검수 절차를 함께 설계하셔야 합니다.

하나의 밝은 점에서 청록빛 동심원 고리들이 바깥으로 퍼져 나가는 모습 — 오픈웨이트 공개가 만드는 파급을 표현한 개념 이미지

핵심 정리

  • 알리바바가 8월 14일(UTC 15시) 큐원 3.8-27B를 아파치 2.0으로 공개했습니다.
  • 실제 파라미터는 280억 개에 가까운 덴스 구조이고, 비전 인코더가 들어간 멀티모달입니다.
  • 네이티브 컨텍스트 262,144 토큰, YaRN으로 100만까지 확장 가능하다고 안내됐습니다.
  • 터미널 벤치 2.1 73.0, SWE-bench Pro 61.7, GPQA 다이아몬드 89.2를 자체 보고했습니다.
  • 메타 뮤즈 글리머 30B 대비 터미널 벤치에서 20점 이상 앞섰습니다.
  • 4비트로 14~17GB — RTX 4090급 한 장에 들어갑니다. 단 KV 캐시는 별도입니다.
  • 수치는 대부분 자체 보고값이라 제3자 검증을 기다릴 필요가 있습니다.

참고하실 만한 것

내 장비에서 모델을 돌려 보실 생각이라면, 먼저 가진 그래픽카드의 메모리를 확인하고 4비트 양자화본부터 시작하시길 권합니다. 처음부터 긴 컨텍스트를 물리지 마시고, 짧은 작업으로 감을 잡은 뒤 늘리는 편이 시행착오가 적습니다.

SVIL 연구소는 로컬에서 도는 AI를 접근성 도구로 엮는 일을 계속하고 있습니다. 관련해 함께 해보고 싶은 일이 있으시면 아래 주소로 연락 주세요.

출처

협업문의 : kuroicode@gmail.com
블로그 : https://blog.svil.dev/
홈페이지 : https://kuroicode-beep.github.io/svil-homepage/