Kimi K3 완전 정리: 세계 첫 2.8조 파라미터 오픈 모델의 정체
2026년 7월 16일, 중국의 AI 스타트업 Moonshot AI가 Kimi K3를 공개했습니다. 불과 2주 전만 해도 세상에서 가장 큰 오픈 모델이 1조 파라미터였는데, Kimi K3는 단숨에 2.8조 파라미터로 뛰어올랐습니다. 세계 최초의 "3조 파라미터급 개방형 모델"이 등장한 겁니다. 이 글에서는 Kimi K3가 왜 대단한지, 어떤 기술이 들어갔는지, 그리고 왜 "제2의 딥시크 모멘트"라는 말까지 나오는지를 차근차근 풀어보겠습니다.
1. Kimi K3, 무엇이 대단한가
Kimi K3는 Moonshot AI의 가장 강력한 플래그십 모델로, 2.8조 개의 파라미터를 가집니다. 파라미터란 AI가 학습으로 얻은 "지식을 저장하는 손잡이" 같은 것인데, 많을수록 더 많은 지식과 미묘한 패턴을 담을 수 있습니다. 이전 모델인 Kimi K2.6의 거의 세 배에 달하는 규모로, 개방형(오픈웨이트) 모델로는 처음으로 3조 파라미터 문턱에 도달했습니다. 여기에 네이티브 비전(이미지 이해), 100만 토큰 컨텍스트, 상시 사고(always-on thinking) 기능까지 기본 탑재됐습니다. 100만 토큰이면 책 여러 권 분량을 한 번에 읽고 기억하는 수준이라, 방대한 코드 저장소나 긴 문서를 다루는 작업에 특히 강합니다.
2. 새로운 두 가지 기술: KDA와 Attention Residuals
Kimi K3가 단순한 "크기 키우기"가 아니라 새로운 방향이라고 불리는 이유는 두 가지 신규 아키텍처 때문입니다. 첫째는 KDA(Kimi Delta Attention)로, 기존의 무겁고 느린 어텐션(문맥을 계산하는 방식)을 일부 층에서 가볍고 효율적인 하이브리드 선형 어텐션으로 대체합니다. 덕분에 100만 토큰의 긴 문맥을 다루면서도 연산 비용을 크게 낮춥니다. 둘째는 Attention Residuals(AttnRes)로, 정보를 층마다 무작정 쌓아 올리는 대신 깊이에 따라 필요한 표현만 골라 꺼내 쓰는 방식입니다. 이 두 가지가 K3의 뼈대를 이루며, 어떤 다른 모델에도 존재하지 않는 새로운 설계라는 게 Moonshot의 설명입니다.
3. 초희소 MoE: 2.8조인데 실제론 1.8%만 작동
K3의 크기는 헤드라인을 장식하지만, 정말 흥미로운 부분은 그 큰 모델의 아주 일부만 한 번에 작동한다는 점입니다. K3는 MoE(Mixture of Experts, 전문가 혼합) 구조를 씁니다. 총 896명의 "전문가" 중에서 토큰 하나를 처리할 때 단 16명만 활성화됩니다. 전체의 약 1.8%만 켜지는 셈이죠. 쉽게 비유하면, 거대한 도서관에 사서 896명이 있지만 질문 하나에 딱 16명만 나서서 답하는 구조입니다. 덕분에 2.8조 파라미터의 지식을 갖추면서도 매 단계 드는 연산은 훨씬 적습니다. 여기에 Stable LatentMoE라는 안정화 기법을 더해, Kimi K2 대비 약 2.5배의 확장 효율을 달성했다고 합니다.
4. 실력은 어느 정도인가: 벤치마크로 본 위치
그렇다면 K3는 실제로 얼마나 똑똑할까요? 독립 평가기관 Artificial Analysis의 지능 지수에서 K3는 57점을 기록했는데, 비교 대상 모델들의 평균이 31점인 걸 감안하면 상당히 높은 수준입니다. 벤치마크상 K3는 Anthropic의 Opus 4.8과 OpenAI의 GPT-5.5는 앞서는 것으로 나타났습니다. 다만 가장 강력한 독점 모델들, 즉 Anthropic의 Fable 5와 OpenAI의 GPT-5.6 Sol에는 아직 못 미친다는 게 대체적인 평가입니다. Moonshot 스스로도 "전반적 성능은 최상위 독점 모델에 여전히 뒤진다"고 인정하면서도, 자사 평가 전반에서 프런티어급 성능을 꾸준히 보였다고 밝혔습니다. 한 가지 참고할 점은, K3가 답을 낼 때 다른 모델보다 훨씬 말이 많은(토큰을 많이 쓰는) 경향이 있다는 것입니다.
5. 오픈웨이트의 의미: 27일에 무슨 일이 생기나
K3에서 빼놓을 수 없는 키워드가 오픈웨이트(개방형 가중치)입니다. Moonshot은 7월 27일까지 전체 모델 가중치를 공개하겠다고 밝혔습니다. 가중치가 공개되면 누구나 모델을 내려받아 자기 컴퓨터에서 직접 돌리고, 미세조정(파인튜닝)하고, 원하는 대로 커스터마이징할 수 있습니다. 독점 모델은 회사 서버를 통해서만 쓸 수 있는 것과 대조적이죠. 다만 2.8조 파라미터 MoE를 실제로 구동하려면 상당한 하드웨어가 필요하다는 현실적 제약은 있습니다. 또 하나 주목할 점은, K3가 학습 단계부터 양자화를 고려하는 QAT(양자화 인식 훈련) 방식을 썼다는 것입니다. 처음부터 "압축돼도 품질이 덜 떨어지도록" 학습시켰다는 뜻이라, 공개 후 커뮤니티가 더 가볍게 돌릴 여지를 열어둔 셈입니다.
6. '제2의 딥시크 모멘트'가 될까
K3 공개 직후 업계에서는 "또 한 번의 딥시크 모멘트"라는 말이 나왔습니다. 지난해 중국의 딥시크가 저렴하고 효율적인 모델을 내놓자 AI 주식이 출렁였던 일을 떠올린 거죠. K3 역시 미·중 AI 경쟁 구도에 대한 논쟁과 주식 시장 심리에 영향을 줄 것으로 예상됩니다. 다만 한 가지 달라진 점이 있습니다. Moonshot은 K3의 가격을 입력 100만 토큰당 3달러, 출력 100만 토큰당 15달러로 책정했는데, 이는 "중국 오픈 모델은 무조건 10배 싸다"는 기존 공식이 깨지고 있음을 보여줍니다. 프런티어급 오픈 모델은 이제 프런티어급 비용이 든다는 신호인 셈입니다. 과거 딥시크 때처럼 "효율 때문에 연산 수요가 줄어들 것"이라는 우려가 나올 수 있지만, 실제로는 오히려 AI 연산 수요를 더 키울 거라는 전망이 우세합니다.
7. Kimi K3가 남긴 진짜 메시지
K3의 가장 큰 의미는 성능 순위 그 자체가 아닙니다. Moonshot은 지난 12개월 중 9개월 동안 오픈 모델 크기의 상한선을 자사 모델로 갱신해 왔습니다. K3는 그 흐름의 최신 정점이자, "개방형과 폐쇄형 프런티어 AI 사이의 격차가 더 이상 격차가 아니라 경쟁이 됐다"는 선언에 가깝습니다. 아직 최정상 독점 모델을 따라잡진 못했지만, 그 거리가 눈에 띄게 좁혀졌다는 게 핵심입니다. 스케일링 법칙(모델을 키우면 똑똑해진다는 원칙)이 여전히 유효하다는 것도 K3의 거대한 크기가 증명한 셈이고요. 개방형 AI가 어디까지 갈 수 있는지, K3는 그 질문에 대한 지금까지 가장 선명한 답입니다.
핵심 정리
Kimi K3는 세 가지로 요약됩니다. 첫째, 세계 첫 개방형 2.8조 파라미터급 모델로 오픈 AI의 규모 한계를 새로 썼습니다. 둘째, KDA와 Attention Residuals라는 신규 아키텍처와 1.8%만 작동하는 초희소 MoE로, 크기와 효율을 동시에 잡으려 했습니다. 셋째, 벤치마크상 Fable 5·GPT-5.6 Sol엔 못 미치지만 개방형과 폐쇄형의 격차를 눈에 띄게 좁혔고, 7월 27일 가중치 공개로 커뮤니티에 큰 파장을 예고했습니다. 오픈 AI의 판이 바뀌고 있다는 걸 K3가 보여주고 있습니다.
여러분은 어떻게 보시나요? 오픈웨이트 모델이 독점 모델을 정말 따라잡을 수 있을지, 아니면 하드웨어 장벽 때문에 결국 소수만 쓰게 될지 의견이 궁금합니다. 댓글로 자유롭게 남겨주세요!
이 포스트는 SVIL 연구소에서 최신 자료를 바탕으로 작성했습니다.