LLM Wiki

Kimi K3

Properties3
descriptionMoonshot AI가 2026년 7월 공개한 2.8T 파라미터 오픈웨이트 MoE 모델 — 1M 컨텍스트·네이티브 비전·KDA 어텐션.
tagsai-models, moonshot, kimi, open-source, agentic
aliases키미 K3, Kimi-K3

6 min read

Moonshot AI가 2026년 7월 16일 공개한 2.8조(2.8T) 파라미터 규모의 오픈웨이트 혼합전문가(MoE) 모델. 오픈 모델 중 세계 최초로 “3T급”에 도달했으며, 코딩·에이전트형 지식 노동·장기 실행 추론을 겨냥한다. 제품·API는 공개 시점부터 이용 가능하고, 전체 가중치는 2026년 7월 27일 공개 예정이다. 상하이 세계인공지능대회(WAIC) 직전에 출시돼 “제2의 딥시크 쇼크”로 불리는 시장 반응을 낳았다.

전작 시리즈는 kimi-k2 / kimi-k2-7-code 참고. 자세한 발표 정리는 2026-07-19-pytorchkr-kimi-k3. 다만 “제2의 딥시크 쇼크” 프레임 자체에는 반론이 있다 — 강정수는 이번 건이 저가 충격이 아니라 에이전틱 AI에서 기업이 실제로 쓸 수 있는 품질에 도달했다는 신호라고 본다 (2026-07-25-kimi-k3-china-us-ai-gap).

핵심 스펙

항목내용
개발사Moonshot AI (베이징, Alibaba 투자)
파라미터2.8T (MoE, 토큰당 896개 전문가 중 16개 활성화)
컨텍스트1,000,000 토큰
멀티모달네이티브 비전 (스크린샷·영상 입력)
추론상시 “thinking mode”
모델 IDkimi-k3
가중치 공개2026-07-27 예정
자체 호스팅64+ 가속기 슈퍼노드급 인프라 전제

아키텍처

이전 세대 K2 대비 스케일링 효율을 약 2.5배 높였다고 문샷은 설명한다.

  • Kimi Delta Attention (KDA): 하이브리드 선형 어텐션. 일반 어텐션의 비용 프로파일 없이 긴 시퀀스를 처리하는 효율 어텐션 기반.
  • Attention Residuals (AttnRes): 잔차 연결(residual connection)의 대체재. 이전 깊이의 표현을 모두 누적하는 대신 선택적으로 검색.
  • Stable LatentMoE / Gated MLA: 희소 전문가 연산과 어텐션 선택성 관리.
  • Quantile Balancing / Per-Head Muon: 학습 안정화 — 전자는 라우터 점수 분위수로 전문가 배분, 후자는 어텐션 헤드를 독립 최적화.
  • QAT: MXFP4 가중치 + MXFP8 활성값의 양자화 인식 학습.

벤치마크

수치는 출처가 엇갈린다는 점에 유의 — 사람 선호도 기반 프론트엔드에서는 1위, 고난도 연구 수학에서는 크게 뒤진다.

벤치마크점수비고
Code Arena: Frontend1,679 (1위)Fable 5(1,631)·GPT-5.6 Sol(1,618) 제침 — 중국 모델 최초 1위
GDPval-AA v21,687 (3위)Fable 5 Max(1,815)·GPT-5.6 Sol Max(1,747.8) 다음, Opus 4.8(1,600) 앞
FrontierMath Tier 4~39%연구자급 최고난도 수학 — 약점 (Epoch AI 집계)
GPQA Diamond93.5%
Terminal-Bench 2.188.3%
BrowseComp91.2%에이전트형 웹 탐색
DeepSWE / ProgramBench67.5 / 77.8코딩 (문샷 자체 보고)
HLE (도구 사용)56.0%Humanity’s Last Exam

문샷 자체 보고 수치와 제3자 집계(Code Arena·Epoch AI)를 구분해 읽어야 한다. 상당수 코딩 지표는 문샷이 제시한 값이다.

가격 (Kimi API, 100만 토큰당)

구분가격
입력 (캐시 적중)$0.30
입력 (캐시 미적중)$3.00
출력$15.00

주목받은 사례

  • 48시간 자율 칩 설계: 오픈소스 EDA 도구만으로 자기 자신의 소형 버전을 구동할 칩을 처음부터 설계·최적화·검증. 4mm²에 표준 셀 146만 개, 시뮬레이션상 초당 8,700+ 토큰. 반도체 업계가 주목한 실험이지만 문샷이 소개한 자체 사례이며 독립 재현은 아니다.
  • 과학 연구 재현: 천체물리 I-Love-Q 관계식을 20편 이상 논문 교차검증으로 재현.
  • 수요 급증으로 문샷은 신규 구독을 일시 중단했다.

왜 중요한가

Kimi K3는 오픈웨이트 생태계가 규모뿐 아니라 긴 컨텍스트·멀티모달·희소 MoE·에이전트형 실행을 함께 확장하는 흐름을 보여준다. 다만 “오픈”은 2026-07-27 가중치 공개 예정이라는 약속과, 현재 이용 가능한 상용 제품/API를 구분해 읽어야 한다. 2.8T 규모와 슈퍼노드 인프라 요구 때문에 개인 개발자의 직접 실행보다는 API·서빙 프레임워크 활용이 현실적이다.

관련 페이지

백링크