출처
- source_url: https://aisparkup.com/posts/14826
- author: Spark
- published: Wed, 29 Jul 2026 05:12:51 +0000
- raw: raw source:
2026-07-29-aisparkup-post-14826-2-8-kimi-k3
개요
문샷AI가 2.8조 파라미터 규모의 Kimi K3 가중치와 기술보고서를 공개했으며, 가중치 파일 크기는 약 1.56TB입니다. Kimi K3는 Kimi Linear 48B를 확장한 프로덕션 모델로, LatentMoE와 Attention Residuals 등 계산 효율을 고려한 구조를 적용했습니다. 위치 임베딩을 사용하지 않는 NoPE를 전 구간에 적용하고 네이티브 멀티모달 기능도 지원합니다. 다만 상업적 이용 조건을 제한하는 라이선스를 적용해 문샷AI는 이를 ‘오픈소스’가 아니라 ‘오픈웨이트’라고 부릅니다. 일부 독립 테스트에서는 사이버보안과 복잡한 수학 문제에서 프론티어 모델 대비 약점이 보고됐으며, 증류 사용 의혹은 확인되지 않았습니다.
핵심 포인트
- Kimi K3는 2.8조 파라미터 모델이며, 공개된 가중치 파일 크기는 약 1.56TB입니다.
- Kimi Linear 48B를 기반으로 확장한 모델로, LatentMoE를 통해 대규모 선형 레이어의 계산량을 줄이는 구조를 적용했습니다.
- Attention Residuals를 사용해 레이어 간 정보 전달에 중요도 점수를 반영합니다. 원문에 따르면 학습 비용은 4%, 추론 비용은 2% 증가하지만 검증 손실과 다운스트림 성능은 개선됩니다.
- 전 구간에서 RoPE를 사용하지 않는 NoPE 방식을 채택했으며, 네이티브 멀티모달 기능도 제공합니다.
- 연매출이 12개월 연속 2천만 달러를 넘는 모델 as a service 사업자는 상업적 이용 전에 문샷AI와 별도 계약을 체결해야 합니다.
- 개인 개발자와 소규모 프로젝트에는 무료 이용이 가능하지만, 상업적 이용에 대한 제한 때문에 무제한적인 오픈소스 라이선스로 보기는 어렵습니다.
- 독립 테스트에서 사이버보안과 복잡한 수학 문제 성능이 프론티어 모델보다 낮게 나타났으며, 다른 모델 결과물의 증류 사용 의혹은 아직 확인되지 않았습니다.
왜 중요한가
Kimi K3는 거대한 파라미터 규모 자체뿐 아니라, 대규모 모델에서 계산 효율을 높이기 위한 LatentMoE·Attention Residuals·NoPE 조합을 공개했다는 점에서 연구 및 인프라 관점의 참고 사례가 됩니다. 동시에 가중치와 일부 인프라를 공개하더라도 상업적 사용 조건을 제한할 수 있어, ‘오픈웨이트’와 ‘오픈소스’의 차이를 보여주는 사례이기도 합니다. 따라서 모델을 직접 배포하거나 상업 서비스에 활용하려는 경우에는 성능뿐 아니라 라이선스의 매출 기준과 별도 계약 조건을 함께 검토해야 합니다.
참고 링크
- 원문: https://aisparkup.com/posts/14826
- 모델 가중치 및 기술보고서: https://huggingface.co/moonshotai/Kimi-K3
- Kimi K3 Architecture Notes — Sebastian Raschka: https://sebastianraschka.com/blog/2026/kimi-k3-architecture-notes.html
- 관련 분석 — Simon Willison: https://simonwillison.net/2026/Jul/27/kimi-k3/
- The Decoder 보도: https://the-decoder.com/moonshot-ai-releases-kimi-k3-open-weights-and-infrastructure-after-shaking-up-the-frontier-model-race/
관련 위키
원문 보존 위치
원문 전체는 raw source: 2026-07-29-aisparkup-post-14826-2-8-kimi-k3에 source_url 및 HTML 원문과 함께 저장되어 있습니다.