출처
- source_url: https://discuss.pytorch.kr/t/soofi-s-30b-a3b-mamba-moe/11331
- author: 9bow
- published: Tue, 21 Jul 2026 01:30:27 +0000
- raw: raw source:
2026-07-21-pytorchkr-topic-11331-soofi-s-30b-a3b-mamba-moe
개요
Soofi S 30B-A3B는 독일 연구기관 컨소시엄이 독일어·영어에 특화해 만든 주권형(sovereign) 오픈소스 파운데이션 모델이다. 오픈 모델에 남은 세 격차, 즉 가중치만 공개하는 “이름뿐인 개방성”, 독일어 과소대표, 그리고 긴 문맥에서 KV 캐시가 지배하는 배포 비용을 한 번에 겨냥했다. 약 27조 토큰 사전학습 레시피를 소스 단위로 공개했다.
핵심 포인트
- 아키텍처(Nemotron 3 Nano 그대로): 52개 계층 = Mamba-2 23 + MoE 23(128 전문가 중 6개 + 공유 2개) + GQA 6. 총 31.6B 중 토큰당 3.2B만 활성화되며, KV 캐시는 6개 계층만 유지한다. 자체 설계 대신 참조 설계를 쓴 이유는 배포성(vLLM 등에 이미 통합), 서빙 효율, 그리고 데이터 레시피 효과만 분리해 측정할 수 있는 과학적 통제다.
- 학습: 도이체 텔레콤 뮌헨 Industrial AI Cloud에서 B200 최대 512대, 약 25.3만 GPU 시간(2026-03-24~05-13). WSD 스케줄로 20T 안정 학습 → 5T 주 어닐링 → 1.58T 상수 어닐링. 최종 0.3T 어닐링은 개선이 없어 폐기했다.
- 3단계 데이터 커리큘럼: Phase 1은 다양성 중심(영어 웹 50.3%, 코드 14.6%, 독일어 7.2%, 참조의 다국어 5%보다 높음). Phase 2는 고품질 어닐링으로 독일어 비중을 15.32%까지 올렸다(“학습률이 높을 때는 넓게, 감쇠할 때는 집중”). Phase 3은 약 100B 토큰으로 최대 1M 문맥까지 확장했다.
- 개방성의 경계: OSI OSAID 1.0을 만족하고, 더 엄격한 오픈 데이터 기준에는 상업 코퍼스 Genios(Phase 1의 1.3%) 하나만 미달한다. 믹스처의 약 99%를 독립적으로 재구성할 수 있다.
- 평가: 완전 공개 모델 중 영어·독일어 최고(Olmo 3 32B 대비 영어 +2.8, Apertus 70B 대비 독일어 +6.3). 오픈웨이트 비교에서는 독일어 종합 79.1로 Gemma 3 27B·Ministral 3 14B를 앞섰지만 Qwen3.5 35B-A3B(81.6)에 뒤진다. HumanEval 73.8, MBPP-DE 84.2. 아키텍처가 같은 Nemotron 3 Nano 대비 독일어 +4.2이면서 영어도 +1.8로 퇴행이 없었다.
- 한계: 독일어 경쟁 수학(Minerva MATH-DE 56.0 vs Qwen3.5 76.5), 사실 회상(NaturalQuestions 79.0 vs Gemma 3 83.5)은 약하다. 3B 활성 용량의 제약으로, RAG로 보완할 수 있다고 본다.
- 서빙 효율: 시퀀스당 토큰당 어텐션 캐시가 약 6KB로 밀집 모델보다 11
53배 작다. 40K·배치 32에서 GPU당 4,820 TPS(Ministral 3 14B의 9.2배), TTFT 22.7초(Qwen3 32B 213.4초). 처리량이 4K256K 구간에서 거의 평평하다.
왜 중요한가
가중치 공개를 넘어 데이터·하이퍼파라미터·폐기한 실험까지 공개하는 “진짜 오픈소스”의 본보기이자, 다른 언어 공동체가 주권형 모델을 만들 때 쓸 수 있는 재현 가능한 템플릿이다. 배포 비용은 파라미터 수가 아니라 메모리 대역폭이 결정한다는 점을 수치로 보여준다.
참고 링크
- 원문: https://discuss.pytorch.kr/t/soofi-s-30b-a3b-mamba-moe/11331
- 논문: A Sovereign, Open-Source Foundation Model for German and English (arXiv) · Hugging Face: Soofi-Project · GitHub: soofi-project/Soofi-Pretraining
관련 위키
원문 보존 위치
원문 전체는 raw source: 2026-07-21-pytorchkr-topic-11331-soofi-s-30b-a3b-mamba-moe에 source_url 및 HTML 원문과 함께 저장되어 있습니다.