출처
- source_url: https://discuss.pytorch.kr/t/moba-feat-moonshotai/11324
- author: 9bow
- published: Mon, 20 Jul 2026 23:30:10 +0000
- raw: raw source:
2026-07-21-pytorchkr-topic-11324-moba-feat-moonshotai
개요
MoBA(Mixture of Block Attention)는 긴 문맥 LLM의 O(N²) 어텐션 비용을, 어디에 주목할지를 모델이 스스로 학습하게 해서 줄이는 기법이다. 전문가 혼합(MoE) 원리를 어텐션에 처음 적용했다. Moonshot AI·칭화대·저장대 연구진이 발표했고, 이미 Kimi의 긴 문맥 요청을 처리하는 실서비스에 쓰이고 있다.
핵심 포인트
- 기존 접근의 한계: 슬라이딩 윈도우·어텐션 싱크 같은 정적 패턴은 작업 편향이 강하고, Quest·MInference 같은 추론 시 동적 희소화는 학습 비용을 못 줄이며, Mamba·RWKV 같은 선형 어텐션은 구조 변환 비용이 크고 복잡한 추론 검증이 부족하다.
- “적은 구조” 원칙: 문맥을 n개 블록으로 나누고, 쿼리와 각 블록 키의 평균 풀링의 내적으로 점수를 매겨 top-k 블록만 어텐션한다. 게이팅에 학습 파라미터가 없다.
- 인과성 보존: 미래 블록은 점수를 −∞로 막고, 자기가 속한 현재 블록은 항상 보되 인과 마스크를 건다(MoE의 공유 전문가 역할).
- 일반화된 틀: 슬라이딩 윈도우는 “항상 최근 블록만 고르는 MoBA”, 어텐션 싱크는 “처음+최근 블록을 고르는 MoBA”로 볼 수 있다. 파라미터를 더하거나 빼지 않는 Full 어텐션의 대체재라서 레이어마다, 학습 도중에도 전환할 수 있다.
- 구현: 쿼리를 블록별로 재배열 → 가변 길이 FlashAttention → 원래 순서로 복원 → 현재 블록(causal)과 과거 블록(non-causal) 결과를 온라인 소프트맥스로 합친다.
- 실험: 568M~2.1B 스케일링에서 희소성 81.25%에도 검증 손실 차이 1e-3 이내, 스케일링 지수도 동일(−0.063). 블록을 잘게 쪼갤수록 성능이 좋아진다. 90%는 MoBA, 마지막 10%는 Full로 학습하는 하이브리드는 손실 급증 없이 Full과 같은 손실에 도달했다. SFT에서는 손실 마스킹으로 인한 희소 그래디언트 문제 때문에 마지막 몇 레이어를 Full로 둔다.
- Llama-8B-1M-MoBA(희소성 95.31%, 마지막 3개 레이어 Full): MMLU·GSM8K·HumanEval·LongBench·RULER@128K(0.7818 vs 0.7849)에서 Full과 거의 같고, 1M까지 Needle in a Haystack을 통과했다.
- 속도: 1M 프리필 최대 6.5배, 10M 토큰 최대 16배 빠르다. 짧은 구간(32K~512K)에서는 비슷하다.
moba_efficient가moba_naive보다 최대 40배 빠르다. - 사용과 한계: MIT,
flash-attn==2.6.3·torch>=2.1. 추가 학습 없이 끼우는 드롭인 방식이 아니라, 이어서 학습해야 가속과 성능을 함께 얻는다.
왜 중요한가
MoE가 FFN의 확장 방식을 바꿨듯, MoBA는 그 원리를 어텐션으로 옮겨 긴 문맥 처리의 비용 구조를 바꾼다. 95% 이상을 건너뛰고도 Full에 필적하며, Kimi 실서비스에서 검증됐다는 점이 강점이다.
참고 링크
- 원문: https://discuss.pytorch.kr/t/moba-feat-moonshotai/11324
- 논문: MoBA: Mixture of Block Attention for Long-Context LLMs (arXiv) · GitHub: https://github.com/MoonshotAI/MoBA
관련 위키
원문 보존 위치
원문 전체는 raw source: 2026-07-21-pytorchkr-topic-11324-moba-feat-moonshotai에 source_url 및 HTML 원문과 함께 저장되어 있습니다.