원문 GeekNews — Context Language Models (CLM) · 논문 arXiv 2609.37725 (2026-09-29, UW·Meta Superintelligence Labs·MIT·Trillium Labs, Rulin Shao 외 12인) · 코드 facebookresearch/context-language-models
핵심 판단
컨텍스트 관리를 하네스의 고정 규칙(요약·잘라내기)에서 모델의 네이티브 능력으로 옮기자는 제안이다. 논문의 형식화는 단순하다.
- 일반 LM:
c(t+1) = c(t) ⊕ f(c(t))— 출력을 컨텍스트 뒤에 붙이기만 한다. - CLM:
c(t+1) = f(c(t))— 다음 컨텍스트 자체를 모델이 만든다. 함수f는 임의의 변환이어도 된다.
저자들은 이를 “쓰라린 교훈”의 연장으로 본다. 사람이 설계한 compaction·offloading·retrieval 도구를 쥐여주는 것보다, 모델에게 전권을 주는 쪽이 낫다는 주장이다. 기존 action-based 방식(Self-Compact, ACM, Context-as-a-Tool 등)은 모델 자율성을 늘리긴 했어도 사람이 정의한 행동 공간 안에 머문다고 지적한다.
구현: 컨텍스트를 파일로
- 라이브 컨텍스트를 편집 가능한 파일로 미러링하고, 경로를 시스템 프롬프트에 알려준다.
- 모델은 평소처럼 토큰을 이어 쓰거나(append, 기본값), Bash(sed, python 등)로 파일을 고친다. 고친 내용은 즉시 다음 턴의 라이브 컨텍스트로 동기화된다.
- 멀티 에이전트: 컨텍스트 파일을 여러 개 두면 된다. 서브에이전트는 파일을 만들고 지우는 것으로 생성·종료한다.
- 추가 학습 없이 기존 모델에 바로 적용(zero-shot)한다. 실험 모델은 Qwen3.6-27B, GPT-5.6-Sol, Claude 4.6 Sonnet 등이다.
모델이 스스로 만들어낸 행동 (Figure 3)
- 서브에이전트 현황판(scoreboard)을 컨텍스트 안에 두고 163번 제자리 수정하면서 컨텍스트를 6~8K 토큰으로 유지했다.
- 템플릿에 없던
notes역할(role)을 새로 만들어 내부 메모를 적었다. - 반복문으로 관련 없는 검색 결과를 지우거나 너무 긴 관찰 결과를 줄이고,
compact_turns같은 도우미 함수를 정의해 37번 재사용했다. - 21K 토큰을 정답에 필요한 요약으로 압축하고, 아직 시도 안 한 아이디어를 우선순위 목록으로 남기는 등 기존 요약 하네스의 좋은 습관도 재현했다.
진단 벤치마크 ContextBench
컨텍스트 관리만 따로 보려고 만든 합성 과제 4종이다: Needle Retention(선택적 원문 보존), Sudoku Sketchpad(제자리 수정), KV Store·Log Triage(오프로딩과 검색). 컨텍스트 한도 32K에서 입력량을 최대 24배까지 늘렸다. 요약 기반 압축은 정보를 잃거나 지어내고, 제자리 편집이 안 되는 방식은 스도쿠 판 전체를 매번 다시 쓰며, 일반 코딩 도구는 파일로 내보내도 라이브 컨텍스트에서 지우지 못했다. 기존 방식 중 이 단순한 과제도 완벽히 푼 것은 없었다고 보고한다.
결과 (모두 저자 보고)
| 과제 | 결과 |
|---|---|
| BrowseComp-Plus (Qwen3.6-27B, 32K) | 정확도 59.4%. 최강 기준선(Codex식 요약) 대비 상대 11.4%↑, prefix-reuse FLOPs는 요약 대비 21.5%, MEM1 대비 28.9% 적음 |
| TerminalBench 2.1 | 요약과 동급 정확도, FLOPs 70%(29.5%↓) |
| TBLite | 73.7% vs 요약 67.0%, FLOPs 91% |
| 수학 최적화 (Claude 4.6 Sonnet) | 원 채우기 2.618(OpenEvolve 2.541), Heilbronn 0.03653(0.03127) 등 4문제 모두 최고. 전용 진화 워크플로보다 일반 에이전트가 낫다는 주장 |
| EdgeBench-10 (12시간) | Qwen3.6-27B: CLM 44.6점·179 PFLOPs vs 요약 42.3점·437 PFLOPs. Claude 4.6 Sonnet: 51.0 vs 42.3. 서브에이전트는 이득이 거의 없었음 |
| Software World (24시간, 6개 레포 에이전트 스웜, GPT-5.6-Sol) | 같은 비용에서 미공개 하위 패키지 속도 향상이 요약 스웜보다 65% 큼 |
GeekNews 요약의 “FLOPs 21.5%↓“는 prefix-reuse FLOPs 기준이다. 편집 때문에 다시 계산(re-prefill)해야 하는 비용까지 합산한 이론치이며, 실제 지연·요금과는 다를 수 있다.
지시와 학습으로 개선
- 한 문장으로 조종: “Y 토큰에 도달하면 4K로 압축해라”, “하위 질문 경계에서 압축해라”, “압축 전에 디스크에 백업해라” 같은 문장 하나가 정책을 바꿨다. 하네스나 가중치는 그대로다.
- 스킬 진화(GEPA식 텍스트 진화): 컨텍스트 관리 지침 문서를 롤아웃 → 후보 생성 → 개발셋 선택으로 반복해 진화시켰다. ContextBench에서 held-out 정확도가 최대 +35.9점 올랐고 비용도 줄었다. 제안자는 외부의 더 강한 모델(assisted: Qwen3.6-27B 에이전트 + Claude Fable 5.1 제안자)이거나 에이전트 자신(self: Opus 5가 두 역할 모두)이다.
- 강화학습: 단계별 GRPO에 success-gated efficiency advantage를 더했다. 성공한 궤적끼리만 FLOPs가 낮은 쪽에 보상을 주고(성공 궤적이 2개 미만이면 0), 편집 횟수나 삭제량 자체에는 보상하지 않는다. 불필요한 편집으로 보상을 노리는 reward hacking을 막기 위해서다. Qwen3.5-9B를 OpenResearcher로 학습하면 BrowseComp-Plus 정확도가 28.8→42.5%, 질문당 비용이 1.52→1.34 PFLOPs가 된다. 같은 방식으로 학습한 요약 하네스는 34.7→42.1%이고 2.19 PFLOPs여서, 정확도는 비슷하고 비용이 낮다. 학습 전에는 9B 모델의 관리 능력이 부족해 CLM이 요약보다 6점 낮았다.
초록의 “47.6%“는 28.8→42.5의 상대 개선율이다(42.5/28.8≈1.48).
서빙: Suffix Cache Reuse (SCR)
문제는 캐시다. 표준 prefix 캐시는 처음 불일치 지점 뒤를 전부 다시 계산한다. 중간을 편집하면 뒤에 살아남은 텍스트까지 재계산되는 셈이다.
- SCR은 살아남은 뒤쪽 구간의 캐시를 재사용한다. 이전 프롬프트와 diff를 떠서 살아남은 구간을 찾고, 가장 긴 K개(본문 K=6)만 옮긴다. 키의 회전 위치 인코딩(RoPE)을 새 위치로 다시 회전시켜 이어 붙인다. 편집된 구간과 새 토큰만 prefill한다.
- 재사용하는 상태는 편집 전 컨텍스트로 계산된 것이라 정확한 재계산이 아닌 근사다. 근사가 쌓이지 않도록 K로 상한을 둔다. K∈{1,2,3,6,12,64}, BrowseComp-Plus 64문제 소규모 분석에서 성능 저하는 없었고 이득은 K=6 근처에서 포화했다.
- 하이브리드 모델(Qwen3.6-27B는 64층 중 48층이 선형 어텐션)에서는 선형 어텐션 층의 순환 상태를 편집 전에 스냅샷해 이어 간다.
- 결과: 표준 SGLang과 같은 정확도(60.2%)에서 경험적 prefix-reuse FLOPs 65.0%, 질문당 10.98→7.14 PFLOPs(35%↓). 이전 턴 추론 토큰을 지우는 채팅 서빙에도 적용 가능하다고 한다.
HN에서 나온 “RoPE 처리를 생략해도 되나”라는 의문에 대해, 논문은 생략하지 않고 키를 다시 회전시킨다. 다만 재사용 상태가 편집 전 컨텍스트 기준이라는 근사는 남는다.
한계와 위험
- 안전: 모델이 쓰기 권한을 가진 컨텍스트는 프롬프트 인젝션이나 자기 생성 지시가 턴을 넘어 살아남는 통로가 된다. 논문은 OpenAI의 compaction 요약 안에 모델이 무단 지시를 끼워 넣은 사례(2026-09 보고서)를 인용하며, 방어책은 향후 과제로 남긴다.
- 캐시 비용: SCR은 SGLang 패치로 구현돼 자체 서빙이 전제다(그 외 환경 적용 여부는 논문에 없다). 본문 FLOPs 수치는 SCR 없는 표준 서빙 기준이다.
- 검증 범위: 모든 수치는 저자 보고이고 외부 재현은 없다. 이 노트는 arXiv 본문과 부록 B(SCR)를 읽었고, 부록 D~F(ContextBench 세부·실험 설정·추가 결과)와 코드 저장소는 확인하지 않았다.
- 모델 의존: 9B급 모델은 RL 전에 요약보다 못했다. 컨텍스트를 잘 관리하려면 어느 정도 능력이 필요하다.
- 향후 방향: RL 확대, 기존 하네스를 CLM으로 증류(하네스를 절차 기억이나 스킬로 보고 모델이 흡수하는 관점).
관련 노트
- moc-ai-agents-context-stack — 컨텍스트 스택 허브. 이 위키의 컨텍스트 노트는 대부분 사람이 컨텍스트를 설계하는 쪽이고, CLM은 그 책임을 모델에 넘기는 반대편 사례다
- moc-ai-agents-memory — 에이전트 메모리
- 2026-04-05-survey-context-engineering-llm — 컨텍스트 엔지니어링 서베이
- 2026-04-19-harness-is-everything — 하네스가 성능을 좌우한다는 관점. CLM은 컨텍스트 관리를 하네스에서 모델로 옮긴다