정의
Weight-space programming은 신경망의 weights를 읽고 쓸 수 있는 프로그램으로 다루는 접근이다. backpropagation이나 Adam·Muon 같은 optimizer로 학습시키는 대신, LLM(편집자)이 추론으로 각 부분이 무엇을 계산하는지 알아낸 뒤 weights를 직접 바꾼다. 무엇을 바꿀지는 경사하강법이 아니라 편집자의 분석이 정하고, 프롬프트와 달리 모델 파일 자체가 바뀐다.
용어는 MIT CSAIL의 글 「Sparks of Weight-Space Programming」(2026-11-02)에서 퍼졌다. 이 글은 앞으로 신경망 weights를 단순한 optimizer가 아니라 weights에 대해 숙고하는 LLM이 직접 최적화하게 될 것이라고 주장한다(2026-11-08-ai-frontier-ep122-slope-matters). AI Frontier 대담에서는 이를 “학습이 아니라 수동 뇌 수술”이라고 불렀다.
기존 방법과 무엇이 다른가
| 방법 | 무엇이 바뀌나 | 무엇이 변화를 정하나 | 남는 것 |
|---|---|---|---|
| 프롬프트·컨텍스트 | 입력만 | 사람·에이전트가 쓴 글 | 모델은 그대로 |
| fine-tuning(SFT·RL) | weights 전반 | 손실 함수의 gradient | 학습 데이터에 맞춰진 모델 |
| weight-space programming | weights 일부(대개 1% 미만) | 편집자 LLM의 분석과 시행착오 | 수술받은 모델 파일 |
2026-11-16-ai-frontier-ep123-unknown-future에서 최승준은 이를 “backprop 없는 SFT”라고 요약했다. 박종현의 결론도 fine-tuning을 넘어서는 무언가라기보다 예전에 잘 못하던 fine-tuning 방법을 하나 찾은 것에 가깝다는 것이다.
대표 결과
MIT CSAIL 글은 능력을 READ, FIX, IMPROVE 세 가지로 보여 줬다(2026-11-08-ai-frontier-ep122-slope-matters).
- READ: 17,253개 weights만 보고 어떤 게임으로 학습한 네트워크인지 맞혔다(Breakout, 99% 확신).
- FIX: 장애물을 못 넘던 주행 정책의 weights 3.5%를 한 번에 고쳐 성공률을 0%에서 100%로 올렸다.
- IMPROVE: 학습 없이 Python 커널로 weights를 고쳐 Qwen3.5-0.8B의 MATH-500을 7.9%에서 48.1%로 올렸다. GPT-6 Astra가 weights 0.016%를 고쳐 GSM8K를 13.8에서 67.1로 올린 결과도 함께 인용된다(2026-11-16-ai-frontier-ep123-unknown-future).
수학 성능이 오른 이유는 새 능력이 생겨서가 아니라, Qwen이 같은 단계를 반복하며 다음으로 못 넘어가던 꼬인 부분을 풀었기 때문으로 설명된다. 저자들도 **“모델에 없던 능력을 더할 수는 없었다”**고 적었다.
같은 문제를 탐색이 아니라 최적화로 푸는 변형도 나왔다. 반복 추론을 줄이는 weight 수정을 **선형 계획법(LP)**으로 찾아, 약 8시간 걸리던 탐색을 최적화 1회당 약 1분으로 줄였다. weights의 약 8분의 1을 바꾸고도 GSM8K·MATH-500·IFEval 성능은 노이즈 수준으로 유지됐다고 한다(2026-11-12-geeknews-digest).
어떻게 동작하나
편집자가 부동소수점 배열을 읽자마자 수술하는 것은 아니다. 노정석은 이를 신경외과의 각성 수술에 비유한다. 병변 위치를 모르면 환자를 깨워 대화하며 부위를 찾듯, 편집자도 바깥에서 입력을 넣어 보며 어느 뉴런이 활성화되는지 관찰하고 거기에 맞춰 고친다. 고친 뒤에는 다시 돌려 평가하고, 다른 곳을 고치는 루프를 반복한다.
박종현의 지식 주입 실험(2026-11-16-ai-frontier-ep123-unknown-future)에서 드러난 구조는 다음과 같다.
- 넣을 문제 200개를 풀리며 뉴런 활성을 기록한다.
- 평소 거의 쓰이지 않던 뉴런을 고른다.
- 그 뉴런을 특정 질문이 들어오면 켜지는 **질문 감지기(기억 소자)**로 재배선하고, 켜지면 정답 쪽으로 출력을 민다.
처음부터 이 방식에 도달하지는 못했다. Fable 5.2는 행렬을 통째로 덮어쓰다 네 번 실패했다. 주입과 보존을 동시에 얻지 못했기 때문이다. 5차에서 덜 쓰이는 뉴런 614개를 재배선하자 둘 다 얻었다. GPT-6 Astra도 8번째 후보에서 같은 구조에 도달했다.
최승준은 두 능력을 구분한다. weights만 보고 어떤 circuit이 있는지 아는 능력보다 직접 쓰는 능력이 오히려 쉽다. 쓰는 쪽은 규칙으로 하는 프로그래밍이지만, 거대한 네트워크 안에서 회로의 의미를 이해하는 일은 훨씬 어렵다. 결정론적 코드를 네트워크로 옮기는 일은 더 기계적이다. 그는 lambda calculus, Bytebeat, shader 코드를 ReLU 네트워크의 weights에 구웠고, 그 bytecode를 만드는 compiler까지 네트워크 안에 넣었다. Qwen3.5 안의 RNN을 정확한 RAM처럼 써서 RISC-V CPU를 구현한 Qwenputer도 같은 계열이다.
실험이 보여 준 한계
박종현의 두 실험(Qwen3.5 삼국지 지식 주입, MiniMax H3 이미지 모델 이중섭 화풍)과 실험 노트에서 나온 교훈이다.
- 외우게는 했지만 가르치지는 못했다. 주입한 200문제 정답률은 3%에서 94.5
100%가 됐지만, 안 본 문제는 0.4% 그대로였다. 같은 사실을 다른 문장으로 물으면 26.740%만 맞혔다. 들어간 것은 지식이 아니라 문답 쌍이다. - fine-tuning 부작용도 그대로 따라온다. 일반 질문의 답 유지율이 66.7%(Fable)와 82%(Astra)로 떨어졌다. 화풍 편집에서도 수묵화와 무관한 프롬프트까지 누렇게 물들었다.
- 작은 편집이 아니라 좁은 편집이다. 바뀐 값은 0.6%뿐이지만 감지 행렬의 변화량은 원래 크기의 2.8배(Fable), 30배(Astra)였다.
- 어느 층을 고치느냐가 성격을 정한다. 중간 층(19층) 편집은 뒤 층을 거치며 퍼지고, 마지막 층(23층) 편집은 출력만 바꿔 기존 답을 더 잘 지켰다.
- 고친 자리에 따라 프롬프트와 다를 바 없을 수 있다. Fable은 텍스트가 들어오는 projection 한 텐서만 고쳐 “수묵화” 토큰이 화풍 묘사어처럼 읽히게 했다. 사실상 프롬프트를 가중치로 옮긴 것이라 점수도 묘사 프롬프트와 같았다(CLIP 유사도 0.741 대 0.739). 여러 층에 색과 통계를 수치로 넣은 Astra만 묘사 프롬프트를 넘었다(0.776).
- 양자화된 층은 편집이 남지 않는다. 4비트 층은 두 편집자 모두 최종본에서 고치지 않았다. 다시 4비트로 저장하면 작은 편집이 사라지기 때문이다.
- 검증할 수 없는 목표는 편집자의 눈에 달려 있다. 화풍처럼 정답이 없는 과제는 결과가 원하는 쪽에 가까운지 판단하는 visual understanding이 병목이다.
해석을 둘러싼 논쟁
- 새 능력인가, 끌어내기인가. RL·GRPO 때와 같은 질문이 반복된다. 지금까지의 결과는 pre-training에 있던 능력을 끌어내거나 문답을 외우게 하는 쪽에 가깝다.
- 새로운 일인가. SAE 이전 mechanistic-interpretability 기법을 Python 도구로 돌린 것이니 놀랍지 않다는 평가절하도 있다. 최승준은 기법보다 LLM이 그 일을 스스로 해낸다는 점이 거시적으로 놀랍다고 본다. Nick Cammarata의 「Neural Networks Are Already Clean」처럼 agent swarm으로 회로의 기능을 밝히는 정렬 연구와도 맞닿아 있다.
- scaling되는가. 실험 대상은 0.8B~9B급 작은 모델이다. 대형 모델 일반 능력으로 일반화할 근거는 아직 없다.
- 사람이 이해할 수 있는가. 편집 과정을 따라가 봐도 사람은 이해하기 어렵지만 LLM은 이해하는 듯 보인다. “하기는 했지만 이해는 못 한다”는 감각이 대담 참여자들 사이에 공유된다.
왜 주목하나
- 하네스가 모델 안으로 들어온다. Noam Brown은 하네스의 기능이 결국 모델 안의 역량으로 포섭된다고 말했다. 계산과 검증을 weights에 직접 굽는 이 흐름이 그 말을 부분적으로 증명한다는 읽기가 있다.
- continual-learning의 후보. 지금은 상호작용하며 weights를 업데이트하는 일이 너무 비싸다. 이 방식이 효율적이 되면, 대화에서 알게 된 사실을 모델에 반영하는 새로운 경로가 될 수 있다. 박종현은 이를 “지켜볼 만한 후보”로 둔다.
- 연구의 진입 비용이 무너졌다. 대학원생 시절 6개월 걸렸을 환경 구축과 실험을 RTX 5090 한 장과 코딩 에이전트로 이틀 만에 했다. 노정석은 10년 전 논문감이던 일이 “딸깍” 토이가 됐다고 말한다. recursive-self-improvement가 말하는 AI가 AI 연구를 가속하는 흐름의 한 사례다.
결과를 읽는 법
- 주입 성공률만 보지 않는다. “안 본 문제”, “같은 사실 다른 문장”, “기존 답 유지율”, “프롬프트만 바꾼 대조군”을 함께 본다.
- 편집 비율과 편집 크기를 구분한다. “0.016%만 고쳤다”는 범위가 좁다는 뜻이지 변화가 작다는 뜻이 아니다.
- 모델 크기를 확인한다. 작은 모델의 극적인 수치를 frontier급 모델의 일반 능력으로 옮겨 읽지 않는다.
- 배포 형태를 확인한다. 양자화해 다시 저장하면 편집이 사라질 수 있다.
관련 노트
- 2026-11-08-ai-frontier-ep122-slope-matters — 개념 첫 소개. MIT CSAIL의 READ·FIX·IMPROVE, 각성 수술 비유, Qwenputer
- 2026-11-16-ai-frontier-ep123-unknown-future — 박종현의 지식 주입·화풍 실험, 실험 노트의 교훈, continual learning 연결
- 2026-11-12-geeknews-digest — 선형 계획법으로 weight 수정을 찾는 변형
- recursive-self-improvement — AI가 AI 연구·개선을 가속하는 더 큰 흐름
- mechanistic-interpretability — 이 기법의 읽기 쪽. 어디를 고칠지 찾는 해석 도구와 사례
- continual-learning — 이 기법이 후보로 거론되는 더 큰 문제. 모델·하네스·컨텍스트 3계층
- post-training-alignment — RLHF·RLVR 등 gradient 기반 사후 학습과의 비교 기준