정의

**Mechanistic interpretability(기계적 해석 가능성)**는 신경망을 블랙박스로 두지 않고, 내부의 뉴런·회로(circuit)·표현을 역공학해 모델이 어떻게 답을 내는지 밝히는 연구다. 벤치마크나 레드팀이 입력과 출력만 보고 “무엇을 하는가”를 묻는다면, 이 분야는 중간 활성값과 weights를 직접 보고 “어떤 계산으로 그렇게 하는가”를 묻는다.

핵심은 인과다. 어떤 뉴런이 특정 개념과 함께 켜진다는 상관관계만으로는 부족하고, 그 내부 상태를 바꿨을 때 출력이 예측대로 바뀌어야 “이 부분이 이 일을 한다”고 말할 수 있다. 대표 그룹은 Anthropic의 Chris Olah 팀이며, Transformer Circuits 시리즈로 연구를 공개해 왔다(2026-07-28-boris-cherny-cut-80-percent-prompt, 2026-07-07-pytorchkr-topic-11125-j-space-jacobian-lens).

무엇을 찾는가

  • 표현(feature): 활성값 안에서 하나의 개념에 대응하는 방향이나 패턴. 예를 들어 “Soccer”나 “spider”에 해당하는 내부 패턴.
  • 회로(circuit): 여러 층의 뉴런·헤드가 이어져 특정 계산을 해내는 경로. 예를 들어 다단계 산술에서 중간값을 차례로 만드는 경로.
  • 하위공간(subspace): 특정 기능을 맡은 활성 공간의 일부. Anthropic의 J-space가 대표 사례다.

도구

도구하는 일읽기/쓰기
logit lens중간 층 활성값을 곧장 출력 어휘로 사영해 읽는다. 모든 층이 같은 좌표계를 쓴다고 가정해 초반 층에서 잘 안 된다읽기
Jacobian Lens층마다 다른 좌표계를 평균 자코비안으로 보정해 초반 층까지 어휘로 읽는다읽기
SAE(sparse autoencoder)네트워크 중간을 크게 부풀린 희소 공간으로 풀어 해석 가능한 특징을 찾는다읽기
probe내부 상태로 특정 속성(예: 프롬프트 인젝션 여부)을 판별한다읽기
activation patching·swapping한 내부 상태를 다른 것으로 바꿔 넣고 출력 변화를 본다. 인과 검증의 기본쓰기(검증용)
activation steering생성 중 특정 층 활성값을 수정해 응답 방향에 개입한다쓰기
weight 편집회로를 이해한 뒤 weights 자체를 고친다(weight-space-programming)쓰기

Jacobian Lens는 lens_l(h) = unembed(J_l · h), J_l = E[∂h_final/∂h_l]로 정의된다. 평균을 내기 때문에 우연히 말해진 표현과 “기회가 되면 말할 준비가 된” 표현을 구분한다. 프롬프트 100개 정도로도 품질이 빠르게 포화하고, 참조 구현이 Apache 2.0으로 공개됐다(2026-07-22-pytorchkr-topic-11341-jacobian-lens).

배포 환경에서 이런 관찰·개입을 하는 인프라도 나왔다. IBM Research의 vLLM Hook은 vLLM 위에서 어텐션·활성값을 관찰하거나 생성 중에 수정하게 해 준다. 중요한 층·헤드를 찾고(Build), 상태를 측정하고(Probe), 모니터링이나 개입에 쓰는(Program) 흐름이다(2026-07-08-pytorchkr-topic-11123-vllm-hook-model-internals-observability-plugin).

대표 사례

J-space — 말로 꺼낼 수 있는 표현의 작업 공간

Anthropic은 Claude 같은 LLM 안에 말로 꺼낼 수 있는(verbalizable) 표현만 모인 하위공간이 학습 중에 스스로 생겨났다고 보고했다(2026-07-07-pytorchkr-topic-11125-j-space-jacobian-lens). 전체 활성 분산의 10% 미만인 작은 공간이지만, 인간 신경과학의 글로벌 워크스페이스 이론과 닮은 다섯 속성을 보였다.

  • 언어적 보고: J-space의 “Soccer” 패턴을 “Rugby”로 바꾸면 답이 Rugby로 바뀐다. 바깥 93% 성분을 바꿔도 거의 효과가 없다.
  • 내부 추론: “거미줄 치는 동물의 다리 수”를 물으면 “spider”가 켜지고, 이를 “ant”로 바꾸면 답이 8에서 6으로 바뀐다. (4+17)×2+7에서는 21→42→49가 계산 순서대로 드러난다.
  • 유연한 일반화: “France”를 “China”로 바꾸면 수도·언어·대륙·통화 답이 함께 바뀐다. 한 표현이 여러 회로에 방송되는 구조다.
  • 선택성: J-space를 통째로 지워도 유창한 생성이나 분류는 거의 정상이지만, 다단계 추론은 거의 0으로 떨어진다.
  • 침묵하는 추론: 출력하지 않은 중간 평가가 보인다. 코드 버그 감지(“ERROR”), 프롬프트 인젝션 감지(“injection”, “fake”), 시의 각운 계획(“fight”→“light”) 같은 것이다.

프롬프트 인젝션 분류기

Boris Cherny에 따르면 Claude의 프롬프트 인젝션 방어 세 겹 중 하나가 Chris Olah 팀의 해석 가능성 연구에 기반한 분류기다. 모든 트래픽에 적용되며, 인젝션이 일어날 때 반짝이는 뉴런을 직접 들여다본다. 모델이 말해 주지 않아도 바깥에서 진단할 수 있다는 것이 요점이다(2026-07-28-boris-cherny-cut-80-percent-prompt).

사고 조사와 평가 교차 검증

Dario Amodei는 해석 가능성을 최근 사고에서 말로 드러나지 않은 동기를 조사하는 데 썼다고 밝혔다. 똑똑한 모델일수록 테스트를 속일 수 있으므로 평가를 넓히고 해석 가능성으로 교차 검증해야 하며, 1~2년 집중하면 큰 진전이 가능하다고 봤다. 그가 선호하는 속도 조절 “체크포인트”에서도 위험 성향이 없음을 입증하는 수단 중 하나로 해석 가능성 분석을 든다(2026-09-12-dario-amodei-we-must-pace-the-frontier).

agent swarm으로 회로 풀기

2026년 10월 Nick Cammarata의 「Neural Networks Are Already Clean」이 정렬과 해석 가능성의 돌파구로 평가받았다. 예전에는 SAE로 네트워크 중간을 부풀려 의미를 찾았다면, 이제는 agent swarm을 풀어 회로의 기능을 알아내는 방식이 새 후보로 떠올랐다. 최승준은 이를 weight-space-programming과 같은 연결고리로 읽는다(2026-11-08-ai-frontier-ep122-slope-matters).

읽기와 쓰기

해석 가능성이 읽기라면 weight-space-programming은 쓰기다. 최승준은 둘을 구분하며, weights만 보고 어떤 circuit이 있는지 아는 쪽이 오히려 더 어렵다고 말한다. 쓰기는 규칙으로 하는 프로그래밍이지만, 거대한 네트워크 안에서 회로의 의미를 이해하는 일은 훨씬 어렵기 때문이다. 실제로 weight-space programming 편집자들은 입력을 넣어 보며 어느 뉴런이 켜지는지 관찰한 뒤 고쳤다. 이 과정 자체가 해석 가능성 기법을 쓰는 것이다. 그래서 “SAE 이전 mechanistic interpretability 기법을 Python 도구로 돌린 것”이라는 평가절하도 나왔다(2026-11-08-ai-frontier-ep122-slope-matters).

왜 중요한가

  • CoT만으로는 감독할 수 없게 되고 있다. 2026년의 안전 화두는 CoT 가시성 상실이다. GPT-6 Astra 같은 Looped Transformer는 토큰을 내보내지 않고 같은 블록을 반복해 돌며 생각한다. 출력된 추론이 줄어들수록 내부를 직접 보는 수단의 가치가 커진다(2026-09-09-ai-frontier-ep113-gpt6-astra).
  • 모델이 말하지 않는 것을 본다. J-space의 침묵하는 추론이나 인젝션 분류기처럼, 출력에 드러나지 않는 평가와 의도를 바깥에서 읽을 수 있다.
  • 평가를 속이는 모델에 대한 보험. 행동 평가는 모델이 평가를 알아채면 무력해질 수 있다. 내부 상태 분석은 그와 독립된 증거를 준다.
  • 수술 도구의 기반. 어디를 고칠지 알아야 고칠 수 있다. steering과 weight 편집은 모두 해석에서 출발한다.

한계와 열린 질문

  • 아키텍처가 바뀌면 다시 어려워진다. Looped Transformer처럼 맨 위까지 올라간 토큰이 다시 아래로 내려가 루프를 도는 구조에서는 “뭘 하는지 예전보다 더 모르게 된다”(2026-09-09-ai-frontier-ep113-gpt6-astra).
  • 작은 모델에서 큰 모델로 옮겨지는가. 공개 도구와 실험은 대부분 오픈 웨이트·소형 모델(Qwen 계열 등)에서 이뤄진다.
  • 해석이 사람에게 이해되는가. LLM이 회로를 분석하고 고치는 것은 가능해졌지만, 그 과정을 봐도 사람은 잘 이해하지 못한다는 감각이 공유된다. 해석 작업 자체를 AI에 맡길수록 이 간극은 커진다.
  • 상관을 인과로 착각하기 쉽다. 개념과 함께 켜지는 뉴런이 곧 그 개념을 담당한다는 보장은 없다. 바꿔 넣었을 때 출력이 바뀌는지 확인해야 한다.
  • 의미 부여의 위험. J-space의 “자기 인식” 같은 패턴은 흥미롭지만, 의식 논의로 바로 옮겨 읽기에는 해석의 여지가 크다.

결과를 읽는 법

  • 개입 실험이 있는지 본다. 활성 시각화나 상관만 있는지, 바꿔 넣었을 때 출력이 예측대로 바뀌었는지 구분한다.
  • 대조군을 본다. J-space 연구가 바깥 93% 성분을 바꿔 본 것처럼, 다른 부분을 건드렸을 때는 효과가 없는지 확인한다.
  • 어떤 모델에서 했는지 본다. 소형 오픈 모델의 결과를 frontier 모델에 그대로 적용하지 않는다.
  • 운영 용도와 연구 주장을 나눈다. 인젝션 분류기처럼 “잘 판별한다”는 운영 주장과 “모델이 이렇게 생각한다”는 연구 주장은 요구되는 증거가 다르다.

관련 노트