출처

개요

언어 모델의 중간 활성화는 고차원 벡터라 사람이 바로 읽을 수 없다. 기존 로짓 렌즈(logit lens)는 중간 활성화를 곧장 출력 어휘로 사영하지만, 모든 레이어가 같은 좌표계를 쓴다고 가정해 초반 레이어에서 잘 작동하지 않는다. Anthropic이 공개한 Jacobian Lens(J-lens)는 레이어마다 다른 좌표계를 보정해 이 문제를 줄인다. 연구 「Verbalizable Representations Form a Global Workspace in Language Models」의 동반 코드다.

핵심 포인트

  • 원리: lens_l(h) = unembed(J_l · h), J_l = E[∂h_final/∂h_l]. 레이어 l 활성화가 최종 활성화에 미치는 입력–출력 자코비안의 평균으로 선형 전송한 뒤 모델 자신의 언임베딩으로 디코딩한다.
  • 평균화의 의미: 웹 코퍼스의 프롬프트·소스 위치·현재와 미래의 모든 타깃 위치에 대해 평균을 내므로, 우연히 말해진 표현과 “기회가 되면 말할 준비가 된” 표현을 구분한다. 즉 활성화가 어떤 토큰을 발화할 잠재력을 담았는지 측정한다.
  • 예시: 아스키 얼굴 그림에서 코를 나타내는 ^ 위치를 보면, 프롬프트에 없던 “nose”가 중간 레이어에서 읽힌다. 모델이 그림을 공간적으로 파싱해 부위 개념을 문자 위치에 담고 있다는 뜻이다.
  • 사용: pip install -e . → jlens.from_hf로 HuggingFace 디코더를 감싸 JacobianLens.apply로 판독. 직접 학습은 jlens.fit. 논문은 128토큰 시퀀스 1,000개를 썼지만 약 100개 프롬프트로도 품질이 빠르게 포화한다. fit()을 나눠 돌린 뒤 merge()로 합칠 수 있다.
  • 범위: 예제는 Qwen 계열이며, 최적화되지 않은 참조 구현이고 유지보수·기여를 받지 않는다. 코드와 합성 프롬프트 데이터는 Apache 2.0.

왜 중요한가

로짓 렌즈를 원칙적으로 다듬어 초반 레이어까지 읽을 수 있게 한 도구라, 오픈 웨이트 모델 해석 연구의 기본 도구로 쓰일 수 있다. 연구 자체의 내용은 2026-07-07-pytorchkr-topic-11125-j-space-jacobian-lens에 정리돼 있다.

참고 링크

관련 위키

원문 보존 위치

원문 전체는 raw source: 2026-07-22-pytorchkr-topic-11341-jacobian-lens에 source_url 및 HTML 원문과 함께 저장되어 있습니다.