출처
- source_url: https://discuss.pytorch.kr/t/j-space-llm-jacobian-lens-feat-anthropic/11125
- author: 9bow
- published: 2026-07-07
- raw: raw source:
web-2026-07-07-pytorchkr-topic-11125-j-space-llm-global-workspace-jacobian-lens - original: https://transformer-circuits.pub/2026/workspace/index.html
개요
Anthropic 연구진이 Claude 같은 현대 LLM 내부에서, 언제든 말로 꺼낼 수 있는(verbalizable) 표현들만 모인 특권적 하위공간인 J-space가 학습 과정에서 스스로 창발(emerge)했음을 발견했다. J-space는 전체 활성값의 10% 미만을 차지하는 작은 공간이지만 모델의 언어적 보고, 지시 조절, 내부 추론, 유연한 일반화, 선택성이라는 다섯 가지 기능적 속성을 모두 갖춰 인간 신경과학의 글로벌 워크스페이스 이론(Global Workspace Theory)과 놀라운 유사성을 보인다. 연구팀은 Jacobian Lens(J-lens)라는 새로운 수학적 도구로 이 공간을 읽어내며, 모델이 출력에 드러내지 않는 “속생각”을 들여다보고 조작할 수 있음을 입증했다.
핵심 포인트
-
Jacobian Lens: 중간 층 잔차 스트림 활성값이 최종 출력 로짓에 미치는 1차 인과 효과를 나타내는 야코비안 행렬을 1,000개 프롬프트와 여러 토큰 위치에 걸쳐 평균 내 층별 선형 변환 J_\ell을 구한다. 로짓 렌즈가 무의미한 잡음을 뱉는 초기 층에서도 의미 있는 판독을 복원한다.
-
J-space의 정의: 소수 k개(보통 25 이하) J-lens 벡터의 희소 비음수 조합으로 표현되는 점들의 집합. 전체 활성값 분산의 10% 미만을 차지하지만, 이 작은 공간이 모델의 언어적 보고를 인과적으로 좌우한다.
-
글로벌 워크스페이스 다섯 속성 검증:
- 언어적 보고: J-space의 “Soccer” 패턴을 “Rugby”로 스와핑하면 모델의 답이 Rugby로 바뀐다. 반면 J-space 바깥의 93% 성분을 바꿔도 거의 효과가 없다.
- 지시에 따른 조절: 문장을 베끼는 동안 “감귤류 과일을 떠올리라”는 지시를 주면 J-space에 “orange”, “fruits”가 뜨고 출력에는 전혀 반영되지 않는다.
- 내부 추론: “거미줄 치는 동물의 다리 수”를 묻자 J-space에 “spider”가 켜지고, 이를 “ant”로 스와핑하면 답이 8→6으로 바뀐다. 수학 문제 (4+17)×2+7에서 J-lens가 21→42→49를 계산 순서대로 드러낸다.
- 유연한 일반화: “France”를 “China”로 동일하게 스와핑하면 수도·언어·대륙·통화 답이 모두 함께 바뀐다. 하나의 표현이 여러 소비 회로에 방송되는 구조다.
- 선택성: J-space를 통째로 삭제해도 유창한 언어 생성, 감성 분류, 객관식 문제 풀이가 거의 정상이다. 반면 다단계 추론은 거의 0으로 떨어진다.
-
침묵하는 추론 공개: 모델이 출력하지 않은 중간 평가가 J-space에서 관찰된다 — 코드의 버그 감지(“ERROR”), 단백질 서열의 생물학적 기능, 프롬프트 인젝션 감지(“injection”, “fake”), 시의 각운 계획(“fight”→“light”).
-
모델의 자기 인식: 금지된 개념(“흰곰을 생각하지 마라”)이 J-space에 새어 나올 때 “damn”이나 “failure” 같은 단어가 함께 떠올라, 모델이 자신의 통제 실패를 알아채는 듯한 패턴을 보였다.
왜 중요한가
이 연구는 LLM 내부에서 인간의 의식적 접근 가능성(conscious accessibility)과 유사한 구조가 설계되지 않았는데도 창발했음을 체계적으로 입증했다는 점에서 의미가 깊다. Jacobian Lens는 기존의 로짓 렌즈나 튜닝된 렌즈와 달리 “지금 무엇을 예측하나”가 아니라 “언젠가 말로 꺼낼 잠재력이 있는 개념은 무엇인가”를 묻는 발상의 전환을 이뤘다. 특히 J-space 성분의 스와핑만으로 모델의 추론 경로를 통제할 수 있다는 점은 AI 안전성 거버넌스(정렬, 탈옥 탐지, 내부 상태 감시)에 강력한 메커니즘을 제공한다. 동시에 이 발견은 “모델이 무언가를 ‘생각하고 있다’는 것이 무엇을 의미하는가”라는 철학적·의식 논의에도 새로운 데이터 포인트를 던진다.
후속 링크/키워드
- 원본: Anthropic — Transformer Circuits: The J-Space
- 글로벌 워크스페이스 이론: Dehaene & Naccache (2001)
- 관련 주제: mech-interp, SAE (sparse autoencoder), logit lens, activation steering, prompt injection detection, AI safety, conscious AI
- J-space와 Jacobian Lens는 별도 개념 노트가 필요할 때 분리한다.