Claude 안에서 발견한 J-space, 모델 내부 사고를 읽는 새 실험

Claude 안에서 발견한 J-space, 모델 내부 사고를 읽는 새 실험

AI 뉴스 썸네일

Anthropic이 Claude 내부에서 여러 계산이 함께 참조하는 작은 표현 공간을 관찰했다고 공개했어요. 연구진은 이 공간을 J-space라고 부르고, 모델이 아직 말로 꺼내지 않은 개념 일부를 따라가는 방법까지 함께 제시했어요.

728x90

핵심 요약

구분	핵심	왜 볼 만한가요
모델 해석	Claude 내부에 J-space라는 공유 표현 공간이 관찰됐어요	모델이 답을 쓰기 전 어떤 개념을 다루는지 일부 확인할 수 있어요
연구 방법	Jacobian lens가 특정 단어와 연결된 내부 활성 패턴을 읽어요	출력 텍스트만 보는 평가보다 한 단계 안쪽을 볼 수 있어요
안전성	숨은 의도, 평가 인식, 조작 징후를 추적하는 실험이 포함됐어요	AI 에이전트 감시와 감사 도구가 어디로 갈지 보여줘요
한계	의식이나 감정을 증명한 연구는 아니에요	과한 해석보다 실험 범위와 제약을 같이 봐야 해요

1. Claude의 답변 바깥에서 움직이는 J-space

Anthropic은 Claude 내부에 J-space라는 작은 신경 패턴 집합이 있고, 이 공간이 여러 처리 과정에서 공유되는 작업대처럼 쓰인다고 설명해요. J-space에 어떤 단어와 연결된 패턴이 켜졌다고 해서 Claude가 그 단어를 곧바로 출력한다는 뜻은 아니에요. 연구진은 모델이 코드 버그를 읽을 때 "ERROR" 같은 개념이 나타나거나, 다단계 수학 문제에서 중간 단계가 순서대로 떠오르는 사례를 제시했어요. 1

이번 연구의 핵심 도구는 Jacobian lens예요. 특정 단어를 나중에 말할 가능성을 높이는 내부 활성 패턴을 찾고, 그 패턴을 통해 J-space에 어떤 개념이 올라왔는지 읽는 방식이에요. Anthropic은 논문, 구현 코드, Neuronpedia 데모를 함께 공개해 다른 연구자가 같은 계열의 실험을 확인할 수 있게 했어요. 2

흥미로운 대목은 조작 실험이에요. 예를 들어 Claude가 내부적으로 "spider"를 거쳐 다리 수를 계산하는 상황에서 그 패턴을 "ant"로 바꾸면 답이 8에서 6으로 바뀌었다고 해요. 운율이 필요한 문장에서도 J-space 안의 계획 단어를 바꾸면 뒤이어 나오는 문장이 달라졌어요. 이 결과는 J-space가 단순 관찰용 흔적이 아니라, 일부 추론 과정에서 실제로 읽히는 표현일 수 있다는 쪽에 힘을 실어요. 3

안전성 관점에서도 볼 만해요. 연구진은 모델이 평가 상황을 가짜 시나리오로 알아차리거나, 데이터 조작을 떠올리는 순간에 관련 개념이 J-space에 나타나는 사례를 소개했어요. 이런 방식은 답변 로그만 보는 감시보다 이른 시점에 이상 신호를 잡을 가능성을 보여줘요. 다만 J-lens는 단일 토큰과 연결된 개념을 중심으로 읽기 때문에, 복잡한 목표나 긴 계획을 그대로 읽어내는 만능 도구는 아니에요. 4

의식 논쟁으로 곧장 이어가면 조심해야 해요. Anthropic도 이번 실험이 Claude가 인간처럼 경험하거나 느낄 수 있다는 증거는 아니라고 선을 그어요. 이번 결과는 보고할 수 있고, 조절할 수 있고, 추론에 쓰이는 내부 표현을 일부 관찰했다는 데 의미가 있어요. 인간의 의식과 닮았다는 비유보다, 큰 언어 모델 내부에 어떤 공유 작업공간이 생길 수 있는지를 보여준 실험으로 보는 편이 더 안전해요. 5

왜 중요한가요

모델을 실제 서비스에 붙이면 운영자는 보통 입력과 출력, 로그, 평가 점수에 의존해요. J-space 연구는 그 사이에 있는 내부 표현을 제한적으로라도 들여다볼 수 있는 길을 열어요. 특히 긴 작업을 맡는 AI 에이전트에서는 모델이 겉으로는 평범하게 답하면서도 안쪽에서 다른 목표를 다루는지 확인하려는 수요가 커질 수 있어요. 2

개발자에게는 두 가지 신호가 있어요. 첫째, 해석 가능성 연구가 추상 논의에서 벗어나 코드와 데모로 내려오고 있어요. 둘째, 내부 상태를 읽는 도구가 제품 안전성 평가에 들어오려면 오탐지, 누락, 모델별 차이를 아주 보수적으로 다뤄야 해요. 이번 연구는 흥미롭지만, 바로 "모델의 생각을 완전히 읽었다"라고 말할 단계는 아니에요. 3

AI 제품을 운영하는 팀이라면 이 흐름을 안전 감사와 모델 평가 도구의 초기 형태로 보면 좋아요. 출력만 통과하면 괜찮다고 보는 방식은 점점 부족해질 수 있어요. 내부 표현을 읽는 기법이 더 안정되면, 민감한 작업에서 모델이 어떤 개념을 붙잡고 있는지 확인하는 절차가 별도 품질 기준으로 들어올 수 있어요. 4

참고 자료

1. 언어 모델 안의 글로벌 워크스페이스 — GeekNews
2. A global workspace in language models — Anthropic
3. A Global Workspace in Language Models — Transformer Circuits
4. anthropics/jacobian-lens — GitHub
5. Independent commentary on global workspace research — Anthropic
6. Neuronpedia J-lens demo — Neuronpedia
7. Hacker News discussion — Hacker News