Claude Code 추론 설정 A/B 테스트, 성능 저하 논란과 Anthropic 해명

Claude Code 추론 설정 A/B 테스트, 성능 저하 논란과 Anthropic 해명

AI 뉴스 썸네일

Claude Code 일부 세션에서 사용자가 고른 추론 노력 단계와 내부 표시가 다르다는 보고가 나왔어요. Anthropic 측은 실제 추론 수준을 낮춘 게 아니라 표시 척도의 매핑을 시험한 것이라고 해명했어요. 체감 품질 논란과 공식 설명이 엇갈려서, 확인된 사실과 사용자 추측을 나눠 볼 필요가 있어요.

728x90

핵심 요약

구분	확인된 내용	개발자가 볼 점
실험 대상	Claude Code 2.1.236 이상 일부 세션에서 서버 측 A/B 테스트 정황이 포착됐어요	같은 버전과 설정을 써도 계정이나 세션마다 내부 표시가 다를 수 있어요
사용자 보고	`high`를 골라도 `medium` 표기가 들어가거나 낮은 추론처럼 느껴졌다는 사례가 나왔어요	체감만으로 추론 수준 축소를 확정하기는 어려워요
Anthropic 설명	추론 노력 표시 수치의 매핑을 바꿨을 뿐, 선택한 노력 수준과 모델 성능에는 영향이 없다고 밝혔어요	재현할 수 있는 세션 ID와 결과 비교가 있어야 품질 문제를 가려낼 수 있어요
제품 운영	유료 기능의 동작이 사용자마다 다르게 보이면 비용과 결과를 예측하기 어려워져요	모델명뿐 아니라 버전, 설정, 실행 결과와 비용을 함께 기록하는 편이 안전해요

1. 추론 단계가 낮아졌다는 보고와 Anthropic의 설명

논란은 Claude Code 2.1.236 이상을 쓰는 일부 세션에서 시작됐어요. 공개된 사례에서는 사용자가 `high`를 선택했는데도 시스템 문맥에 `reasoning_effort`가 `medium`으로 표시됐어요. 낮은 추론 수준으로 실행됐다는 상태 문구를 봤다는 보고도 나왔어요. 이전 버전과 Opus 5는 같은 조건에서 영향을 받지 않았다는 관찰이 더해지면서, 클라이언트 버전을 기준으로 서버 실험 대상이 나뉜다는 추정이 퍼졌어요. 1

최초 제보는 이런 차이를 추론 자원 축소로 해석했어요. 최근 결과 품질이 떨어졌다고 느낀 사용자와 토큰 비용을 많이 쓴 사용자의 불만도 이어졌어요. Hacker News에서는 단순한 설정 파일 수정에 이전 모델은 2분 미만이 걸렸지만 새 세션은 저장소 전반을 살피느라 43분을 썼다는 사례가 공유됐어요. 반대로 같은 모델로 수학과 그래픽 작업을 문제없이 수행했다는 반응도 있었어요. 개인별 사례만으로 전체 성능 변화를 확정하기 어려운 이유예요. 2 4

Claude Code 팀의 Thariq는 다른 설명을 내놨어요. API 제공 설정을 배포하기 전에 Claude Code에서 시험하는 과정이며, 이번 실험은 추론 노력 수치가 표시되는 방식을 바꾼다고 밝혔어요. 높은 단계가 `10`으로 보이더라도 0부터 100까지의 절대 척도를 뜻하지 않는다고 덧붙였어요. 사용자가 선택한 추론 노력은 그대로 제공되고, 내부 평가에서도 모델 성능 저하는 확인되지 않았다는 설명이에요. 분명한 품질 저하가 재현되면 `/feedback`으로 세션 ID를 보내 달라고 안내했어요. 3

현재 공개된 근거로는 Anthropic이 유료 사용자의 추론 자원을 실제로 줄였다고 단정할 수 없어요. 내부 표기 변화가 관찰된 것은 맞지만, 그 숫자가 실제 연산량과 어떤 관계인지 공개되지 않았어요. 사용자들이 말한 품질 저하도 작업 종류, 모델 선택, 도구 호출, 문맥 길이 같은 조건을 맞춘 비교가 부족해요. 지금 확인할 수 있는 결론은 일부 세션에서 표시 방식이 달라졌고, Anthropic은 성능과 선택한 노력 수준은 유지된다고 설명했다는 정도예요.

같은 설정인데 결과가 다를 때 확인할 항목

Claude Code를 업무에 쓰는 팀이라면 모델 이름만 기록해서는 원인을 찾기 어려워요. 클라이언트 버전, 선택한 추론 단계, 세션 ID, 입력 문맥, 도구 호출 내역, 사용 토큰과 소요 시간을 함께 남겨야 해요. 같은 작업을 반복할 때는 성공 조건도 먼저 정하는 편이 좋아요. 파일 수정 범위, 테스트 통과 여부, 결과 정확도처럼 확인할 수 있는 기준이 있으면 막연한 체감 차이를 실제 회귀와 구분할 수 있어요.

비용 비교도 총 토큰 하나로 끝내기 어려워요. 에이전트가 불필요한 파일을 읽거나 범위를 넓혀 실행하면 추론 수준이 같아도 비용과 시간이 커질 수 있어요. 반대로 짧은 답을 냈다고 추론 노력이 낮았다고 볼 수도 없어요. 작업별 입력 토큰, 출력 토큰, 도구 실행 횟수와 최종 성공 여부를 함께 봐야 해요.

왜 중요한가요

AI 코딩 도구는 서버에서 모델과 설정을 바꿀 수 있어서 같은 앱 버전도 매번 똑같이 작동한다고 보장하기 어려워요. 이런 특성은 빠른 개선에 유리하지만, 개발팀이 회귀 원인을 찾을 때는 부담이 돼요. 특히 사용자가 비용과 품질을 조절하려고 고른 `high` 같은 설정이 내부에서 다르게 표시되면 기능이 실제로 유지되더라도 신뢰가 흔들릴 수 있어요. 3

Anthropic의 설명대로 표시 척도만 바뀌었다면 기능 축소 논란은 과장됐을 수 있어요. 그래도 화면의 설정과 내부 상태가 다르면 제품 설명이 더 구체적이어야 해요. 실험 대상, 표시 값의 의미, 성능에 영향을 주는 범위를 변경 기록이나 도움말에서 알려 주면 개발팀이 불필요한 추측 대신 재현 자료를 모을 수 있어요.

이번 사례는 AI 개발 도구를 운영 환경에 넣을 때 자체 평가가 필요한 이유도 보여줘요. 공급사의 벤치마크와 사용자 체감은 서로 다른 작업을 측정할 수 있어요. 자주 맡기는 코딩 작업 5~10개를 고정하고 버전별 성공률, 실행 시간, 토큰 비용을 비교하면 품질 변화에 더 빨리 대응할 수 있어요. 문제가 재현될 때는 세션 ID와 구체적인 실패 결과를 제공해야 공급사도 원인을 좁힐 수 있어요.

참고 자료

1. Anthropic, Claude Code의 추론 노력 수준 축소를 A/B 테스트하는 것으로 보임 — GeekNews
2. Claude Code 추론 노력 표시 변화 제보 — ArgoFowl, X
3. Claude Code 팀의 추론 노력 매핑 실험 설명 — Thariq, X
4. Anthropic appears to be A/B testing reduced effort levels in Claude Code — Hacker News