Claude Code Fable 5 개인 분석, 4만3261회 호출 중 39.2%가 ‘생각 토큰 0’

Claude Code에서 Fable 5를 높은 추론 강도로 쓴 실제 작업 로그 4만3261회 호출을 분석한 결과, 호출 단위 ‘생각 토큰’ 중앙값이 123개였고 39.2%는 0으로 기록됐다는 개인 분석이 나왔습니다. 다만 이 수치는 Anthropic의 공식 측정이 아니며, 한 사용자의 실제 작업 로그를 분석한 관찰 연구입니다.

분석자 Lon Lundgren이 공개한 자료는 7월 1일부터 9월 7일까지 65일 동안 Claude Code 사용 기록을 모은 것입니다. 분석에는 3대의 컴퓨터, 2개 구독 계정, 25개 프로젝트 그룹과 213개 세션이 포함됐고, Claude Code 48개 버전을 거친 Fable 5 호출 4만3261회를 집계했습니다.

‘호출 39.2%가 0’과 ‘대화 전체가 생각하지 않았다’는 다른 말입니다

여기서 가장 먼저 구분해야 할 것은 호출(invocation)과 사용자 한 번의 작업(turn)입니다. Claude Code는 한 번의 사용자 요청을 처리하면서 여러 차례 모델을 부를 수 있습니다. 따라서 한 호출에서 생각 토큰이 0이었다고 해서 그 작업 전체가 아무 추론도 하지 않았다는 뜻은 아닙니다.

즉 자극적인 숫자는 ‘호출 39.2%’지만, 사용자가 한 번 일을 시킨 단위로 묶으면 생각 토큰이 전혀 없었던 비율은 6.0%로 내려갑니다. 대신 작업 하나를 여러 짧은 호출로 쪼갤 때 연속적으로 깊게 생각하는 구간이 얼마나 짧아지는지가 이 분석의 핵심 질문입니다.

8월에는 7월보다 생각 토큰이 줄었다는 결과도 나왔습니다

분석자는 입력 길이가 비슷한 호출끼리 7월과 8월을 비교했습니다. 입력 4,096 토큰 부근에서는 8월의 생각량이 약 18% 적었고, 16,384 토큰에서는 25%, 65,536과 131,072 토큰에서는 각각 약 32% 적었다고 보고했습니다.

특히 8월 22~23일 전후에는 작업 단위 생각 토큰 중앙값이 7월 기준보다 약 41% 낮아지고, 호출 단위 중앙값은 0까지 내려간 상태가 약 일주일 이어졌다고 분석했습니다. 다만 이 변화의 원인이 Anthropic의 서버 정책인지, 작업 종류나 클라이언트 변화인지 이 자료만으로는 확인할 수 없습니다.

Anthropic 공식 문서와는 어떻게 읽어야 하나

Anthropic의 공식 Effort 문서는 effort를 고정된 토큰 예산이 아니라 모델 행동을 조절하는 신호라고 설명합니다. Fable 5에서 xhigh는 장시간 코딩과 에이전트 작업을 위한 높은 단계이고, max는 가장 깊은 추론을 위한 단계입니다. 동시에 Anthropic은 높은 effort에서도 충분히 큰 max_tokens를 설정하라고 안내합니다.

그래서 이번 결과를 곧바로 “Anthropic이 몰래 Fable 5를 약하게 만들었다”는 증거로 해석하면 안 됩니다. 로그는 실제 제품 환경을 보여주지만 통제 실험이 아니고, 분석 대상도 Fable 5의 xhigh와 max 사용에 한정됐습니다. 반대로 높은 effort 이름만 보고 모든 호출에 긴 연속 추론이 보장된다고 생각하는 것도 공식 문서의 설명과 맞지 않습니다.

이 분석에서 확인된 것과 아직 모르는 것

확인된 것은 한 개인의 장기간 Claude Code 로그에서 호출 단위 추론이 매우 짧거나 0으로 기록되는 경우가 상당히 많았고, 8월의 측정값이 7월보다 낮아졌다는 관찰입니다. 분석자는 여러 조건을 바꿔 다시 계산해도 방향이 같았다고 설명했습니다.

아직 확인되지 않은 것은 원인입니다. 현재 확인한 Anthropic 공식 자료에서는 이 분석에 대한 서버 측 설명이나 동일 조건 재현 결과를 찾지 못했습니다. 벤치마크 환경의 생각량과 실제 Claude Code 작업의 생각량을 같은 조건으로 직접 재실행한 것도 아닙니다. 따라서 이번 숫자는 “모델 성능이 39.2% 사라졌다”는 뜻이 아니라, 실제 에이전트 작업에서 추론이 어떤 단위로 배분되는지 따져볼 필요가 있다는 데이터로 보는 편이 정확합니다.