Anthropic 측정, Claude가 AI R&D 26%에서 ‘리드’…동시 에이전트 약 3만 개

Anthropic이 내부 AI 연구개발이 얼마나 AI에 의해 자동화됐는지 수치화한 지표를 공개했습니다. 2026년 8월 기준 Claude가 Anthropic의 AI R&D 작업 중 26%에서 사람이 큰 방향만 주면 대부분을 끝까지 수행하는 ‘리드’ 단계로 측정됐고, ‘협업’ 이상 단계는 90%를 넘었습니다. 다만 완전 자율 단계로 평가된 작업은 아직 없었습니다.

Anthropic Institute가 공개한 측정 자료는 성능 벤치마크가 아니라 회사 내부의 AI 개발 과정 자체를 측정한 것입니다. 연구개발 자동화, 에이전트 감시, 연구용 컴퓨팅 자원 배분이라는 세 지표를 함께 제시했습니다.

‘26%를 리드’는 사람 없이 26%를 자동 개발한다는 뜻이 아닙니다

Anthropic은 Epoch AI의 자동화 수준을 사용했습니다. AL3인 ‘협업’은 사람이 가까이서 방향을 잡아 주는 상태, AL4인 ‘리드’는 사람이 높은 수준의 지시를 주면 AI가 작업 대부분을 끝까지 처리하고 사람이 감독하는 상태입니다. AL5는 사람이 개입하지 않아도 되는 완전 자율 단계입니다.

8월 측정에서 Claude는 AI R&D 작업의 26%에서 AL4 ‘리드’로 평가됐습니다. AL3 ‘협업’ 이상은 90%를 넘었지만, AL5로 평가된 작업은 없었습니다. 따라서 이 수치를 “Anthropic 연구의 26%가 사람 없이 돌아간다”로 해석하면 과장입니다.

내부에서는 동시에 약 3만 개의 연구 에이전트가 움직였습니다

Anthropic은 8월 기준 가장 많이 사용하는 내부 플랫폼 한 곳에서 연구와 엔지니어링 작업을 하는 에이전트가 어느 시점이든 약 3만 개 동시 가동됐다고 밝혔습니다. 회사는 이 플랫폼의 에이전트 행동 100%가 실행 전에 온라인 모니터를 거치고, 실행 후에도 오프라인 모니터에 들어간다고 설명했습니다.

8월 한 달 동안 온라인 모니터가 판단한 의사결정은 10억 건을 넘었고, 그중 0.002%, 약 4만7000건당 1건이 차단됐습니다. 이 비율을 “99.998%가 안전했다”는 뜻으로 바꿔 읽으면 안 됩니다. 이 수치는 특정 모니터가 실제로 차단한 비율이며, 회사도 아직 모든 종류의 행동을 완전히 파악했다고 보기는 어렵다고 적었습니다.

안전 연구에 쓴 컴퓨팅 자원은 한 주 기준 약 6%였습니다

Anthropic은 7월 13일부터 20일까지 한 주 동안 AI R&D에 들어간 컴퓨팅 자원 가운데 약 6%가 안전 연구에 쓰였다고 집계했습니다. AI가 직접 수행하는 AI R&D만 놓고 보면 안전 작업 비중은 약 12%였습니다.

이 역시 장기 평균이 아닙니다. Anthropic은 한 주 스냅샷이며, 안전과 성능 향상에 동시에 기여하는 작업은 보수적으로 AI R&D 쪽에 넣었다고 설명했습니다. 연구 작업 분류에도 Claude 기반 분류기를 사용했기 때문에 외부 검증이 필요한 지표입니다.

이번 숫자는 외부 벤치마크보다 ‘측정 틀’을 공개한 데 의미가 있습니다

자동화 지표는 2026년 7월 각 부서 직원의 20%를 매주 표본으로 뽑아 Slack과 내부 문서를 분석한 약 1만5000개의 세부 작업을 바탕으로 만들었습니다. 이를 542개 노드와 378개 말단 작업으로 묶고, Claude가 자동화 수준을 평가했습니다.

검증 과정에서 모델과 사람의 자동화 단계가 정확히 일치한 비율은 59%, 사람끼리의 정확 일치는 35%였고, 모델과 사람의 평가는 97%가 한 단계 이내였습니다. Anthropic 스스로도 자체 모델이 자체 시스템을 평가한다는 한계를 인정하고 있습니다.

회사는 앞으로 여러 조직의 독립적인 제3자 평가자를 내부에 배치해 안전 관행과 사고, 이번과 같은 핵심 지표를 검증하도록 할 계획이라고 밝혔습니다. 앞으로 볼 지점은 26%라는 숫자 자체보다 이 지표가 같은 방식으로 반복 공개되고, 다른 연구소와 외부 평가자가 재검증할 수 있는 형태로 발전하는지입니다.