GPT-6 Astra, V7 내부 ‘매우 어려운’ 그래프 질의 89%…GPT-5.6 Sol은 78%

기업 문서 수천 개에서 서로 흩어진 관계를 찾아 답하는 V7의 가장 어려운 내부 테스트에서 GPT-6 Astra가 89%, GPT-5.6 Sol이 78% 정확도를 기록했다고 V7이 공개했습니다. 두 모델의 차이는 11%포인트였습니다.

OpenAI가 9월 21일 공개한 V7 사례에 따르면, 이 평가는 일반 지식 벤치마크가 아니라 V7의 Context Graph에서 실제 기업 데이터에 가까운 지저분한 문서 관계를 추적하는 작업을 대상으로 했습니다. 따라서 이 숫자를 곧바로 “Astra가 모든 업무에서 Sol보다 11%포인트 높다”로 읽으면 안 됩니다.

차이가 벌어진 건 새로 만든 ‘매우 어려운’ 구간입니다

V7은 기존 평가에서 GPT-5.6 Sol이 여러 항목을 거의 포화시킬 정도로 높은 점수를 내자 더 어려운 그래프 질의 세트를 새로 만들었다고 설명했습니다. 수천 개 문서에 걸친 더 복잡하고 불완전한 실제형 데이터를 사용하고 난도를 쉬움, 보통, 어려움, 매우 어려움의 네 단계로 나눴습니다.

쉬움부터 어려움까지는 두 모델 모두 거의 100%에 가까웠습니다. 격차가 눈에 띈 곳은 최상위 ‘매우 어려움’ 구간으로, Sol은 78%, Astra는 89%였습니다. 즉 일상적인 문서 검색 전체보다 여러 문서의 관계를 길게 따라가야 하는 난도가 높은 질의에서 차이가 나타났다는 결과에 가깝습니다.

흥미로운 건 ‘가장 좋은 모델 하나’로 통일하지 않았다는 점입니다

V7 Go는 수백만 개 파일에서 정보를 뽑아 Context Graph를 만드는 고처리량 작업에는 GPT-5.6 Luna를 사용합니다. 채팅과 일반 워크플로의 추론, 도구 사용에는 GPT-5.6 Terra나 Sol을 쓰고, 수천 개 문서를 가로지르는 가장 까다로운 그래프 질의부터 GPT-6 Astra를 쓰기 시작했습니다.

비용과 성능을 한 모델로 해결하기보다 작업 난도에 따라 모델을 나누는 구조입니다. 반복적인 추출은 저렴한 Luna에 맡기고, 일반적인 에이전트 작업은 Terra나 Sol, 정말 어려운 관계 추론은 Astra로 올리는 방식입니다.

Sol도 이전 세대보다 도구 호출 안정성이 크게 좋아졌습니다

같은 V7 내부 Context Graph 평가에서 GPT-5.5의 도구 호출 오류율은 2.7%였고 GPT-5.6 Sol은 0.2%였습니다. V7은 또 GPT-5.6 Luna가 GPT-5.4 mini보다 문서당 비용을 78% 낮췄다고 밝혔고, 일부 PDF 중심 워크로드를 Responses API로 옮긴 뒤 토큰 사용량이 약 5% 줄었다고 설명했습니다.

이 수치들은 서로 다른 평가 항목입니다. 89%와 78%는 그래프 질의 정확도이고, 2.7%와 0.2%는 도구 호출 오류율이며, Luna의 78%는 비용 절감률입니다. 같은 성능 점수처럼 묶어 비교할 수 없습니다.

89%는 독립 벤치마크가 아니라 V7 자체 측정입니다

이번 자료는 OpenAI가 공개한 고객 사례이며, 평가 세트와 운영 환경은 V7이 관리합니다. 공개된 설명만으로 전체 데이터셋과 채점 절차를 독립적으로 재현할 수 있는 수준은 아닙니다. 그래서 이번 결과는 GPT-6 Astra의 보편적인 우위를 증명한다기보다, 복잡한 기업 문서 관계를 추적하는 V7의 실제형 내부 작업에서 Astra가 Sol보다 더 어려운 구간을 잘 처리했다는 사례로 보는 편이 정확합니다.

실무적으로 더 중요한 변화는 모델 선택 방식입니다. 모든 단계에 가장 비싼 모델을 쓰기보다 대량 추출에는 Luna, 일반적인 추론과 도구 사용에는 Terra나 Sol, 가장 어려운 관계 질의에는 Astra를 배치하는 방식이 실제 기업 워크플로에서 쓰이고 있다는 점입니다.