breakinglog
Roboflow가 9월 18일 GPT-6 Astra의 비전 평가 결과를 공개했고, 현재 Vision Evals 공개 페이지에서는 Astra가 53개 모델 중 전체 86.6%로 1위에 표시됩니다. Astra는 Roboflow Auto Annotate의 기본 모델로도 바뀌었습니다. 객체 탐지에서 Low 추론 강도는 82.1% mAP@50, High는 83.6%였는데요. 탐지 점수는 1.5포인트 올랐지만 이미지당 추정 비용은 0.050달러에서 0.101달러로, 지연 시간은 약 11초에서 32초로 늘었습니다.
High는 탐지에서 조금 올랐지만 비용과 시간은 크게 늘었습니다
| 추론 강도 | mAP@50 | 추정 비용/이미지 | 지연 시간 |
|---|---|---|---|
| Low | 82.1% | $0.050 | 약 11초 |
| High | 83.6% | $0.101 | 약 32초 |
같은 글에서 Qwen3.8 Max는 Low 탐지 76.7%를 기록했고 이미지당 비용은 Astra보다 약 4배 저렴했다고 Roboflow는 설명합니다. 대신 Low 탐지 지연은 Astra가 약 11초, Qwen3.8 Max가 약 30초였습니다. Roboflow도 모든 작업에 Astra High를 권하지 않고, 먼저 저렴한 모델이나 낮은 추론 강도로 자신의 데이터에서 필요한 정확도가 나오는지 확인하라고 제안합니다.
Counting은 거의 그대로였고, 시각 추론은 High에서 더 올랐습니다
추론 강도의 효과는 작업마다 달랐습니다. Astra의 Counting 평가는 Low 80.2%에서 High 81.1%로 0.9포인트 올랐고, Visual Reasoning은 87.2%에서 91.2%로 4.0포인트 올랐습니다. 객체 탐지처럼 위치를 찾는 작업에서는 High의 추가 이득이 작았지만, 여러 시각 정보를 연결해 답을 내는 작업에서는 차이가 더 컸습니다.
분할에서도 한 모델이 모든 면에서 앞선 것은 아닙니다. Astra는 요청한 대상을 이해해 다각형을 만들 수 있었지만, Roboflow는 정확한 경계 모양이 중요할 때는 SAM 3가 더 세밀했다고 설명합니다. 비디오도 Astra를 매 프레임 호출하면 비싸기 때문에 로컬 탐지기와 추적기를 사이에 두고 Astra는 드문 프레임의 해석에 쓰는 방식을 제시했습니다.
전체 1위라도 여섯 과제를 모두 이긴 것은 아닙니다
현재 공개 Vision Evals는 객체 탐지, Counting, Identification, OCR, Data Extraction, Reasoning의 여섯 과제를 같은 샘플로 비교하고, 전체 점수는 여섯 과제의 단순 평균으로 계산합니다. Astra는 전체 86.6%로 1위이고 객체 탐지 82.1%와 Reasoning 87.2%에서도 1위지만, Counting은 Qwen3.8 Max가 81.1%로 Astra의 80.2%보다 높습니다. 따라서 86.6%를 모든 비전 작업에서 Astra가 최고라는 뜻으로 읽으면 안 됩니다.
Roboflow가 공개한 현재 프로토콜은 각 과제를 Low와 High 두 단계로 나누고 각각 세 번 실행해 평균을 냅니다. 다만 Low와 High는 모든 회사의 동일한 내부 설정값이 아니라 각 모델의 추론 기능을 Roboflow가 공통 단계에 맞춰 대응시킨 것입니다. 객체 탐지는 mAP@50을 쓰지만 Counting과 Reasoning 등은 Gemini 3.5 Flash가 정답과 응답을 비교하는 판정을 기본 점수로 사용하므로, 서로 다른 과제의 점수 성격도 구분해야 합니다.
Astra 비전 작업도 Low부터 비교할 근거가 생겼습니다
이번 결과에서 가장 실용적인 부분은 “High가 항상 더 낫다”가 아니라 추가 정확도가 비용과 지연을 감수할 만큼 큰지 작업별로 봐야 한다는 점입니다. 객체 탐지나 Counting이라면 Low부터 확인하고, 시각 추론에서 부족한 결과가 반복될 때 High를 비교하는 편이 합리적입니다. Astra의 추론 강도를 고르는 기본 기준은 브레이킹로그의 Low, Medium, High 선택 가이드와 함께 보면 됩니다.
