breakinglog
대량 데이터에서 AI 판단을 싸게 돌리는 방법을 시험한 새 사례가 나왔습니다. Southbridge.AI는 오하이오 선거자금 데이터의 동일인 연결 작업에서 Jev를 1차 판단에 쓰고 애매한 일부만 GPT-5.6 Luna로 재검토하는 구성이 Claude Fable 단독 기준보다 모델 비용을 226배 낮추고, 모델 호출 시간 기준 처리량을 7.35배 높였다고 공개했습니다. 정확도는 Fable보다 0.5%포인트 이내였다고 설명합니다.
다만 이 수치는 범용 벤치마크가 아닙니다. 연구팀이 일부러 어렵게 고른 오하이오 선거자금 데이터 구간에서 후원자, 위원회, 회사처럼 표기가 흔들리는 기록을 같은 실체로 연결하는 entity resolution 작업을 측정했습니다. 회사가 만든 파이프라인과 평가 기준으로 나온 자체 실험이므로 다른 데이터에 같은 비율이 그대로 재현된다고 볼 수는 없습니다.
핵심은 Jev 단독이 아니라, 좁은 판단과 재검토를 나눈 구조입니다
Southbridge는 Jev만으로 모든 연결을 결정하면 정확도가 크게 떨어졌다고 적었습니다. 대신 Jev가 대부분의 좁은 판단을 처리하고, 재검토가 필요한 소수 사례만 Luna가 보는 단계로 구성했습니다. Jev가 자유형 문장 대신 정해진 선택과 확률을 반환하는 모델이라는 특성을 고속 필터처럼 쓴 셈입니다.
| 항목 | Claude Fable 기준 | Jev + Luna 재검토 |
|---|---|---|
| 모델 비용 | 기준 | 226배 낮음, 약 99.56% 절감 |
| 모델 호출 시간 기준 처리량 | 기준 | 7.35배 |
| 정확도 | 기준 | Fable보다 0.5%포인트 이내 |
같은 글에서 Southbridge는 Fable로 1.2MB의 준비된 증거를 직접 처리한 한 비교가 9.83달러와 844.64초가 들었다고 공개했습니다. 또 현재 측정값을 1TB로 단순 확대하면 Fable 약 816만달러, Jev와 Luna 혼합 구성 약 3만6100달러라고 추산했습니다. 이 1TB 수치는 실제 1TB 실행 비용이 아니라 현재 결과를 확장한 추정치입니다.
프롬프트보다 중요한 것은 무엇을 AI 판단으로 남길지입니다
실험에서 성능을 바꾼 요소는 모델 이름만이 아니었습니다. 예를 들어 “같은 가구인가”를 모호하게 묻던 기준을 같은 주거지 주소와 서로 다른 사람이라는 구체적 조건으로 바꾸자, 개발용 13문항에서 Jev가 전부 거부하던 상태에서 기준 답 13개와 모두 일치하는 상태로 바뀌었습니다. Southbridge도 이것은 최종 벤치마크 점수가 아니라 개발 과정의 사례라고 구분했습니다.
그래서 이번 결과를 “Jev가 Fable보다 226배 좋다”로 읽으면 안 됩니다. 확인된 것은 답의 형태가 좁은 대량 판단을 값싼 모델에 맡기고, 불확실한 일부만 더 비싼 모델로 넘기는 파이프라인이 이 데이터셋에서는 비용과 호출 처리량을 크게 바꿨다는 점입니다. 실제 서비스에 적용하려면 자신의 정답 라벨로 오분류율과 재검토 비율, 전체 파이프라인 지연까지 함께 확인해야 합니다.
