Nym, AI 에이전트 분류기 7개를 Jev로 교체…167회 평가 167/167, 생성형 모델 호출 43% 감소

소비자용 AI 에이전트 Nym이 에이전트 내부의 판단 구조를 Jev 중심으로 다시 만들고 자체 측정 결과를 공개했습니다. 기존 Gemini 3.1 Flash Lite 기반 검토기 7개를 Jev로 바꾼 평가에서는 88개 서로 다른 입력을 167회 호출해 Jev가 167/167을 통과했고, 기존 Gemini 구현은 160/167이었습니다. 검토기별 중앙 지연시간은 Jev가 4.1배에서 5.7배 빨랐습니다.

더 눈에 띄는 부분은 도구 선택입니다. Nym은 매 턴 DeepSeek가 도구를 고르던 구조에서, Jev가 먼저 도구 선택의 확률과 신뢰도를 판단하고 확신이 낮을 때만 DeepSeek에 판단을 넘기는 구조로 바꿨습니다. 17개 작업 비교에서 두 방식 모두 17/17을 완료했지만 생성형 모델 호출은 72회에서 41회로 약 43% 줄었습니다.

검토기 7개에서는 4.1배에서 5.7배 빨라졌습니다

Nym은 승인 요청, 자격 증명 공개, 기능 선택, 결제 상태, 상거래 악용, 승인 답변, 메모리 관련성 판단을 각각 검토하는 7개 텍스트 기반 검토기를 Gemini 3.1 Flash Lite에서 Jev로 교체했습니다. Nym이 공개한 동일 평가 결과는 아래와 같습니다.

여기서 중요한 제한도 있습니다. 이 숫자는 Nym이 만든 자체 평가 세트의 결과이며, 미래의 모든 입력에 대한 정확도를 보장하지 않습니다. 또 지출 한도, 자격 증명과 구매 승인 같은 핵심 규칙 자체를 Jev에 맡긴 것이 아니라, 코드로 강제하는 규칙에 들어갈 분류 판단을 Jev가 제공하는 구조입니다.

도구 선택까지 맡기자 생성형 모델 호출이 72회에서 41회로 줄었습니다

Nym의 이전 에이전트 루프에서는 DeepSeek가 매 턴 문맥을 읽고 사용할 도구를 선택했습니다. 새 구조에서는 Jev가 현재 문맥과 사용 가능한 도구를 보고 선택 확률과 신뢰도를 반환합니다. 신뢰도가 충분하면 그 선택을 사용하고 생성형 모델은 실제 호출 인자를 만들며, 확신이 낮으면 DeepSeek가 선택 판단까지 다시 맡습니다. 텍스트 입력이 필요한 작업은 별도 LLM이 계속 생성합니다.

생성형 모델 호출은 약 43% 줄었고 기록된 생성형 모델 비용은 약 36% 감소했습니다. 다만 TypeSafe 사용 비용 추정까지 더한 전체 모델 비용 절감은 약 14.6%였습니다. Nym은 TypeSafe의 시간 단위 사용량 내보내기에서 해당 시간의 3,739,497 입력 토큰을 요청 수 비율로 배분해 비용을 추정했으며, 브라우저와 가상머신 비용은 제외했다고 설명합니다. 별도의 후속 17개 작업 실행에서는 공급자가 보고한 TypeSafe 사용량을 적용했을 때도 두 방식 모두 17/17을 완료했고 전체 모델 비용 차이는 약 14.88%였습니다.

분류기가 5배 빨라도 에이전트 전체가 5배 빨라지는 것은 아닙니다

이 사례에서 가장 주의해서 볼 숫자입니다. 4.1배에서 5.7배라는 향상은 7개 검토기의 개별 중앙 지연시간이고, 17개 실제 작업의 총 실행 시간은 234.123초에서 224.725초로 약 4% 줄었습니다. 개별 작업 중에는 Jev를 넣은 쪽이 오히려 느린 경우도 있었습니다.

대신 구조적인 변화는 분명합니다. Jev는 자유형 문장을 만드는 대신 미리 정한 선택과 확률, 신뢰도를 반환하는 판단 전용 모델인데, Nym은 이를 안전 검토뿐 아니라 브라우저 행동과 도구 선택까지 확장했습니다. TypeSafe의 공식 설명처럼 빠른 구조화 판단을 일반 LLM 앞단에 두고, 낮은 신뢰도나 자유형 생성이 필요한 순간에만 큰 생성형 모델로 넘기는 방식입니다.

Nym의 9월 20일 기술 글은 이 구조가 “모든 에이전트에서 더 빠르고 싸다”는 독립 검증은 아닙니다. 서로 다른 실행과 소프트웨어 버전이 섞인 비교도 있고 서비스 상태에 따라 결과가 달라질 수 있습니다. 현재 확인할 수 있는 것은 Nym의 자체 평가에서 분류기 지연, 생성형 모델 호출 수와 추정 모델 비용이 실제로 줄었고, 회사가 이 구조를 프로덕션에 적용할 계획이라고 밝힌 범위까지입니다.