Cua, 2.8MB CUA-S1-FORMS 공개…폼 판단만 맡기는 70만 파라미터 모델

Cua가 컴퓨터 조작 에이전트의 모든 판단을 거대한 범용 모델에 맡기는 대신, 폼 입력처럼 반복되고 선택지가 좁은 판단만 전담하는 706,048파라미터 모델 CUA-S1-FORMS를 공개했습니다. 체크포인트 크기는 2.8MB입니다. 문장을 생성하는 모델이 아니라 현재 폼 요소와 후보 값을 받아 fill, check, click, skip 가운데 무엇을 할지 확률로 고르는 구조입니다.

이 아이디어는 TypeSafe의 Jev와 같은 System One 계열에서 출발합니다. Jev가 자유형 답변 대신 정해진 선택과 점수를 빠르게 반환하는 방식이라면, CUA-S1-FORMS는 범위를 더 좁혀 폼 입력 한 종류의 컴퓨터 조작에 특화했습니다.

큰 모델이 할 일을 줄이는 방식입니다

공개 모델 카드에 따르면 입력은 화면 스크린샷이 아니라 구조화된 폼 요소와 문서에서 이미 추출된 후보 값입니다. 예를 들어 “Phone number” 입력칸과 PDF에서 뽑아둔 전화번호, 생년월일 같은 후보를 함께 주면 모델이 각 후보와 check, click, skip의 확률을 한 번에 계산합니다. 새 값을 직접 만들어 내지는 않습니다.

각 폼 요소는 병렬로 점수를 받고, 어떤 순서로 값을 넣고 체크박스를 누르고 제출 버튼을 누를지는 모델 뒤의 코드가 결정합니다. 즉 범용 에이전트가 문서를 읽고 전체 계획을 세운 뒤, 이미 형태가 잘 정의된 반복 판단만 작은 모델로 넘기는 구조를 노린 셈입니다.

“Jev보다 99.7% 대 83.6%”는 범용 승부가 아닙니다

Cua가 공개한 자체 평가에서는 CUA-S1-FORMS가 자사의 폼 과제 전체 판단에서 99.7%, 같은 과제를 별도 미세조정 없이 수행한 hosted Jev는 83.6%를 기록했습니다. 행동이 필요한 판단만 보면 Jev는 96%, 이미 채워진 필드를 건너뛰는 판단은 74%였습니다. Cua 모델은 바로 이 폼 규칙에 맞춰 학습됐기 때문에 이 수치를 “70만 파라미터 모델이 Jev를 전반적으로 이겼다”고 읽으면 안 됩니다.

속도도 같은 주의가 필요합니다. Cua 팀의 HN 공개 설명은 로컬 점수 계산 7~9ms와 hosted Jev 호출 260~280ms를 제시하지만, 후자에는 네트워크 지연이 포함되고 두 수치는 전체 폼 완료 시간을 재는 동일 조건의 end-to-end 비교가 아니라고 스스로 명시합니다.

현재는 “폼 전용 연구 모델”입니다

범용 컴퓨터 사용 모델로 볼 단계도 아닙니다. 모델 카드는 PDF나 문서 추출기가 먼저 찾아낸 값 가운데 하나를 고르는 구조라고 설명하고, 임의의 새 값을 만들지 못합니다. 학습은 합성 폼 중심이고 실제 평가는 196개 판단 규모이며, 라벨 어휘도 영어 중심입니다.

GitHub의 CUA-S1 README 역시 프로젝트를 초기 연구 단계로 규정하고, 정의된 인터페이스 작업을 연구하는 전문 모델이지 일반 컴퓨터 사용 에이전트가 아니라고 선을 긋습니다. 저장소의 source-only 구성만으로 성능 주장을 확정해서는 안 된다고 적어 둔 반면, 현재 실제 체크포인트와 상세 결과는 Hugging Face 모델 카드에서 별도로 공개돼 있습니다.

실행 단계는 모델보다 더 보수적으로 막아뒀습니다

모델이 어떤 행동을 고르는 것과 실제 컴퓨터에 클릭이나 입력을 보내는 것도 분리돼 있습니다. 공개 planner 코드는 기본적으로 계획만 만들고, 실제 변경은 execute를 명시적으로 켜야 하며 submit은 별도 허가로 분리합니다. 제출 버튼도 정규화한 라벨이 정확히 “Submit” 또는 “Submit Form”인 고신뢰 버튼 하나만 허용하도록 제한합니다.

이 공개가 흥미로운 이유는 거대한 모델을 더 작게 복제했다는 데 있지 않습니다. 에이전트가 매 순간 범용 LLM을 부르는 대신, 잘 정의된 반복 판단은 작은 전문 모델에 넘길 수 있다는 설계를 실제 오픈소스 체크포인트로 보여줬다는 점입니다. 다만 지금 확인된 범위는 폼 입력이며, 다른 앱과 운영체제, 언어, 레이아웃에서도 같은 정확도와 속도가 나온다는 근거는 아직 없습니다.