breakinglog
리퀴드 AI가 10월 7일, 인터넷 연결 없이도 문서와 이미지에서 선택지를 판단할 수 있도록 만든 오픈웨이트 AI 모델 두 개를 공개했습니다. 새 모델은 d1-3B와 실험용 d1-omni-600M으로, 개발자는 모델 가중치를 내려받아 지원되는 컴퓨터나 엣지 기기에서 직접 실행할 수 있습니다.
이번 공개가 중요한 이유는 10월 5일 소개된 클라우드 API용 d1과 다르게 모델을 내려받아 자체 환경에 배포할 수 있게 됐다는 점입니다. 챗봇처럼 긴 답변을 작성하기보다는 입력된 상황을 보고 정해진 선택지 중 무엇이 맞는지 점수로 돌려주는 용도입니다.
문장을 생성하지 않고, 한 번에 선택지의 점수를 계산합니다
예를 들어 고객 문의를 보고 “결제 문제 / 배송 문의 / 계정 오류” 중 어느 부서로 보낼지 결정하거나, 사진을 보고 제품에 이상이 있는지 판단하는 작업에 맞춰 설계됐습니다. 일반적인 생성형 언어모델처럼 답변 문장을 토큰 단위로 써 내려가는 방식이 아니라 한 차례 추론으로 선택지별 판단 결과를 내놓습니다.
리퀴드 AI의 10월 7일 공식 발표에 따르면 두 모델의 지원 입력과 성숙도는 서로 다릅니다.
| 모델 | 입력 | 현재 공개 수준 | Decision Index v0.2.1 |
|---|---|---|---|
| d1-3B | 텍스트, 이미지 | 오픈웨이트 배포 | 48.57점 |
| d1-omni-600M | 텍스트+이미지 또는 텍스트+오디오 | 실험용 체크포인트 | 15.95점 |
여기서 작은 모델인 d1-omni-600M은 음성 입력도 다룰 수 있지만, 텍스트, 이미지, 오디오 세 가지를 한 요청에 동시에 처리한다는 뜻은 아닙니다. 또한 점수는 회사가 보고한 Decision Index v0.2.1의 공개 분할 결과로, 다양한 현장 작업에서 동일한 정확도를 보장하는 독립 평가 결과는 아닙니다.
RTX 4090에서 8ms, 작은 Jetson에선 50ms…어떤 조건의 숫자인가요?
리퀴드 AI는 d1-3B의 한 가지 질문에 대한 추론 지연 시간을 NVIDIA RTX 4090에서 8ms, Jetson AGX Thor에서 16ms, Jetson AGX Orin에서 26ms, Jetson Orin Nano에서 50ms로 측정했다고 밝혔습니다. Apple M5 Pro에서는 30ms를 보고했습니다.
이 수치는 지정된 장비에서 단일 질문을 처리했을 때의 회사 측 측정값입니다. 입력이 길어지거나 이미지를 처리하면 시간이 더 걸립니다. 같은 발표의 Jetson Orin Nano 표에서는 3,400토큰 상태를 처리하는 데 1,640ms, 384픽셀 이미지에서는 202ms가 걸렸습니다. 따라서 “어떤 이미지든 50ms 안에 판단한다”는 뜻으로 읽으면 안 됩니다.
회사는 d1-3B를 NVIDIA Jetson 장비와 연결한 Isaac Sim 데모, 카메라 화면을 이용하는 게임과 콘텐츠 분류 데모도 공개했습니다. 다만 데모 시연과 제품 현장에서의 안정성은 별도로 검증해야 합니다.
개발자는 지금 무엇을 해볼 수 있나요?
두 모델의 가중치는 Hugging Face를 통해 배포되며 회사는 llama.cpp 지원과 로컬 실행 문서를 안내하고 있습니다. 이미 d1 클라우드 API를 사용하는 개발자라면 이번 오픈 모델이 서버 호출을 대신할 수 있는지, 자체 판단 데이터로 정확도와 지연 시간을 비교하는 것이 첫 단계입니다.
모델을 내려받을 수 있다는 사실만으로 모든 환경에서 바로 실행되거나 상업적으로 아무 조건 없이 쓸 수 있다고 단정할 수는 없습니다. 배포 전에는 해당 모델 카드의 최신 라이선스, 필요한 런타임, 메모리, 취급할 데이터와 기기의 지원 여부를 확인해야 합니다.
정리하면 이번 변화는 AI가 모든 일을 더 잘하게 됐다는 발표가 아니라, 정해진 보기 중 빠르게 결정을 내려야 하는 작업에 특화된 작은 모델을 로컬 기기에도 배포할 수 있게 됐다는 소식입니다. 기존 API 모델 소개와 새로운 오픈웨이트 공개의 차이를 확인하려면 10월 5일 d1 공식 소개와 10월 7일 오픈 모델 발표를 비교해 보면 됩니다.
