breakinglog
스탠퍼드 연구진이 미래 영상 예측과 로봇 행동 생성을 같은 틀에서 비교할 수 있는 OpenWAM을 공개했습니다. 프로젝트 페이지에는 10월 6일자 Paper v1이 게시됐고, 로봇이 먼저 미래 영상을 예측한 뒤 행동을 정하는 방식부터 행동을 먼저 만들거나 둘을 동시에 생성하는 방식까지 같은 기반에서 바꿔 시험할 수 있습니다.
연구진이 공개한 실험에서 Video-then-action(VTA)은 네 개 LIBERO 벤치마크 묶음에서 평균 98.6% 성공률을 기록했고, 실제 양팔 로봇의 토스트, 2×2 큐브, 컵 분류 세 과제에서는 평균 92.1%를 기록했습니다. 다만 이 수치는 OpenWAM 연구진이 보고한 결과이며 독립된 외부 검증 결과는 아닙니다.
한 모델에서 “먼저 보고 움직일지” 순서를 바꿔 비교합니다
OpenWAM 공식 프로젝트 페이지에 따르면 연구진은 Wan2.2-5B를 출발점으로 약 334만 개의 궤적과 녹화 영상, 총 1만4640시간의 원천 영상을 사용해 로봇 영상에 맞춘 사전학습을 진행했습니다. 이 단계는 32대의 NVIDIA B200 GPU에서 14일 동안 진행됐다고 설명합니다.
이후 50억 매개변수 영상 전문가와 20억 매개변수 행동 전문가를 Mixture-of-Transformers 구조로 묶었습니다. 핵심은 모델 크기 자체보다 영상과 행동을 어떤 순서로 만들고 서로 어떤 정보를 보게 할지를 같은 백본과 학습 조건에서 바꿔 비교할 수 있다는 점입니다.
| 방식 | 생성 순서 |
|---|---|
| Video-then-action | 미래 영상을 먼저 예측하고 그 영상에 맞춰 행동을 생성 |
| Action-then-video | 행동을 먼저 만들고 그 행동으로 생길 미래 영상을 예측 |
| Joint | 미래 영상과 행동을 함께 생성하며 서로 정보를 주고받음 |
| Decoupled | 미래 영상과 행동을 만들되 미래 토큰끼리는 직접 정보를 주고받지 않음 |
흥미로운 점은 가장 복잡하게 연결하는 방식만 강한 것이 아니라는 결과입니다. 연구진 보고에서 Decoupled 방식도 LIBERO-Long 97.0%를 기록해 Joint의 96.6%와 비슷했습니다. 즉 이 벤치마크에서는 미래 영상과 행동 토큰을 항상 직접 연결해야 높은 제어 성공률이 나오는 것은 아니라는 결과입니다.
성공한 시범만 보지 않고 “다르게 움직였다면”도 학습시켰습니다
OpenWAM은 역동역학 모델(IDM)과 순동역학 모델(FDM)을 별도 구성요소로 연결할 수도 있습니다. 연구진은 LIBERO-Long의 10개 과제에서 시뮬레이터 상태를 복원한 뒤 다른 행동을 시도해 3만2000개의 반사실적 구간을 만들었고, 이렇게 성공하지 않은 행동 결과까지 학습 자료에 포함했습니다.
네 개의 학습 외 LIBERO-90 과제로 옮긴 실험에서는 반사실적 데이터와 시범을 함께 학습한 로컬 컨텍스트 IDM이 평균 84.0%를 기록했습니다. 같은 구조를 시범 데이터만으로 학습했을 때는 21.5%였습니다. 이 역시 연구진의 동일 평가 설정 안에서 나온 비교이므로, 다른 로봇과 환경에서도 같은 폭의 향상이 재현된다는 뜻은 아닙니다.
코드는 지금 볼 수 있지만 연구 산출물은 아직 전부 열린 상태가 아닙니다
공식 GitHub 저장소는 현재 OpenWAM을 버전 0.2.0의 알파 단계 Linux 연구 소프트웨어로 설명합니다. Python 3.11 또는 3.12에서 python -m pip install openwam으로 설치할 수 있고, 학습과 평가는 별도 extras를 설치하는 구조입니다. 라이선스는 AGPL-3.0입니다.
공개 범위는 구분해서 볼 필요가 있습니다. 프로젝트 페이지에는 10월 6일자 Paper v1과 상세 실험표가 공개돼 있지만, GitHub README는 상세 평가 결과, 학습된 모델 체크포인트, 데이터셋과 연구 논문의 전체 공개가 준비 중이라고 안내하고 있습니다. 현재 저장소에는 코드와 문서가 있고, 로봇 영상 사전학습 가중치는 별도 Hugging Face 링크로 안내돼 있습니다.
따라서 지금 바로 쓸 수 있는 것은 영상 예측과 행동 생성을 여러 방식으로 조합해 비교하는 연구 프레임워크와 일부 공개 가중치입니다. 토스트나 큐브 같은 제한된 실험 과제에서 나온 높은 성공률을 곧바로 범용 가정용 로봇의 성능으로 해석하기보다, 앞으로 전체 체크포인트와 데이터가 공개된 뒤 재현 결과를 확인하는 편이 정확합니다.
