중국 베이징인공지능연구원(BAAI)이 7월 11일 월드 모델 Orca를 공개했다. 액션 라벨 없이 12만 5천 시간 분량의 영상만으로 사전학습한 이 모델은, 로봇 전용 데이터로 구축한 π0.5와 5개 조작 과제에서 동등한 성능을 냈다.
기존 방식 vs Orca — 핵심 비교
▼ 로봇 학습 방식 비교
| 항목 | 기존 방식 (액션 라벨 의존) | Orca (무라벨 사전학습) |
|---|---|---|
| 사전학습 데이터 | 액션 라벨 포함 로봇 영상 | 무라벨 영상 12만 5천 시간 |
| 라벨 수집 비용 | 높음 (전문 장비·인력 필요) | 없음 (영상만) |
| 출력 방식 | 단일 태스크 특화 | 텍스트·이미지·로봇 액션 공용 코어 |
| 오류 복구 | π0.5: 반복 실패 후 정지 | Orca: 실패 후 재시도 성공 |
| 파라미터 규모 | 모델별 상이 | 0.8B / 4B (두 가지) |
| 현재 감각 입력 | 영상·촉각·음향 등 다양 | 영상·텍스트만 (음향·촉각 미지원) |
두 가지 학습 방식의 결합
Orca는 '무의식 학습'과 '의식 학습'을 함께 쓴다. 무의식 학습은 캡션 없는 원시 영상을 입력받아 픽셀이 아닌 추상 공간에서 다음 장면을 예측한다. 움직임 패턴·가림 현상·장면 역학을 이 과정에서 습득한다. 의식 학습은 영상 구간마다 상태 변화를 언어로 기술한 설명을 더해, 특정 액션이 어떤 결과를 낳는지 학습한다.
코어 모델은 Qwen3.5 언어-이미지 모델을 기반으로 하며, 사전학습 후 동결된다. 출력 유형별로 별도 경량 모듈을 붙이는 구조다. 텍스트는 Qwen3.5 언어 헤드, 이미지는 Stable Diffusion 3.5에 소형 어댑터를 연결, 로봇 액션은 처음부터 새로 훈련한 'Action Expert' 모듈이 담당한다.
벤치마크 결과
Orca-4B는 텍스트 벤치마크(MVBench·TemporalBench·3DSRBench·SWITCH) 평균 51.8%로, 비교 대상 소형 VLM 및 대형 월드 모델 중 최고 평균을 기록했다. Qwen3.5-4B·Gemma 4-4B·DeepSeek-VL2-3B를 평균 기준으로 앞섰고, 8B 규모의 Emu3와 34B 규모의 Emu3.5도 평균에서 상회했다.
이미지 예측 자체 벤치마크 PRICE-V0.1에서는 59.8%로, FLUX.2 small(56.1%)·FLUX.1-context(40.9%)·OmniGen2(39.6%)를 넘었다. "전자레인지 닫기" 같은 명령에서 로봇팔 형태·물체 접촉점·명령 연관성을 순수 이미지 생성 모델보다 일관되게 유지했다.
로봇 제어 실험은 바퀴 달린 두 팔 휴머노이드 로봇으로 책 정리·그릇 쌓기·설탕 퍼담기 등 5개 과제를 수행했다. Orca의 코어는 사전학습 중 어떤 움직임이 어떤 이미지와 대응하는지 전혀 보지 않았다. 실제 로봇 제어를 위해서는 과제당 200개의 실제 녹화 데이터로 Action Expert 모듈만 별도 훈련했다. 이 조건에서 π0.5와 동등한 성능을 냈고, V-JEPA 2.1과 Qwen3.5를 같은 제어 모듈에 붙인 기준선은 크게 뒤처졌다.
한계
Orca는 현재 영상과 텍스트만 처리한다. 음향·힘·촉각 신호는 전혀 반영되지 않는다. 시각 예측도 자체 월드 공간을 처음부터 학습하는 대신 사전학습된 이미지 인코더 공간에서 작동한다. 0.8B·4B 규모는 완전한 월드 모델링에 충분하지 않다고 팀 스스로 인정하며, 이벤트 설명도 몇 분 단위 짧은 구간만 커버한다. BAAI는 다양한 신호 유형을 처음부터 학습하는 네이티브 월드 모델을 최종 목표로 제시했다.
학습 인프라로는 자체 FlagScale 라이브러리를 사용했으며, H100 GPU 기준 초당 2.91 샘플 처리 속도로 로봇공학에서 널리 쓰이는 StarVLA 대비 약 4.4배 빠른 속도를 기록했다.
국내 로봇 개발 파이프라인에 미치는 영향
액션 라벨 수집은 로봇 개발에서 가장 비용이 크고 확장이 어려운 병목이다. Orca가 보여준 무라벨 사전학습 접근은, 국내 로봇 개발사가 기존 산업 영상 자산을 액션 라벨 없이 사전학습에 활용할 수 있는 가능성을 열어준다. 과제별 소량 실제 데이터(논문 기준 과제당 200건)로 제어 모듈만 추가 훈련하는 구조는, 다품종 소량 생산 환경에서 로봇 태스크를 빠르게 확장해야 하는 국내 제조·물류 현장에 특히 적합한 전환점이 될 수 있다.
