샤오미가 자기회귀 임바디드 월드 파운데이션 모델 Xiaomi-Robotics-U0를 오픈웨이트로 공개했다. 궤적 예측만 다루는 전문 모델이 아니라, 이미지·영상 생성 파운데이션의 연장선에서 로봇 중심 합성을 처리하는 방식이 특징이다.
아키텍처 핵심 4가지
| 항목 | 내용 |
|---|---|
| 파라미터 규모 | 약 380억(38B), 임바디드 지능 지속 학습 |
| 기반 컴포넌트 | Qwen3-32B + EMU3.5 계열 |
| 이미지 토크나이저 | IBQ 방식, 멀티모달 어휘 구성 |
| 학습 단계 | 단일 스텝 + 순차 학습, 서브태스크-서브골 인터리브 스트림 |
하나의 넥스트 토큰 프레임워크 안에서 텍스트→이미지, 멀티뷰 임바디드 장면 생성, 제어 가능한 임바디드 전이, 임바디드 영상 롤아웃을 모두 처리한다. 멀티 FPS 임바디드 영상은 초당 1, 3, 5 프레임을 지원한다.
공개 범위
- Hugging Face·ModelScope에 Xiaomi-Robotics-U0-4B 및 FlashAR 변형 가중치 배포
- 추론 코드 및 Gradio 데모 공개
- FSDP 학습 파이프라인 릴리즈(9월 초 기준)
추론 속도 — FlashAR+
기존 토큰 단위 순차 디코딩을 반대각선 병렬 생성으로 대체한 FlashAR+를 vLLM 배칭과 결합했다. 샤오미 발표 기준 1024×1024 생성 속도가 최대 약 82.9배 빨라졌으며, 단일 샘플 지연 시간이 약 450.8초에서 5.44초로 줄었다.
로봇 제어 적용 성과
샤오미는 이 모델로 생성한 스타일 전이 데이터를 실제 시연 데이터셋에 혼합해 정책 사후 학습에 활용했다. 그 결과 배경·조명 조건이 달라지는 상황에서 간섭 태스크 성공률이 약 36.9%에서 63.2%로 올랐다. WorldArena 벤치마크에서는 100개 이상 모델 중 1위(EWMScore_P 73.64)를 기록했으며, 내부 평가에서는 멀티뷰 장면·전이 승률이 GPT-Image-2를 앞섰다고 밝혔다.
국내 로봇 스타트업 입장에서는 학습 파이프라인까지 공개된 점이 실질적 의미가 크다. 자체 시연 데이터에 U0 생성 데이터를 혼합하는 방식으로 데이터 부족 문제를 보완할 수 있다. 다만 샤오미는 영상 생성 체크포인트가 이미지·전이 릴리즈 대비 아직 따라오는 중이라고 밝혔다. 라이선스 조건, FlashAR 엔진 선택, WorldArena 재현성은 프로덕션 적용 전 직접 검증이 필요하다.
