OpenAI의 GPT-6 Astra가 새 로봇공학 벤치마크 StationeryBench에서 공간 추론 능력의 뚜렷한 향상을 보였다.
StationeryBench는 마커 뚜껑 열기, 클립 쏟기, 두 로봇팔 사이로 자 전달하기 등 책상 위 5가지 물체 조작 태스크로 구성된다. Ai2의 MolmoAct2와 GPT-6 Astra가 동일한 듀얼암 YAM 로봇을 각각 100회씩, 총 200회 제어하며 성능을 겨뤘다.
▼ StationeryBench 주요 결과 비교
| 항목 | GPT-6 Astra | MolmoAct2 |
|---|---|---|
| 완전 완료 건수 (100회 중) | 7 | 0 |
| 중간값 진행 점수 (100점 만점) | 46 | 12 |
| 시험 횟수 | 100 | 100 |
코넬대·Google DeepMind 소속 AI 연구자 요아브 아르치(Yoav Artzi)는 Astra를 "공간 추론의 단계적 도약(step change)"이라고 평가했다. 아직 미발표 상태인 REMAP 벤치마크에서도 GPT-6 Astra는 인간 수준에 근접한 정확도를 기록했다. 다만 아르치는 "다른 시나리오에서는 Astra도 인간 수준에 도달하지 못한다"고 덧붙였다. 그는 OpenAI가 Blender 장면 등 대규모 3D 데이터로 모델을 학습시켰을 것으로 추정하며, 이것이 3D 태스크에서 두드러진 성능 향상과 맞아떨어진다고 봤다.
OpenAI는 장기적으로 소비자용 로봇 개발을 계획하고 있다. StationeryBench의 전체 결과, 영상, 코드는 GitHub에 공개돼 있다.
