스탠퍼드대와 칼텍 연구팀이 만든 HomeBody는 Unitree G1 휴머노이드에 GPT-6 Astra를 직접 연결해 낯선 주방을 자율로 정리하게 한 시스템이다.

로봇은 먼저 방 전체를 돌아다니며 탐색한다. 이 과정에서 Nvidia Isaac Sim 기반 디지털 트윈을 만들고, 물체 위치를 공간 메모리에 기록한다. 카메라 시야 밖으로 물건이 사라져도 이전에 기록한 위치 정보로 다시 찾을 수 있다.

기존 로봇 시스템은 언어 모델과 로봇 사이에 별도 훈련된 제어 레이어를 둔다. HomeBody는 이 레이어를 없앴다. 대신 교체 가능한 비전-언어 모델(VLM)이 파지·이동·서랍 열기 등 스킬 라이브러리를 직접 호출한다. 여기서는 GPT-6 Astra가 VLM 역할을 맡았다. "주방을 치워라" 같은 명령을 받으면 언어 모델이 각 단계를 계획하고, 오류가 생기면 스스로 수정한다.

다만 한계도 명확하다. Astra의 응답 지연, 손가락 서보 모터 과열, 높은 연산 비용이 현재 제약으로 꼽힌다. 연구팀은 코드를 GitHub에 공개했다.

GPT-6 Astra는 앞서 공간 추론 능력이 크게 향상됐다는 벤치마크 결과가 나왔지만, 로봇팔을 제어할 때 안전 문제가 드러난다는 별도 연구도 있다. OpenAI는 개인용 로봇을 포함한 로보틱스 재진출 계획을 이미 밝힌 상태다.

언어 모델을 로봇에 직접 연결하는 이 방식은 한국 로봇·AI 스타트업이 가사 서비스 로봇을 개발할 때 참고할 수 있는 구조다. 별도 제어 레이어 없이 범용 VLM을 스킬 라이브러리와 조합하면 특정 환경에 맞춘 재훈련 없이도 새 공간에 적응할 수 있다.