OpenAI가 2021년 접었던 로봇공학 프로그램을 되살리겠다고 밝힌 건 2주 전이다. 빅테크 AI 연구소들이 앞다퉈 기계에게 물리 세계를 가르치려는 경쟁에 뛰어들고 있다는 신호다. 그런데 이 경쟁에는 결정적인 빈자리가 하나 있다. 언어 모델 수준의 훈련 데이터가 없다는 것.
LLM은 인터넷에 공개된 방대한 텍스트로 학습했다. 로봇은 다르다. 물리적 상호작용을 담은 데이터가 필요한데, 그런 데이터는 거의 존재하지 않는다. 유튜브 영상이나 긱 워커가 수집한 영상은 해상도가 낮고 실제 물리 환경과 연결하기도 어렵다.
이 공백을 사업 기회로 본 스타트업이 XDOF(엑스-도프)다. 6월 17일 스텔스 모드를 벗고 등장한 이 회사는 Thrive Capital, Spark Capital, a16z, Lux, WndrCo로부터 7천만 달러를 조달했다. 공동 창업자이자 CEO인 Philipp Wu는 UC 버클리 박사 과정에서 이 문제를 직접 겪었다. 로봇이 대규모 데이터셋으로 기술을 배우도록 하는 연구를 했지만, 정작 그 데이터가 없었다. "데이터를 먼저 수집해야 파운데이션 모델을 어떻게 훈련할지 물어볼 수 있는데, 그 데이터가 없었다"고 그는 말했다.
Wu와 공동 창업자 Fred Shentu는 박사 과정에서 GELLO라는 저비용 텔레오퍼레이션 시스템을 개발했다. 사람이 로봇 팔을 원격으로 조작해 훈련 데이터를 생성하는 장치다. 이 연구는 비슷한 문제를 안고 있던 로봇공학 커뮤니티에서 널리 활용됐고, 두 사람은 2024년 10월 XDOF를 창업했다.
회사가 그리는 사업 구조는 세 단계 데이터 피라미드다. 가장 가치 있는 데이터는 실제 배포 로봇에서 텔레오퍼레이션으로 수집한 것, 그 아래는 GELLO처럼 범용 데이터를 모으는 텔레오퍼레이션, 마지막은 사람이 일상 작업을 수행할 때 수집하는 '에고센트릭' 데이터다. 이 마지막 단계를 위해 XDOF는 자체 웨어러블 센서까지 개발할 계획이다.
이 모델의 핵심은 사람이다. XDOF는 전 세계에 텔레오퍼레이터와 에고센트릭 데이터 작업자를 대거 고용하고 훈련할 계획이다. 현재 직원 약 60명에 20개 고객사(프런티어 AI 연구소 다수 포함)를 두고 있다. Wu는 "수십만 평방피트 규모의 창고에 수백 대 로봇이 필요하고, 이 로봇들을 유지·보수하고 물리 파라미터를 조정하며 작업자를 제대로 훈련해야 한다"고 설명한다. 대부분의 AI 연구소가 이 작업을 직접 하기보다 외주로 돌리고 싶어 하는 이유다.
XDOF는 UC 버클리 AI 연구소와 협력해 ABC라는 이름의 로봇 훈련 데이터셋도 공개했다. 로봇 조작 데이터 13만 개 궤적, 시뮬레이션 300시간, 평가 데이터 100시간이 담겼다. 이 규모의 사전 훈련 데이터가 학계에 공개된 건 처음이다. 이미 티셔츠 접기, 박스 펼치기, 에어팟 케이스에 넣기 같은 벤치마크 작업에 이 데이터를 써서 로봇을 훈련했다.
회사 이름 XDOF는 로봇공학 용어 '자유도(degrees of freedom)'에서 왔다. 사람의 팔은 어깨에서 손목까지 7개 자유도를 갖는다. 휴머노이드 로봇 회사 Figure AI의 최신 로봇은 30개다. X는 그 이상, 임의의·무한한 자유도를 뜻한다.
물리 AI 경쟁이 가열될수록 이 데이터 수집 작업의 규모도 커진다. 문제는 이 작업이 얼마나 안전하고 지속 가능한 방식으로 조직될 수 있느냐다. 창고에서 로봇 팔을 반복 조작하는 텔레오퍼레이터, 센서를 달고 일상 동작을 기록하는 작업자 — 이들은 AI 발전의 최전선에 있지만, 그 존재는 좀처럼 드러나지 않는다.
국내 로봇 스타트업과 삼성·현대 같은 대기업도 물리 AI 경쟁에 뛰어들고 있다. 데이터 수집 인프라를 외부에 의존할지, 자체 구축할지의 선택 앞에서 노동 안전 기준과 데이터 수집 표준화는 선택이 아닌 과제가 될 수 있다.
