로봇이 시약병을 열고, 얇은 숟가락으로 가루를 뜬다. 고무 스포이트를 쥐어 액체를 옮기고, 거의 투명한 유리막대를 비커에 대고 따름을 유도한다. 중국 선전의 로봇 기업 X Square Robot이 공개한 시연 장면이다. 표준화된 화학 실험 하나, 24개 세부 동작을 끊김 없이 한 컷으로 이어갔다. 도구를 바꿔 쥐고 양손을 맞춰 움직이는 과정이 계속됐다.
로봇 없이 모은 데이터
회사는 정책을 처음부터 학습시켰고, 학습 데이터는 로봇 없이 수집한 수백 개 에피소드라고 밝혔다. 로봇을 원격 조종해 얻은 데이터나 사람이 개입한 데이터는 어느 단계에서도 쓰지 않았다는 설명이다.
바탕은 9월에 공개한 TwinDEX다. 사람이 착용하는 외골격으로 데이터를 모으고, 이와 거의 같게 만든 로봇 손으로 실행한다. 두 장치는 3손가락, 9자유도에 능동 관절 7개 구조를 공유한다. 관절 축과 링크 비율, 접촉 재질, 촉각 센서 위치도 같고 겉모양도 거의 같다. 다중 시점 카메라 영상, 손목 자세, 손가락 관절 상태, 손끝 촉각 신호는 시간을 맞춰 기록한다. 그래서 기록한 손가락 상태를 리타기팅 없이 로봇에 그대로 옮긴다.
눈으로만 풀 수 없는 동작
중국 매체 Leiphone은 시각만으로 풀기 어려운 동작을 짚었다. 뚜껑을 돌릴 때는 손목 회전이 아니라 손가락의 옆 방향 움직임을 쓴다. 스포이트는 접촉한 뒤 힘을 조절해야 한다. 투명한 유리막대는 카메라가 추적하기 어렵다. 양손 작업에서는 절대 좌표 대신 두 손의 상대 위치를 학습한다. Leiphone에 따르면 테이블이나 작업자가 바뀌어도 양손 협응이 무너지지 않는다.
회사가 내놓은 수치
다중 작업 벤치마크에서 로봇 없이 모은 데이터로 학습한 정책은 에피소드당 개선 속도가 원격 조종 데이터와 같았다고 한다. 뚜껑 돌리기, 주사기 사용 등 다섯 작업 기준으로 실효 수집 처리량은 원격 조종의 5.3배다. 작업자 한 명, 테이블 하나, 외골격 하나면 수집 단위가 완성된다. 사무실이나 주방에서 병렬로 모을 수 있다. Leiphone은 이 파이프라인이 회사의 오픈소스 WALL-OSS 모델과 맞물리고, pi0.5 같은 다른 파운데이션 모델에도 적용할 수 있다고 전했다.
회사가 밝힌 한계
작업은 한 테이블 위, 제한된 물체 안에서만 이뤄졌다. 오래 착용했을 때의 인체공학은 아직 연구하지 않았다. 더 어려운 작업에는 손가락이나 관절이 더 필요할 수 있다. 기술 논문은 곧 공개 예정으로 표기돼 있다. 회사는 앞으로 수집 범위를 열린 환경과 롱테일 작업으로 넓힐 계획이다.
