휴머노이드 로봇 학습에는 쓸 만한 데이터가 모자란다. 새로 공개된 백서 'HiPHI: A Large-Scale Benchmark for High-Precision Human Motion and Object Interaction'은 이 문제에서 출발한다.
왜 데이터가 문제인가
백서는 휴머노이드 로봇 학습을 임바디드 AI와 피지컬 AI의 핵심 과제로 짚는다. 그리고 이 학습에 필요한 데이터를 인터넷 영상이나 기존 모션캡처 데이터셋으로는 얻을 수 없다고 주장한다. HiPHI는 이 공백을 메우려고 만든 대규모 모션캡처 데이터셋이다. 대상 독자는 로봇 연구자와 엔지니어다.
동작의 범위를 설계하다
눈에 띄는 대목은 수집 방식이다. 백서는 인간 행동을 다루는 언어학 틀인 FrameNet으로 모션캡처 수집을 이끈다고 설명한다. 이렇게 하면 전신 동작의 넓은 범위를 체계적으로 덮을 수 있다는 논리다. 닥치는 대로 찍는 대신, 어떤 동작을 담을지 먼저 설계하겠다는 접근이다.
사람과 물체의 상호작용
HiPHI는 사람의 움직임만 담지 않는다. 물체의 궤적과 메시를 동기화해 함께 기록한다. 백서에 따르면 이런 사람-물체 상호작용 데이터는 로봇에게 나르기, 밀기, 당기기 같은 실제 과제를 가르치는 데 쓸모가 있다.
규모, 그리고 실제 로봇
백서는 이 모션캡처 데이터로 학습한 강화학습 정책이 데이터 규모가 커질수록 나아진다고 소개한다. 또 시뮬레이션에서 현실로 옮기는 sim-to-real 이식으로 실제 휴머노이드 로봇에 정책을 얹는 과정도 보여준다고 밝힌다.
다만 확인할 수 있는 범위는 한정적이다. 이번에 확인한 자료는 백서의 소개문이다. 데이터셋의 구체적 규모와 성능 수치, 이식 실험의 결과는 여기에 나오지 않는다. 정책이 규모에 따라 좋아진다는 내용과 실제 로봇 이식 역시 백서의 주장이다. 수치는 내려받아 확인해야 한다.
국내 연구자에게 남는 질문
국내에서 휴머노이드 학습을 다루는 연구자와 엔지니어에게 HiPHI는 데이터 수집 설계의 한 사례다. 언어학 틀로 동작 범위를 짜고, 물체 정보를 동기화해 과제 학습에 연결한다는 구성이다. 백서는 무료 다운로드로 제공된다.
