앤트그룹 Robbyant, 촉각 파운데이션 모델 LingBot-Touch 공개… 센서 달라도 한 모델로

중국 앤트그룹 산하 임바디드 AI 기업 Robbyant가 11월 10일 로봇 손용 촉각 파운데이션 모델 LingBot-Touch를 오픈소스로 공개했다. 센서 종류가 달라도 하나의 촉각 표현으로 쓰게 하는 모델이다.

공개 범위

▼ LingBot-Touch 공개 내용 (출처: Pandaily, Robbyant 공식 GitHub)

항목	내용
사전학습 데이터	실제 촉각 데이터 약 5,000시간
지원 센서 방식	자기식, 시각촉각, 압저항식
라이선스	Apache-2.0
공개 체크포인트	Tiny, Small
배포처	Hugging Face, ModelScope

GitHub에 올라온 것은 추론용 릴리스다. 고정된(frozen) 인코더와 촉각 특징을 뽑는 유틸리티가 들어 있다.

풀려는 문제와 구조

촉각 센서는 종류마다 원시 신호가 서로 호환되지 않는다. 한 센서에서 모은 촉각 경험을 다른 센서에 옮기기 어렵다는 뜻이다.

LingBot-Touch는 센서 유형마다 입력 토크나이저를 따로 두고, 이를 공유 트랜스포머에 연결한다. 접촉 지점은 공통 손끝 좌표 공간에 대응시킨다. 출력은 여러 행동 모델이 가져다 쓸 수 있는 통합 촉각 토큰이다. 저장소 설명에 따르면 학습 목표는 JEPA 방식으로, 시공간 촉각 맥락에서 잠재 표현을 예측한다.

학습 데이터는 사람이 착용한 촉각 장갑과 원격 조종한 다지 로봇 손에서 얻었다.

Robbyant가 밝힌 실험 결과

Robbyant는 로봇 손 Sharpa Wave와 XHand에서 실제 로봇 과제 26개를 시험했다. 책장 넘기기, 병뚜껑 돌리기, 마작 패 식별 등이 포함된다.

행동 모델 4종(LingBot-VLA, π0.5, Diffusion Policy, T-Rex)에 LingBot-Touch 표현을 더하자 촉각이 없는 버전보다 평균 과제 성공률이 약 14~26%포인트 올랐다.
Sharpa Wave에서 T-Rex가 병뚜껑을 돌리는 과제의 성공률은 촉각 없음 56.25%, 원시 센서 신호 62.5%, LingBot-Touch 90%였다.
26개 시험은 모두 Tiny 버전(약 500만 파라미터)으로 했다. 붙이는 정책 모델에 더해지는 규모는 약 0.13~0.16%다.
더 큰 Small 버전은 사전학습 데이터가 5,000시간에 가까워질수록 계속 나아졌다고 팀은 밝혔다.

하드웨어 간 전이도 시험했다. 자기식 촉각 센서 모델이 사전학습 데이터에 없던 XHand에서 인코더를 고정하고, XHand 시연 데이터로 행동 모델만 학습시켰다. 이 경우 자기식 촉각 지식은 사람 장갑 데이터에서만 왔다.