중국 푸단대 신뢰 가능 체화지능 연구소 연구팀이 RoboSkill을 제안했다. 범용 로봇 에이전트가 작업하며 익힌 방법을 저장해 다시 쓰게 하는 프레임워크다. 논문 제목은 "Explore, Execute, Evolve: A Skill Acquisition and Reuse Loop for Embodied Agents"이며 arXiv에 올라왔고, 코드는 GitHub에 공개됐다.
기술을 글과 코드로 저장한다
에이전트는 작업을 탐색한 뒤 효과가 있었던 방법을 '기술'로 남긴다. 기술은 서면 지침과 실제로 실행한 코드로 이뤄진다. 작업마다 새 시연 데이터를 모으는 방식과 다른 점이다.
연구팀이 짚은 배경은 이렇다. 비전-언어-행동 모델은 보통 배치 현장마다 새 데이터가 필요하다. 로봇 데이터는 사람이 직접 원격 조작하고, 장면을 초기화하고, 시연을 반복해야 해서 비싸다. 반면 요즘 멀티모달 에이전트는 관찰하고 추론한 뒤 제어 코드를 그 자리에서 작성할 수 있다는 것이 연구팀의 판단이다.
문제는 속도
▼ 기존 에이전트의 성과와 소요 시간 (출처: 논문 요약)
| 환경 | 성공률 (%) | 소요 시간 (분) |
|---|---|---|
| LIBERO-10 시뮬레이션 | 100 | 평균 최대 94.5 |
| 실제 로봇, 쉬운 작업 | 91.7 | 20~27 (성공 작업) |
| 실제 로봇, 어려운 작업 | 80 | 20~27 (성공 작업) |
시뮬레이션은 4시간 예산 안에서 반복 시도한 최고 에이전트 기준이다. 실제 로봇 수치는 가장 강한 에이전트의 결과다. 관찰, 추론, 행동, 확인을 도는 사이 짧은 팔 동작마다 추론에 몇 분이 걸린다.
RoboSkill은 이를 두 갈래로 줄인다.
- 촉각 추가: 압력, 힘, 토크 값으로 그리퍼의 접촉 여부를 판단한다. 이미지를 계속 확인할 필요가 없다. 한 에이전트의 시뮬레이션 평균 시간은 25.35분에서 15.93분으로, 실제 시험관 집기 작업은 33.63분에서 20분으로 줄었다.
- 기술 축적: 작업이 끝나면 에이전트가 과정을 돌아보고 효과적인 방법을 정리한다. 이후 결과가 나올 때마다 갱신한다. 접촉으로 테이블 높이를 재는 방법은 새 장면에서도 쓸 수 있다. 높이 자체는 다시 측정해야 한다. 기술 재사용으로 한 에이전트의 시뮬레이션 평균 시간은 94.5분에서 35.9분으로 줄었다.
코드까지 저장했을 때 효과가 컸다
텍스트만 저장하던 기술을 텍스트와 코드로 바꾸자 테스트한 에이전트 4종 모두 평균 시간이 줄었다. 한 에이전트는 67.1분에서 39.9분으로 줄었고, 첫 시도 성공률은 15%에서 67.5%로 올랐다.
연구팀이 보고한 종합 결과는 다음과 같다.
- LIBERO-10 첫 라운드 성공률 12.5~25%p 상승
- 시뮬레이션 시간 7.6~72.4% 단축
- 실제 로봇 성공률 8.3%p 상승
연구팀은 기술이 다른 작업과 다른 에이전트 모델 사이에서도 옮겨 쓰인다고 밝혔다. 다만 이 수치는 연구팀이 논문에서 보고한 값이다.
