로봇 600번 시도, 실패 15번. 성공률 97.5%다. 칭화대, Infinigence AI, AgiBot 연구진이 10월 30일 QbitAI를 통해 공개한 실험 결과다. 시험에는 학습에 참여하지 않은 로봇 2대가 나섰다.
병목은 사람이었다
연구진이 짚은 출발점은 인력 문제다. 로봇은 현실 세계의 경험을 쌓아야 나아진다. 지금은 사람이 같은 동작을 반복해 시범을 보이거나, 로봇이 실수할 때 끼어들어 바로잡아 준다. 로봇은 수백 대씩 투입할 수 있다. 숙련된 조작자는 같은 속도로 늘릴 수 없다.
연구진이 내놓은 해법이 Collective Experience Learning(CEL)이다. 사람의 시범에 주로 기대는 대신, 다른 로봇이 거둔 성공에서 배우게 한다. 한 로봇이 모은 성공 경험은 저장되고 공유된다. 작업에서 막힌 로봇은 동료가 비슷한 상황을 어떻게 풀었는지 찾아볼 수 있다. 논문은 arXiv에 2610.25736 번호로 올라 있다.
제안과 결과를 나눠 보면
CEL은 두 부품으로 돌아간다.
첫째는 장애에 강한 비동기 학습 시스템 FATS다. 오픈소스 대규모 강화학습 프레임워크 RLinf 위에 만들었다. 로봇은 작업을 마치는 즉시 경험을 올린다. 다른 로봇을 기다리지 않는다. 일부 장비가 끊겨도 클러스터는 계속 돈다. 96대 실험에서 모인 에피소드는 9,834개다. 로봇 22대에서 고장이 모두 30건 났지만, 손실된 로봇 가동 시간은 전체의 1.3%에 그쳤다.
둘째는 실패 유도형 경험 검색 미세조정 알고리즘 FERT다. 조작 하나가 몇 분씩 이어지고 행동 단계도 수천 개에 이른다. 그런데 피드백은 마지막의 성공 또는 실패뿐인 경우가 많다. FERT는 이 두 정보를 함께 쓴다. 로봇이 곤경에 빠지면 비슷한 상황의 성공 경험을 찾아 오고, 학습을 그 사례에 집중시킨다.
로봇 수를 늘렸더니
실험 과제는 다섯 가지다. 꽃꽂이, 옷 개기, 휴대전화 충전, 의자 조립, 휴대전화 포장이다. 가정과 공장 일이 섞여 있다. 다섯 과제 모두 사람 조작자 6명의 평균보다 성공률이 높았다고 연구진은 밝혔다.
여러 단계로 이뤄진 산업용 과제인 휴대전화 포장에서는 성공률이 79.2%에서 98.3%로 뛰었다. 연속 120회 실행에서 실패는 2번이었다.
눈에 띄는 대목은 규모 효과다. 실제 학습 시간을 같게 두고 참여 로봇을 16대에서 96대로 늘리자 성공률이 86.7%에서 98.3%로 올랐다. 로봇 한 대가 오래 배우는 방식과 달리, 같은 시간에 여러 대가 경험을 쌓아 나누는 방식이 성과를 키웠다는 얘기다.
아직 검증 전이다
이 결과는 모두 연구팀이 직접 보고한 수치다. 독립적인 재현은 이뤄지지 않았다. 이번 발표 자료는 Infinigence AI가 제공했다. 연구에 참여한 AgiBot은 GO-3 프리뷰 로봇 모델을 공개한 곳이기도 하다.
이번 연구는 대수를 늘리는 일과 학습 데이터를 늘리는 일이 이어질 수 있는지 가늠할 사례다. 다만 과제 다섯 가지의 실험실 결과라는 점은 감안해야 한다.
