실제 로봇으로 모델을 평가하면 비싸고 느리다. 시뮬레이션은 빠르지만 현실과 달라 모델이 점수에 과적합하기 쉽다. X Square Robot이 X2Real을 내놓으며 먼저 꺼낸 문제의식이 이 딜레마다.
시뮬레이션을 실제 로봇에 맞추는 방식
X2Real은 로봇 파운데이션 모델이 현실에서 어떻게 움직일지 가늠하는 시뮬레이션 벤치마크다. 모델이 좋아지면 테스트 세트도 함께 키우도록 설계했다.
설계 원칙은 충실성, 효과성, 공정성 세 가지다. 충실성을 위해 회사는 실제 로봇팔의 궤적을 기록했다. 같은 제어 명령을 시뮬레이션에서 재생하고, 두 결과가 맞을 때까지 관절 반응을 조정했다. 회사는 이 과정으로 밀리미터 수준의 궤적 일치를 얻었다고 밝혔다. 외관과 접촉 같은 물리 특성도 보정했다. 지원 기체는 단일 팔 Franka, 양팔 ArtiXon Arm-6A, ARX R5, 모바일 매니퓰레이터 Quanta X1이다.
주장과 근거를 가르면
핵심 수치는 상관계수다. 일반 조작 과제에서 시뮬레이션과 실제 과제 성공률의 상관이 0.96, 진행도 점수는 0.99라고 회사는 보고했다. 다만 이 수치는 해당 과제 일부를 대상으로 회사가 직접 측정한 결과다. 외부 검증 자료는 소스에 없다. 그래서 "시뮬레이션이 실제 성능을 잘 추적한다"는 말은 현재로선 X Square Robot의 주장으로 읽어야 한다. 확인된 것은 설계 방식과 회사가 내놓은 수치까지다.
44개 과제와 에이전트 두 개
과제는 10개 범주, 44개다. 추론 쪽은 일반화, 시각 이해, 언어 이해, 기억 네 가지다. 조작 쪽은 정밀 조작, 양팔 협응, 도구 사용, 동적 물체, 이동 조작 다섯 가지다. 블록 쌓기, 색 순서대로 버튼 누르기, 하노이 탑 풀기로 이뤄진 별도 챌린지 세트는 정밀도와 장기 기억, 계획을 겨냥한다. 회사는 현재 대부분의 모델이 여기서 고전한다고 말한다.
공정성을 위해서는 외관, 과제 설정, 기체 조건을 서로 독립적으로 무작위화한다. 모델은 균일한 그린스크린 스튜디오에서 모은 약 300시간 데이터로 후학습한다. 이 데이터는 평가 장면과 분리돼 있다.
벤치마크는 Mana 시뮬레이션 생태계 위에서 돌아간다. Mana는 NVIDIA Isaac Lab-Arena를 기반으로 장면, 로봇, 과제 단계를 재사용 가능한 모듈로 묶는다. 여기에 AI 에이전트가 두 갈래 루프를 돌린다. 하나는 정해진 선택지 안에서 새 과제와 장면을 쓰고, 자동 검사로 잘못된 설정을 걸러낸다. 다른 하나는 과제를 하위 과제 그래프로 쪼개 물체 자세, 접촉, 파지 상태로 각 노드를 판정하고, 모델이 실패한 지점에 맞춰 새 테스트를 만든다.
입력 형식, 행동 표현, 추론 시점이 모델마다 다르므로 Policy Space라는 통합 프로토콜이 이를 번역한다. 개발자는 추론을 로컬에서 돌려 플랫폼에 연결하면 된다. 채점과 궤적 재생은 온라인에서 처리돼 로컬 시뮬레이션 환경이 필요 없다.
국내 개발자에게 남는 질문
국내에서 로봇 모델을 개발하는 팀도 시뮬레이션 점수와 실제 기체 성능을 따로 보기 쉽다. X2Real은 기체별 궤적 보정과 상관 수치 공개를 한 세트로 묶었다는 점에서 참고할 만한 사례다. 다만 0.96이 다른 과제와 다른 기체에서도 유지되는지는 소스에서 확인되지 않는다.
