화웨이 노아의 방주 연구소(Huawei Noah's Ark Lab)와 유니버시티 칼리지 런던(UCL) 등 연구진이 에이전트 시스템 Memento 3를 공개했다. Memento 3는 ARC Prize의 상호작용형 벤치마크 ARC-AGI-3 공개 세트에서 25개 게임, 183개 레벨을 모두 통과했다. 중국 매체 QbitAI 보도 기준이다.
결과: 행동 수 7,518회, 사람의 44%
ARC-AGI-3는 에이전트를 낯선 픽셀형 게임에 던져 놓는다. 규칙, 목표, 행동의 효과는 알려주지 않는다.
Memento 3는 공개 세트를 7,518회 행동으로 끝냈다. 사람은 17,135회였다. 사람 총량의 약 44%다. 상대적 사람 행동 효율(RHAE) 점수는 만점인 100점이다.
기존 공개 세트 최고 기록은 독립 개발자 세르게이 로디오노프(Sergey Rodionov)의 baseline1이다. 이 시스템도 전 게임을 통과했다. 점수는 99점, 행동 수는 8,347회였다.
단서 두 가지
첫째, 기반 모델은 화웨이 모델이 아니다. Memento 3는 최고 추론 설정의 Claude Opus 5 위에서 돌아간다. 가중치 갱신과 게임별 파인튜닝은 없다.
둘째, 평가 대상은 공개 게임이다. 공개 세트 만점은 일반화를 실제로 시험하는 비공개 평가 게임의 성적을 말해주지 않는다.
같은 기반 모델은 ARC Prize 공식 하네스에서 평균 RHAE 약 40.7점이다. 점수 차이는 모델을 둘러싼 에이전트 설계에서 나왔다.
설계: 규칙서를 코드로 컴파일
설계 이름은 Code as Model이다. 에이전트는 플레이하면서 자연어 규칙서를 쓰고, 이를 게임을 모사하는 파이썬 코드로 컴파일한다. 그리고 자체 시뮬레이터 안에서 수를 계획한다. 현실과 어긋나면 규칙서와 코드를 모두 고쳐 쓴다.
한 게임에서는 특수 바닥이 들고 있는 패턴을 좌우로 뒤집는다고 처음 가정했다. 실제로는 시계 방향 90도 회전이었다.
시스템은 이전 행동을 다시 재생하며 64×64 프레임마다 코드가 실제 결과를 재현하는지 대조한다. 모든 수정은 Git으로 기록해 잘못된 편집을 되돌릴 수 있다.
절제 실험과 Pong
3개 게임 절제 실험에서 규칙서를 유지하면 행동 수가 약 9% 줄었다. 경쟁하는 세계 모델 2개를 돌리면 한 게임에서 행동 수가 899회에서 597회로 감소했다. 다만 이 게임 하나에서만 시험했다.
연구진은 아타리 Pong에도 적용했다. 약 9,500프레임으로 공의 반사 물리를 학습한 뒤, 코드 정책이 언어 모델을 호출하지 않고 플레이해 3게임을 21대 0으로 이겼다.
연구진은 탐색에 토큰이 많이 든다고 밝혔다. 더 복잡한 실제 환경에서의 성능은 시험하지 않았다.
