네 발 로봇이 미로 앞에 서 있다. 이 로봇은 두 가지를 동시에 풀어야 한다. 출구까지 어느 길로 갈지 정하는 일, 그리고 지금 이 순간 다리를 어떻게 움직일지 정하는 일이다.
하나의 표현에 다 담으면 생기는 문제
얀 르쿤(Yann LeCun)이 이끄는 Advanced Machine Intelligence(AMI) Labs와 학계 연구진이 이 문제를 겨냥한 세계 모델 구조 H-JEPA를 개발했다. 시간 규모마다 환경을 따로 표현하고, 그 위에서 계획을 세운다.
바탕은 JEPA(Joint-Embedding Predictive Architecture)다. 픽셀 같은 세부 정보를 생성하지 않고, 영상을 잠재 표현이라는 압축된 특징 묶음으로 바꿔 예측한다. 행동 정보까지 받는 JEPA는 여러 행동 순서가 낳을 결과를 가상으로 돌려 보고, 목표와 비교한다.
기존 방식에는 두 가지 약점이 있다. 먼 결과를 예측하려면 작은 단계를 수없이 시뮬레이션해야 한다. 연산 비용이 늘고, 작은 오차가 눈덩이처럼 불어난다. 게다가 한 표현 안에서 미세한 물리 동역학과 장기 목표 진척도를 함께 다뤄야 한다. 미로의 로봇으로 보면, 경로를 짜는 쪽은 로봇의 위치만 알면 되는데 다리 관절 정보까지 같은 표현에 섞여 있다. 학습이 어려워질 수밖에 없다.
층마다 인코더와 예측기를 둔다
H-JEPA는 관측과 그 사이를 잇는 행동 열로 학습한다. 가장 아래층은 시각 관측을 인코딩해 다음 잠재 상태를 예측한다. 위층은 아래층 표현을 받아 더 긴 시간 간격의 전이를 예측한다.
각 층은 상태 인코더, 행동 인코더, 예측기를 따로 갖는다. 행동 인코더는 해당 간격의 행동을 요약한다. 전체 계층은 처음부터 끝까지 함께 학습한다. 각 층이 예측 표현을 실제 미래 표현과 견주고, 모든 관측이 같은 표현으로 뭉치는 일은 정규화 장치가 막는다. 층 사이 시간 간격은 미리 정해 두지만, 각 표현이 무엇을 남길지는 모델이 학습한다. 그래서 위층은 오래 예측 가능한 느린 특징만 남기고 빠르게 변하는 세부는 버린다.
계획도 위에서 아래로 내려온다. 최상위 플래너가 목표에 가까워지는 행동을 찾으면, 그 예측 상태가 다음 층의 하위 목표가 된다. 이렇게 층마다 계획을 다듬어 최하위 층이 실제 행동을 내놓는다. 몇 걸음 실행한 뒤에는 새 관측과 예측 궤적의 어긋남을 반영해 계획을 갱신한다.
시뮬레이션에서 확인한 것
연구진은 FourRoom Distractors, Visual AntMaze, Push-T, OGBench Cube 네 가지 시뮬레이션 환경에서 평가했다. 비교 대상은 단일 층 JEPA인 LeWM, 공유 잠재 공간에서 계층적으로 계획하는 HWM이다.
FourRoom, AntMaze, Cube에서는 3층까지 층을 늘릴수록 대체로 성공률이 오르고 계획 연산은 줄었다. 차이가 가장 컸던 곳은 AntMaze다. 3층 H-JEPA의 성공률이 HWM의 거의 두 배였다. 상위 표현에서는 로봇의 위치가 살아 있고 다리 자세 정보는 옅어졌다. 미로 복도를 따라 목표까지의 거리도 더 매끄럽게 추정돼, 플래너가 벽을 돌아가는 길을 읽기 쉬웠다.
실제 로봇 조작 영상 데이터셋 DROID에서는 사정이 달랐다. 예측 학습만으로는 정지된 배경 정보만 남고 움직이는 로봇 정보가 사라지는 경향이 있었다. 연구진은 두 상태를 잇는 행동을 맞히는 역동역학(inverse dynamics) 목표를 더해 행동과 관련된 정보를 보존했다. 그 결과 오프라인 계획 충실도가 기준 모델보다 올랐고, 플래너 연산은 적게 들었다.
한계와 다음 과제
연구진은 한계도 밝혔다. 층이 많다고 늘 좋은 것은 아니고, 이득은 학습 데이터의 범위에 좌우된다. 로봇 내비게이션, 물류 자동화, 조작 시스템에 쓰일 수 있다는 언급은 있지만, 실제 현장 성과는 이 연구에 담겨 있지 않다.
다음 단계로는 상위 표현을 언어와 연결하는 방안을 제시했다. 목표 이미지 대신 지시문으로 목표를 받는 에이전트를 염두에 둔 것이다. 로봇이나 에이전트를 만드는 한국 연구자와 개발자라면, 장기 목표와 즉각 동작을 한 표현에 욱여넣지 않고 층으로 나누는 설계가 계획 비용을 어떻게 바꾸는지 눈여겨볼 만하다.
