"모방학습 방식은 정체기에 들어섰다." UC 버클리 로보틱스 교수 켄 골드버그(Ken Goldberg)의 진단이다. 로봇 업계가 오랫동안 믿어온 공식에 균열이 갔다는 말이다.
데이터가 답이라는 믿음
공식은 단순하다. 사람의 시연 데이터를 AI에 충분히 먹이면 로봇이 사람의 수작업 대부분을 해낸다는 것이다. 다른 로봇 기업에 팔 학습 데이터만 모으는 기업까지 생겼다. 투자도 이 믿음을 따라 몰렸다. 골드버그는 ChatGPT가 그랬듯 데이터가 쌓이면 로봇도 어느 순간 안정적으로 작동하리라는 기대가 투자 논리라고 설명한다.
배경에는 방식의 전환이 있다. 과거 로봇은 물리·수학 모델을 바탕으로 사람이 코드를 일일이 짜서 움직였다. 빠르고 믿을 만했지만 시간과 전문성이 많이 들었다. 그래서 시연 데이터를 학습시키는 쪽으로 무게가 옮겨갔다.
아직 오지 않은 수렴점
문제는 그 뒤다. 골드버그는 이렇게 말한다. "처음엔 데이터로 좋은 성능이 나온다. 그런데 뭔가 틀어진다. 데이터를 더 넣으면 다른 게 틀어진다." 그가 함께 일해온 Siemens, Bosch 같은 기업도 같은 문제를 겪었다. 그는 가정용 로봇처럼 속도와 신뢰성 부담이 작은 분야에선 가능성이 있지만, 산업 현장이 요구하는 신뢰성은 얻기 어렵다고 본다.
기사는 한계를 몇 가지 더 짚는다. 필요한 데이터량도, 어떤 데이터가 중요한지도, 다른 요소가 빠졌는지도 아직 아무도 모른다. 학습 결과물은 사람이 이해하기 어려운 블랙박스다. 상용 현장에서는 이 점이 부담이 된다. 골드버그도 "수렴점에 닿지 못해 다들 조금씩 불안해한다"고 말한다.
데이터 문제를 코딩 문제로
UC 버클리와 NVIDIA가 이번 주 로봇 학습 학회(CoRL 2026)에서 발표한 에이전틱 로보틱스는 방향이 다르다. 골드버그와 NVIDIA 로보틱스 제품 디렉터 스펜서 황(Spencer Huang)이 대중화한 용어다. 데이터를 모으는 대신 AI 코딩 에이전트가 사람이 읽을 수 있는 코드를 짜게 한다.
방식은 이렇다. 자연어로 일을 지시한다. 예컨대 로봇팔로 식료품을 가방에 담게 한다. 과제는 하위 작업으로 쪼개진다. 물체 인식, 그리퍼 조작, 잡은 물체 운반을 각각 다른 에이전트가 맡는다. 황은 물체 분류, 자세 추정, 작업·동작 계획, 궤적 생성 같은 도구가 이미 다 있다고 말한다. 예전엔 사람이 직접 코드를 짜야 했을 뿐이다.
에이전트는 시뮬레이션에서 코드를 돌리고, 실패를 찾아 고치며 반복한다. 골드버그 팀은 에이전트에게 시뮬레이션 파라미터를 직접 만지게 하고 실제 영상에 맞추도록 시켰다. 그는 조명과 배경까지 맞춘 결과를 보고 소름이 돋았다고 한다. 코드의 품질은 NVIDIA가 적대적 에이전트 구조로 점검한다. 한 에이전트가 설계하면 다른 에이전트가 결함을 찾아 공격하는 식이다.
성과 수치도 나왔다. UC 버클리 테스트에서 성공률이 최대 99%에 닿아 사람이 손으로 짠 성능과 맞먹었다. 기본 모방학습이 20%에 그친 과제에서도 그랬다. 다만 이 수치는 연구팀이 밝힌 결과이고, 적용 범위도 좁다.
남은 간극
반론도 나온다. Alphabet 계열 Intrinsic의 최고과학책임자 토르스텐 크뢰거(Torsten Kroeger)는 접촉을 정확히 모사하는 물리 엔진은 아직 없다고 말한다. 시뮬레이션과 현실의 간극은 풀리지 않은 과제라는 뜻이다. 그는 에이전트를 얼마나 믿을 수 있느냐는 정렬 문제도 앞으로 업계의 현안이 될 것이라고 본다.
황이 꼽는 당장의 활용처는 정밀 제조다. 그는 반도체 파트너사가 부품을 0.3mm 이내로 놓아야 하는데 GR00T 같은 모델로는 지금 재현성 있게 해내기 어렵다고 말한다. 대만 Wistron 공장에서는 신제품마다 로봇 한 대의 작업을 바꾸는 데 최소 8시간이 걸렸지만, 에이전틱 방식이면 1~2분이다. 에이전트가 만든 좋은 코드는 다음 모델의 학습 데이터로도 쓸 수 있다고 황은 말한다.
국내 개발 논의에 주는 질문
국내 로봇·AI 개발에서도 같은 갈림길이 떠오를 수 있다. 시연 데이터를 더 쌓을지, 사람이 읽고 고칠 수 있는 코드로 신뢰성을 확보할지다. 지금까지 확인된 것은 하나다. 데이터 확대가 산업용 신뢰성을 보장한다는 증거는 아직 없고, 에이전틱 로보틱스 역시 범위가 제한된 사례에서 먼저 성과를 냈다.
