팬케이크가 뒤집혔다. 로봇이 뒤집는 동작을 단 한 번도 학습한 적 없는데도.
Skild AI 공동창업자 겸 CEO Deepak Pathak(디팍 파탁)은 이 장면을 보고 수백만 시간 분량의 학습 데이터를 역추적했다. 뒤집는 동작의 예시는 단 하나도 없었다. 로봇은 주걱이 움직이는 방식을 관찰해 동작을 스스로 조합해냈다.
이 결과가 나온 배경에 S1이 있다. Skild AI가 최근 공개한 플래그십 로봇 파운데이션 모델이다.
프롬프트에 영상을 넣는다
S1의 핵심은 '문맥 학습(in-context learning)'이다. 사람이 작업하는 영상을 프롬프트에 넣으면 로봇이 그대로 따라 한다. 별도의 재학습(post-training) 없이.
파탁은 The Robot Report에 이렇게 설명했다. "사람이 무언가를 하는 영상을 프롬프트, 즉 모델의 문맥에 추가하면 로봇이 그냥 따라 합니다. 우리가 보여주는 작업은 매우 복잡하고 긴 호흡입니다. 3~4초짜리 단순 작업이 아니에요."
S1이 다루는 작업은 화분 분갈이, 커피 내리기, 팬케이크 굽기처럼 최대 10분이 걸리는 장기 작업이다. 기존 로봇 AI가 짧고 단순한 반복 동작에 집중했던 것과 대조적이다.
데이터 소스 네 가지, 모두 쓴다
파탁은 로봇 학습 데이터를 네 종류로 구분한다. 원격 조종(teleoperation), 사람 영상, 시뮬레이션, 데이터 수집 장갑이다.
원격 조종 데이터는 품질이 높지만 수집 속도가 느리고 다양성이 떨어진다. 사람 영상은 풍부하고 다양하지만 로봇에 직접 적용하기 어렵다. 시뮬레이션은 확장성이 뛰어나지만 현실과 괴리가 있다. 장갑 방식은 원격 조종보다 확장성이 좋지만 로봇 적용성은 조금 낮다.
파탁의 판단은 단호하다. "어느 회사든 이 중 하나에만 집중합니다. 하지만 제1원칙에서 생각하면, 황금 경로 같은 건 없어요. 한 소스의 장점이 다른 소스의 단점을 보완하기 때문에 모두 써야 합니다."
Skild AI는 이 네 가지를 조합해 S1을 사전학습시켰다. LLM이 웹 텍스트·코드·책을 함께 학습한 것과 같은 논리다.
'옴니바디' — 어떤 형태의 로봇이든
S1은 특정 산업이나 로봇 형태에 묶이지 않는다. Skild AI는 이를 '옴니바디(omni-bodied)'라고 부른다. 4족 보행 로봇, 휴머노이드, 고정형 팔 어디에도 올라간다.
파탁은 휴머노이드 적용 사례도 언급했다. "사지가 망가져도 즉석에서 적응하는 결과를 확보했습니다." 다만 이는 이전 버전 모델에서 나온 결과다. S1을 휴머노이드 규모로 확장하는 작업은 아직 시간이 부족해 진행 중이다. 향후 휴머노이드 성능 개선에 더 집중할 계획이라고 밝혔다.
LLM의 역사와 겹치는 지점
파탁은 지금 로봇 AI에서 일어나는 전환을 LLM의 역사와 직접 비교한다.
"GPT 계열 이전의 언어 모델은 모든 태스크마다 파인튜닝해야 했습니다. 트랜스포머가 발명된 뒤에도 새 벤치마크, 새 수학 문제마다 재학습이 필요했죠. 언어에서 큰 변화가 온 건 ChatGPT로 전환됐을 때입니다. 프롬프트만 쓰면 모델이 따라가는 방식으로요."
그렇다면 로봇도 그 순간에 왔을까. 파탁의 답은 조심스럽다. "완전히 가정에 배포할 준비가 됐냐고요? 아직은 아닙니다. 하지만 우리가 믿는 것이 올 수 있다는 첫 신호입니다."
배포가 다음 과제
2023년 창업한 Skild AI는 지금까지 17억 달러에 가까운 투자를 유치했다. S1 공개와 함께 Fetch Robotics 인수도 발표했다. 파탁은 인수 목적을 명확히 했다. "배포하고 확장할 수 있는 적합한 인재를 확보하기 위해서입니다."
파탁은 수 주 안에 S1이 실제 생산 현장에서 활용되는 사례를 공개하겠다고 예고했다. "S1이 이미 생산에서 도움을 주고 있고, 더 빠르게 고객을 확보하는 데 기여하고 있습니다."
한국 제조업에 던지는 질문
S1이 제기하는 질문은 한국 로봇 생태계에도 직접 닿는다. 파운데이션 모델 기반 제어 아키텍처로 전환하려면 네 가지 데이터 소스를 체계적으로 수집·결합하는 인프라가 먼저다. 국내 로봇 스타트업 다수는 특정 공정에 최적화된 태스크별 제어 방식에 의존하고 있어, 범용 모델로 전환할 때 학습 데이터 부족이 가장 큰 병목이 될 수 있다. 완성차·반도체·물류 같은 제조 현장이 보유한 작업 영상과 센서 데이터가 실질적인 협력 자산이 될 수 있다는 뜻이기도 하다.
