조립 작업자의 영상에는 완성품보다 많은 정보가 담긴다. 어느 손이 부품을 잡는지, 다른 손이 언제 공구로 향하는지, 부품이 미끄러질 때 어떻게 수습하는지가 모두 찍힌다. TwelveLabs는 이 디테일을 로봇 훈련 데이터로 쓸 수 있게 바꾸겠다고 나섰다.

한국인 창업자들이 세운 영상 AI 기업 트웰브랩스(TwelveLabs)는 Pegasus 1.6을 공개했다. 작업을 수행하는 사람이나 기계의 시점, 즉 1인칭(에고센트릭) 영상을 위한 기능을 추가한 모델이다. 이전 세대인 Pegasus 1.5는 영상을 시간 구간으로 나누고 구조화된 설명을 돌려줬다. 1.6은 여기에 1인칭 영상 전용 학습과 지원을 얹었다. 회사는 이전 버전이 이런 영상을 잘 다루지 못했다고 밝혔다.

손 하나, 동작 하나까지 라벨로

활용 방식은 이렇다. 고객이 필요한 범주와 항목을 정하면 모델이 영상을 그 기준으로 정리한다. 예컨대 조립팀이 부품 집기, 위치 잡기, 체결을 구간별로 나누고 각 손의 역할을 설명해 달라고 요청할 수 있다. 다만 이는 예시 시나리오이고, 실제 고객 도입 사례는 공개되지 않았다.

TwelveLabs가 내세운 워크플로는 다섯 가지다. 동작 단위 분할, 상세 캡션 생성, 영상 품질 선별, 이상 장면·중복 탐지, 민감 자료 사전 표시다. 품질 선별은 시야 가림, 카메라 흔들림, 불분명한 동작을 가려낸다. 이번 버전은 이미지 분석도 기본 지원해 같은 API로 정지 이미지를 처리할 수 있다.

이재성(Jae Lee) 대표는 VentureBeat 인터뷰에서 "이 모델들은 지금 데이터에 굶주려 있다"고 말했다. 원격 조종으로 시연 데이터를 모으려면 장비와 숙련된 조작자가 필요해 확장이 어렵다는 설명이다. 작업자가 카메라를 달고 일하는 영상은 로봇 없이도 시연을 확보하는 대안이 된다.

영상 이해와 로봇 동작은 별개

한계도 분명하다. 이 대표에 따르면 Pegasus는 팔다리 움직임을 설명하고 궤적을 대략 이해하지만, 이를 실행하는 데 필요한 정보를 모두 주지는 않는다. 압력, 촉각, 정밀 제어는 별도 문제다. 로봇 개발팀이 영상 정보를 센서·제어 시스템과 직접 연결해야 한다.

성능 검증은 비어 있다. 회사의 기술 자료는 동작 식별, 동작 수행 손 인식, 시간 흐름에 따른 동작 이해를 내부에서 평가했다고 적었지만 수치 점수나 경쟁 모델과의 재현 가능한 비교는 없다. 로봇 분야 고객의 검증 가능한 성과도 공개되지 않았다. 이 대표는 약 17년 분량의 1인칭 영상을 18시간 안팎에 처리했다고 소개했으나, 컴퓨팅 자원과 평가 조건은 밝히지 않았다.

경쟁 구도와 가격

데이터 준비 영역에서는 NVIDIA Cosmos Curator가 필터링·주석·중복 제거로 겹친다. Encord는 NVIDIA Cosmos Reason 2와 Embed를 통합해 영상 라벨 초안을 만든다. Google의 Gemini Robotics ER 2는 영상 해석과 작업 진행 추적에서 겹치지만 계획과 실행 조율에 무게를 둔다. 소스는 이들이 공통 기준으로 성능을 비교한 것이 아니라 업체 설명에 따른 기능 비교라고 선을 긋는다.

Pegasus 1.6의 공개 요금은 영상 1시간당 1.75달러(약 2,350원), 이미지 입력 100만 토큰당 3달러(약 4,030원), 출력 100만 토큰당 7.50달러(약 1만 원)다. 1,000시간을 한 번 처리하면 출력 비용 등을 빼고 1,750달러(약 235만 원)가 든다. 분할 요청에서 구간 정의마다 영상 길이가 곱해져 과금되는 점은 따져볼 대목이다. TwelveLabs는 공식 사이트에 이 가격이 두 배로 잘못 게시됐다가 VentureBeat에 확인해 줬다.

국내 개발자에게 남는 참고점

공장·물류 현장 작업 영상을 로봇 학습 재료로 쓰려는 국내 개발팀에도 시사점이 있다. 소스가 권하는 출발점은 제품 포장이나 특정 부품 조립 같은 범위가 좁은 작업 하나다. 영상에 세부가 충분한지, 자동 라벨이 전문가 판단과 맞는지, 보정에 시간이 얼마나 드는지를 먼저 확인한다. 작업자 촬영 동의와 영업 비밀 처리도 먼저 정리해야 한다. 소스는 민감 영상 자동 탐지가 검수를 돕는 도구일 뿐 촬영과 학습 사용 권한을 대신하지 않는다고 짚었다.

이미 로봇을 실험 중인 팀에는 하류 지표가 기준이다. Pegasus로 라벨링한 영상을 더하면 보류해 둔 예시에서 작업 성공률이 오르는지, 데이터 수집량과 개발 기간이 줄어드는지를 봐야 한다. 이 효과는 아직 공개된 증거가 없다.