2026년 9월 1일, Google DeepMind가 조용히 숫자 하나를 공개했다. Gemini 에이전트 비디오 이해(agentic video understanding) 기능을 켜면 토큰 소비가 최대 88% 줄고, 비용은 최대 66% 내려가며, 정확도는 최대 7% 오른다. 같은 주 Runway는 코드를 한 줄도 실행하지 않고 UI를 실시간으로 그려내는 Solaris를 발표했다. 한쪽은 에이전트가 비디오를 읽는 방식을 바꿨고, 다른 쪽은 에이전트가 화면을 출력하는 방식을 통째로 뒤집었다.
고정 프레임의 한계를 에이전트로 넘다
기존 비디오 분석은 단순했다. 모델이 초당 1프레임(1 FPS) 고정 속도로 영상을 통째로 집어삼켰다. 90분짜리 강의나 수 시간짜리 녹화를 처리하려면 개발자는 두 가지 중 하나를 골라야 했다. 토큰을 수백만 개 쏟아붓거나, 중요한 장면을 놓치는 위험을 감수하거나.
Google DeepMind의 새 기능은 이 구조를 바꾼다. 에이전트 비디오 이해는 모델이 목표 지향적으로 영상을 탐색한다. '무엇을', '어떤 속도로', '어떤 방식으로(프레임·오디오·자막 중)' 볼지를 모델이 스스로 결정한다. 필요한 구간만 골라 내부 도구로 로드하는 에이전트 루프 방식이다. 개발자가 이 로직을 직접 짜야 했던 작업을 Gemini가 자동으로 처리한다.
성능 개선은 특히 장시간 영상에서 두드러진다. 10분짜리 튜토리얼부터 90분 강의, 수 시간 녹화까지 — 정적 처리가 가장 비효율적이던 구간이 정확히 에이전트 방식이 빛나는 구간이다. Gemini 3.7 Flash에 이 기능을 적용하면 정확도·비용 효율 양쪽에서 테스트 모델 중 최상위 조합을 기록했다고 Google DeepMind는 밝혔다.
구체적인 활용 시나리오도 나왔다. 1 FPS에서 놓치기 쉬운 컷 경계를 정확히 짚는 서브초(sub-second) 구간 검색, 수 시간 영상에서 특정 정보를 찾는 '긴 영상 바늘 찾기', 빠른 움직임을 잡기 위해 해당 구간만 높은 FPS로 재샘플링하는 이상 감지, 반복 동작과 개별 사물을 추적하는 카운팅이 대표 사례다.
기능은 Gemini API를 통해 Google AI Studio와 Gemini Enterprise Agent Platform에서 사용할 수 있다. 지원 모델은 Gemini 3.7 Flash, 3.6 Flash, 3.5 Flash-Lite 세 가지이며, 추가 요금 없이 표준 토큰 가격이 적용된다. API 설정에서 processing을 "agentic"으로 바꾸는 것으로 활성화된다. Google은 Gemini 앱 전체 사용자에게도 곧 롤아웃할 예정이며, YouTube의 'Ask YouTube' 기능에도 이 기술을 적용한다고 밝혔다.
Runway Solaris: UI를 코드가 아닌 프레임으로
같은 주 Runway가 공개한 Solaris는 반대쪽에서 같은 문을 두드린다. 에이전트가 비디오를 읽는 게 아니라 화면 자체를 실시간으로 생성한다.
Solaris는 Runway가 '인터페이스 월드 모델(Interface World Models)'이라 부르는 새 카테고리의 첫 번째 모델이다. 작동 방식은 기존 소프트웨어와 근본적으로 다르다. 디자인을 코드로 변환하는 대신, 모델이 720p 해상도로 UI 자체를 프레임 단위로 렌더링한다. 클릭·드래그·음성 명령에 즉각 반응한다. 운영체제가 화면을 결정하고 앱이 업데이트 전까지 고정 상태를 유지하는 기존 구조와 완전히 다른 방식이다.
기반 기술은 Runway의 비디오 모델 Gen-4.5와 세계 모델 GWM-1이다. 언어 모델이 인터페이스 변화를 결정하면, 세계 모델이 각 프레임을 렌더링하는 구조다.
Runway가 제시한 사용 시나리오는 구체적이다. 온라인 쇼핑에서 사용자가 셔츠를 자신의 사진 위로 드래그하면 바로 착용 모습이 보이는 인터페이스, 가구 배치 앱에서 "테이블 옮겨줘"라고 말하면 장면이 즉시 반응하는 인테리어 플래닝, 챗봇의 텍스트 답변 대신 다음 단계를 시각적으로 보여주는 튜토리얼이 그것이다.
Runway의 더 큰 주장은 '앱'이라는 고정 단위의 소멸이다. 쇼핑 앱, 메시지 앱, 예약 앱처럼 기능별로 분리된 카탈로그 대신, 운영체제가 상황에 맞는 인터페이스를 그때그때 생성한다는 구상이다. 온라인 스토어는 모든 사람이 똑같이 보는 고정 레이아웃이 아니라 사용자마다 달라지는 생성 환경이 된다.
Runway는 또 Solaris를 AI 에이전트의 훈련 환경으로도 본다. 호텔 예약처럼 현실 웹사이트에서 실패하는 에이전트 작업의 원인 중 하나가 고정 레이아웃에만 훈련된 탓이라는 분석이다. 생성형 인터페이스는 이 문제의 우회로가 될 수 있다.
다만 Runway 스스로도 한계를 인정한다. 인터페이스에서 핵심인 안정적이고 읽기 쉬운 텍스트 렌더링은 여전히 어려운 문제다. 긴 세션 유지와 신뢰성도 열린 질문이고, 그럴듯하게 보이지만 틀린 결과는 아무것도 없는 것보다 나쁠 수 있다. 스크린 리더 같은 보조 기술과의 호환성도 과제다. Solaris는 현재 연구 단계로, Runway는 파트너를 찾고 있으며 얼리 액세스 신청을 받고 있다.
에이전트 파이프라인의 입력과 출력이 동시에 열렸다
두 발표를 나란히 놓으면 방향이 보인다. Gemini 에이전트 비디오 이해는 에이전트가 비디오라는 비정형 입력을 다루는 비용을 현실적인 수준으로 낮췄다. Solaris는 에이전트가 화면이라는 출력을 코드 없이 생성하는 경로를 열었다. 입력 쪽과 출력 쪽이 같은 주에 동시에 움직였다.
국내 콘텐츠 제작과 소프트웨어 개발 파이프라인에 미치는 영향은 구체적이다. 비디오 분석 비용이 88% 줄면, 지금까지 비용 탓에 포기했던 장시간 영상 자동 편집·검색·요약 작업이 경제적으로 가능해진다. OTT 플랫폼의 콘텐츠 메타데이터 생성, 교육 플랫폼의 강의 영상 자동 색인, 미디어 아카이브 검색이 직접 수혜 영역이다. Solaris 방향의 기술이 성숙하면, 앱 개발 주기 자체가 달라질 수 있다 — 고정 UI를 코드로 유지하는 대신 사용자 맥락에 맞게 생성되는 인터페이스가 가능해지기 때문이다.
두 기술 모두 지금 당장 완성된 솔루션은 아니다. Gemini 에이전트 비디오 이해는 API를 통해 즉시 쓸 수 있지만 Solaris는 연구 단계다. 그러나 에이전트가 화면을 읽고 그리는 두 능력이 같은 시점에 가시화됐다는 사실은, 에이전트 파이프라인 설계는 다음 단계로 넘어가고 있다.
