중국 난징대와 AI 기업 SenseTime 등 여러 대학 연구진이 스마트폰 앱을 직접 조작하는 에이전트 OpenMobile-2를 공개했다. 핵심 결과는 하나다. 데이터 양이 같다면 에이전트가 얼마나 다양한 앱으로 연습했는지가 성능을 가른다.
한눈에 보는 OpenMobile-2
- 모델: Qwen3.5 90억 파라미터, Qwen3.6 270억 파라미터 기반 두 종
- 공개 범위: 학습 환경, 데이터, 재현 방법 전체
- 연습 환경: 직접 재구현한 앱 35개를 포함해 110개 이상
- 생성 데이터: 예시 작업 흐름 약 11,600개, 성공 여부를 자동 확인하는 연습 과제 2,000개 이상
- 교사 모델: Google의 Gemini 3.1 Pro
연구진은 큐레이션된 데이터 대부분이 대기업 안에 묶여 있어 오픈 모델이 뒤처졌다고 지적한다. OpenMobile-2는 이 격차를 줄이려는 시도다. 다만 예시를 만든 교사 모델이 독점 모델이므로, 사실상 폐쇄형 시스템에서 배운 결과이기도 하다.
실제 앱 대신 앱을 다시 만든 이유
실제 앱으로 학습하면 로그인, 실결제, 상태 초기화 불가가 걸림돌이다. 비용이 크고 같은 조건을 반복하기 어렵다. 연구진은 타오바오, JD, DiDi, 메이퇀 등 주로 중국에서 쓰는 앱 35개와 Slack, Google Drive 같은 글로벌 서비스를 재구현했다. 기존 시뮬레이션과 안드로이드 에뮬레이터 앱을 합쳐 연습장은 110개 이상이 됐다.
- 사람 검수자가 원본과 비교해 업무 흐름과 화면이 맞을 때까지 다듬었다
- 주문, 예산, 여행 계획은 세션이 바뀌어도 유지된다
- 앱 사이 데이터는 클립보드로 넘긴다
- 시뮬레이션은 시작 상태로 자동 초기화된다
- 에이전트는 스크린샷만 보며 앱 내부 데이터에는 접근하지 못한다
벤치마크 결과
▼ 27B 모델 기준 벤치마크 점수 변화 (출처: 논문 보고치)
| 벤치마크 | 이전 | 이후 | 비고 |
|---|---|---|---|
| AndroidWorld | 67.1 | 79.9 | OpenMobile-1은 64.7 |
| MobileWorld | 35.9 | 50.4 | 여러 앱에 걸친 긴 과제 |
| SPA-Bench (실기기) | 31.9 | 59.6 | 오픈 모델 중 최고라고 연구진 주장 |
9B 모델은 AndroidWorld에서 54.3점에서 74점으로 올랐다. 27B 모델은 SPA-Bench에서 Gemini 3.1 Pro만 앞섰다고 연구진은 밝혔다. 오픈 모델이 독점 모델과 겨룰 수 있다는 결론은 이 벤치마크 범위 안에서의 결과다.
앱 다양성 vs 데이터 양
연구진은 데이터 양을 고정하고 연습한 앱 수만 늘렸다. 처음 보는 앱에서의 성공률이 60.7%에서 67.5%로 올랐다. 같은 데이터 예산이라면 소수 앱의 예시를 더 쌓는 것보다 앱 종류를 넓히는 쪽이 낫다는 뜻이다.
강화학습은 효과가 제한적이었다. 학습 환경과 비슷한 환경에서 주로 이득이 났고, 27B 모델은 AndroidWorld에서 오히려 80.8점에서 79.9점으로 소폭 떨어졌다.
직접 명령 도구: 실험적 접근
시뮬레이션 앱 50개 이상은 "장바구니 담기" 같은 직접 명령을 제공한다. 에이전트는 메뉴를 거치는 화면 조작과 직접 명령을 상황에 따라 섞어 쓴다.
- 별도 훈련이 없으면 모델은 이 지름길을 대체로 무시한다
- 훈련 후에는 최대 10.3%p 더 많은 과제를 풀고 단계는 약 5개 줄었다
- 학습 때 보지 못한 도구에도 이 능력이 이어진다고 연구진은 밝혔다
- 이 인터페이스는 아직 시뮬레이션 앱에만 있고, 연구진도 실험적 접근이라 부른다
자체 제작한 215개 과제 벤치마크는 언어모델 대신 실행 전후 앱 저장 데이터를 비교하는 프로그램이 성공을 판정한다. 학습 과제와 테스트 과제의 중복은 경미했다고 한다.
국내 앱 에이전트 개발에 주는 점검 포인트
이번 연구가 다룬 앱은 중국 앱과 글로벌 서비스다. 카카오톡이나 쿠팡 같은 국내 앱에서 같은 효과가 나온다는 근거는 소스에 없다. 다만 "같은 데이터 양이면 앱 종류를 넓힌다"는 결과는 국내 앱용 에이전트의 학습 데이터 구성을 검토할 때 참고할 만하다. 소수 앱의 작업 흐름을 깊게 쌓을지, 여러 앱으로 넓힐지 비교 실험이 필요하다.
같은 시기 다른 접근
- Microsoft Research: 2025년 연구에서 API 에이전트는 더 신뢰할 수 있고 GUI 에이전트는 더 유연하다고 분류했다. 모바일 앱은 외부 인터페이스가 없는 대표 사례로 꼽혔다
- Oppo: 오픈 에이전트 X-OmniClaw가 실기기에서 타오바오, 메이퇀 등의 이전 경로를 딥링크로 재생한다
- Google: Gemini 3.5 Flash에 스마트폰 제어를 직접 넣었다
