DeepSeek V4 Flash가 OpenRouter 주간 토큰 사용량 기준 1위를 달리고 있다. 머신러닝 연구자 Nathan Lambert는 이 모델을 두고 "total monster"라고 표현했다. 그런데 실전 에이전트 테스트 결과는 달랐다.
AI 통합 플랫폼 Composio가 Claude Code, Codex, OpenCode 등 8개 에이전트 하네스에 V4 Flash를 올려 Gmail·GitHub·Slack·Google Sheets를 아우르는 30개 복잡한 멀티스텝 태스크를 실행했다. 총 240회 실행 중 129회(53.8%)만 통과했고, 30개 워크플로 전체를 모든 하네스에서 성공한 경우는 단 6개에 그쳤다.
▼ 벤치마크 순위 vs 에이전트 실전 성능
| 항목 | 결과 |
|---|---|
| OpenRouter 주간 사용량 순위 | 1위 |
| 에이전트 태스크 총 실행 횟수 | 240회 |
| 통과 횟수 | 129회 |
| 성공률 | 53.8% |
| 전 하네스 완주 워크플로 수 | 6 / 30 |
Composio의 테스트가 드러낸 핵심은 모델 자체의 원시 성능보다 오케스트레이션이 결과를 가른다는 점이다. 동일 모델이라도 하네스 구성, 툴 설정, 캐싱 방식, 재시도 정책, 프로바이더 스택에 따라 결과가 크게 달라졌다.
Greyhound Research의 Sanchit vir Gogia는 "벤치마크 점수는 프로덕션 준비도의 대리 지표가 아니다"고 짚었다. DeepSeek 자체 문서에도 특정 에이전트 환경에서 내장 V4 엔트리만으로는 호환성 오버라이드 없이 안정적 운영이 어렵다는 내용이 담겨 있다.
가격 최대 1,100% 인상
DeepSeek는 7월 31일 V4 Flash 공개 베타, 8월 13일 V4 Pro 정식 출시에 이어 두 모델 모두 가격 인상을 예고했다.
▼ V4 Flash·Pro 신규 가격 구조
| 모델 | 구분 | 입력 ($/백만 토큰) | 출력 ($/백만 토큰) | 인상률 |
|---|---|---|---|---|
| Flash | 비피크 | 0.22 | 0.66 | 57~371% |
| Flash | 피크 | 0.44 | 1.32 | — |
| Pro | 비피크 | 0.66 | 1.98 | 51~355% |
| Pro | 피크 | 1.32 | 3.96 | — |
캐시 히트(프롬프트 재사용) 요금은 최대 1,100% 오른다. DeepSeek는 하루 24시간 중 17시간을 절반 가격으로 유지해 "유연한 워크로드 스케줄링"을 유도하겠다고 밝혔다.
Gogia는 이를 단순한 가격 인상이 아니라 "추론 타이밍을 경제 변수로 만드는 가격 아키텍처"로 해석했다. 배치 평가, 합성 데이터 생성, 야간 개발 실행 같은 대기 가능한 작업은 저렴한 시간대로 밀고, 실시간 에이전트 작업은 피크 요금을 감수해야 한다.
기술 분석가 Carmi Levy는 인상 폭이 DeepSeek의 가격 경쟁력을 일부 갉아먹겠지만, OpenAI·Anthropic·Google 등 경쟁 모델 대비 여전히 낮은 수준이라고 평가했다. "지금은 여전히 비즈니스 케이스를 만들기 쉽다. 다만 계산이 더 정밀해져야 한다."
기업 도입, 어디에 쓸 수 있나
284억 파라미터의 Flash는 속도·볼륨, 1.6조 파라미터의 Pro는 복잡한 워크플로에 최적화됐다. 두 모델 모두 저·고·최대 세 단계의 추론 강도와 CoT(chain-of-thought) 사고 모드를 지원한다.
기업 환경에서 V4 Flash의 활용 가능 영역과 제약을 정리하면 다음과 같다.
▼ 기업 도입 시 활용 영역 vs 제약
| 구분 | 내용 |
|---|---|
| 적합 워크로드 | 배치 처리, 반복 루틴, 번역, 코드 보조 |
| 부적합 워크로드 | 민감 데이터, 고위험 의사결정, 실시간 운영 에이전트 |
| 필수 요건 | 권한 범위 제한, 감사 가능성, 실패 처리, 폴백 모델 |
| 미해결 과제 | 보안·데이터 거버넌스, 엔터프라이즈 계약 사례 부재 |
EmpirioLabs AI CEO Adam Dalloul은 100개 이상 모델을 단일 API로 서비스하면서 "Flash는 일상 작업, Pro는 고난도 작업"으로 역할을 나눈다고 설명했다. 한 기업 고객은 속도·비용·"적절한 지능 임계치"를 기준으로 여러 모델을 비교한 끝에 V4 Flash만 채택했다.
Meta 소프트웨어 엔지니어 Naman Ahuja는 개인 프로젝트로 V4 Flash를 활용해 홈 자동화 에이전트를 구축했다. 외출 시 온도 조절기 절전 전환, Ring 보안 시스템 활성화, 도어 잠금을 하나의 플로로 연결했다. 그가 얻은 교훈은 "모델이 행동을 취할 수 있게 되면 지능만큼 신뢰성이 중요하다"는 것이다. 실패한 텍스트 응답은 불편함이지만, 운영 워크플로에서 실패한 행동은 실제 결과를 낳는다.
국내 개발자에게 시사하는 점
국내 개발자와 기업이 DeepSeek V4 Flash 도입을 검토할 때 벤치마크 순위만으로 판단하기 어렵다는 점이 이번 테스트로 확인됐다. 어떤 에이전트 프레임워크와 조합하느냐, 어떤 프로바이더가 서빙하느냐에 따라 동일 모델의 실전 성능이 달라진다. Gogia의 표현을 빌리면 "Flash를 선택하면 조달 질문 하나가 해결되고 세 가지가 새로 열린다 — 누가 서빙하는가, 어디서 실행되는가, 어떤 통제가 둘러싸는가."
