Artificial Analysis가 공개한 AA-Briefcase 벤치마크에서 최고 모델조차 실제 지식 업무를 완전히 해결한 비율은 3%에 불과했다.
AA-Briefcase는 슬랙 스레드, 이메일, 회의록, 대용량 데이터 내보내기 파일 등 수천 개의 파편화된 소스를 바탕으로 수 주에 걸친 지식 업무 프로젝트를 AI에게 수행하게 한다. 실제 기업 환경을 모사한 설계다.
1위를 차지한 Anthropic의 Claude Fable 5는 루브릭 통과율이 가장 높았지만, 모든 평가 기준을 충족한 과제는 91개 중 단 3%였다. 31개 과제에서는 어떤 모델도 50%를 넘지 못했다.
▼ AA-Briefcase 주요 결과 요약
| 항목 | 수치 |
|---|---|
| 전체 과제 수 | 91개 |
| 최고 모델 완전 해결률 | 3% (Claude Fable 5) |
| 어떤 모델도 50% 미달 과제 | 31개 |
| 과제당 비용 최저 | 약 $0.04 (DeepSeek V4 Flash) |
| 과제당 비용 최고 | $31 이상 (Claude Fable 5) |
| 비용 격차 | 800배 이상 |
실패 유형은 모델 성능에 따라 달랐다. 성능이 낮은 모델은 관련 파일을 찾지 못하거나 사용할 수 없는 결과를 내놓는 식의 기초적 실행 오류를 범했다. 반면 성능이 높은 모델은 명확한 요건은 충족하면서도 여러 소스를 종합해야만 파악할 수 있는 세부 사항을 놓치는 방식으로 실패했다. 오류가 더 조용하고 발견하기 어렵다는 점에서 오히려 위험할 수 있다.
국내 기업들이 AI를 업무에 도입할 때도 같은 한계에 부딪힌다. 단순 요약이나 초안 작성에서는 효과를 보더라도, 사내 여러 시스템의 정보를 종합해 판단해야 하는 실제 지식 업무에서는 AI 단독 처리에 의존하기 어렵다. AA-Briefcase 결과는 AI를 보조 도구로 활용하면서 최종 판단과 검토는 사람이 맡는 인간-AI 협업 구조가 현 단계에서 현실적 선택임을 보여준다.
