영국 AI 보안 연구소(AISI)가 7개 벤치마크에서 프런티어 모델을 다양한 컴퓨팅 예산으로 테스트한 결과를 3일 공개했다. 핵심 결론: 고정된 예산 상한이 AI 에이전트의 실제 능력을 체계적으로 낮게 측정하게 만든다.
AI 에이전트 성능은 테스트 시점에 허용된 처리 자원, 즉 토큰 예산이 늘수록 올라가는 곡선을 그린다. 곡선이 아직 오르는 구간에서 예산을 끊으면 측정값은 최솟값이 된다.
영역별 수치는 명확하다. 소프트웨어 엔지니어링 과제(TerminalBench 2.0, SWE-Bench Pro)에서 토큰 예산을 100만에서 1,000만으로 10배 늘리자 성공률이 약 25% 상승했다. 수학·학술 과제(Humanity's Last Exam)는 500만 토큰 예산까지 약 22% 향상됐다. 사이버보안 분야에서는 과제의 약 8%가 1,000만 토큰 초과 예산에서만 해결됐고, 일부는 5,000만 토큰이 필요했다.
단, 효과는 분야마다 다르다. 의료 과제 벤치마크인 HealthBench에서는 모든 모델이 표준 예산 안에서 성능 정체에 도달했다. AISI는 코드 실행이나 취약점 테스트처럼 에이전트가 자체 검증할 수 있는 과제에서 추가 컴퓨팅 효과가 크고, 피드백이 없거나 지연되는 과제에서는 효과가 미미하다고 분석했다.
AISI는 또 사람 전문가가 과제를 완료하는 데 걸리는 시간과 에이전트의 토큰 소비량이 거듭제곱 법칙을 따른다는 사실을 확인했다. 1분짜리 과제는 수천 토큰, 1시간짜리는 수백만, 1주일짜리는 수십억 토큰이 필요하다. METR의 소프트웨어 엔지니어링 과제 211개와 AISI의 사이버 과제 78개를 분석한 결과다. 사이버 과제 "The Last Ones"는 사람 전문가가 약 20시간 걸리는 과제인데, 테스트한 모든 모델이 3,000만 토큰 미만으로는 해결하지 못했다.
세대별 격차도 뚜렷하다. 최신 모델은 추가 컴퓨팅에서 구형 모델보다 훨씬 큰 이득을 얻는다. 능력 곡선은 세 축으로 변한다. 도달 범위(더 어려운 과제 해결), 신뢰성(동일 과제 성공률 상승), 효율(동일 과제에 필요한 토큰 감소)이다. 현재 프런티어 모델의 처리 가능 시간 범위는 250만 토큰 예산에서 약 40분이지만, 5,000만 토큰에서는 약 4시간으로 늘어난다. 프런티어 전체로는 같은 예산 구간에서 약 2시간에서 14시간으로 확장된다.
AISI는 이전에 사이버 과제 기준 프런티어 모델의 처리 가능 시간이 약 4.7개월마다 두 배가 된다고 추정했다. 이는 250만 토큰 고정 예산 기준이다. 5,000만 토큰 예산에서는 발전 속도가 약 60% 가파르다. 두 배 도달 주기가 67~91일에서 40~50일로 단축된다.
다만 진전이 균일하지는 않다. 과제의 약 10~30%에서 신형 모델이 이전 세대보다 낮은 점수를 기록했다. 테스트 모델에는 GPT-5, GPT-5.5, Opus 4.5, Opus 4.8, Sonnet 4.5가 포함됐다.
AISI는 현재 프런티어 모델을 여러 예산 수준에서 테스트하는 방식으로 전환했다. '최소 유의 예산' 개념을 도입해 추가 컴퓨팅에서 모델 성능 향상이 멈추는 지점을 확인한 뒤에야 결과를 유의미한 것으로 처리한다.
AISI는 보고서에서 "능력을 고정 점수가 아니라 컴퓨팅에 따른 곡선으로 보지 않으면 더 많은 자원을 투입했을 때 이 시스템이 무엇을 할 수 있는지 계속 놀라게 될 것"이라고 밝혔다.
벤치마크 점수를 성능 평가의 주요 지표로 삼는 국내 AI 개발 환경에도 시사점이 크다. 고정 예산 기반 벤치마크가 실제 배포 환경의 성능을 반영하지 못할 수 있다는 점에서, 컴퓨팅 예산을 변수로 포함한 평가 방식 도입이 필요하다.
