Artificial Analysis의 Intelligence Index 점수판에서 GPT-6 Astra는 전작 Sol과 나란히 61점으로 묶여 있었다. 그런데 같은 시점, Epoch AI는 267개 모델 중 Astra를 169점으로 1위에 올렸고, ARC-AGI-3는 7.78%였던 Sol 대비 62.7%라는 도약을 기록했다. OpenAI 자체 평가에서는 ARC-AGI-3 99.9%라는 숫자가 나왔다. 세 기관이 같은 모델을 재고 전혀 다른 결론을 내놓은 것이다.
이 불일치가 촉발한 회의론은 Artificial Analysis를 움직였다. 회사는 최근 Intelligence Index v4.2를 공개하며 평가 체계를 전면 손질했다.
무엇이 바뀌었나
v4.2에서 가장 눈에 띄는 변화는 두 가지 신규 벤치마크 추가다. 실무 지식 작업을 측정하는 AA-Briefcase와 Surge AI의 PDF 문서 분석 벤치마크 GDP.pdf가 새로 들어왔다. 반면 GPQA-Diamond는 제거됐다. 모델들이 이미 사실상 풀어버린 벤치마크를 계속 들고 있을 이유가 없다는 판단이다.
구조적으로 더 중요한 변화는 비공개 테스트 데이터 비중을 전체 가중치의 40%로 높인 것이다. 공개 벤치마크는 학습 데이터에 포함될 수 있어 모델이 시험 문제를 외워두는 방식으로 점수를 올릴 여지가 있다. 비공개 데이터 비중을 늘리는 건 그 허점을 좁히는 직접적 처방이다. 여러 벤치마크의 채점 오류도 수정했고, 점수 안정성을 높이기 위해 채점 방식도 조정했다.
개편 이후 순위
새 인덱스에서 GPT-6 Astra는 전작 대비 4점 오른 점수를 받았다. 이전 버전에서 두 모델이 61점으로 동점이었던 것과 달리, 이번엔 Astra가 Sol보다 앞서게 됐다. 1위는 Anthropic의 Claude Fable 5.1이고, Astra가 2위, Meta(최신 모델)가 3위다. 비용 대비 성능 비율에서는 Anthropic, OpenAI, Meta, Zhipu AI가 공동 선두다.
Artificial Analysis는 작업당 토큰 사용량에서도 Astra가 모든 프론티어 모델 중 가장 적다고 밝혔다. 이는 참조 소스의 수치와도 맞닿는다. Astra는 Sol 대비 3분의 1, Opus 5 대비 5분의 1 수준의 연산 단계만 쓴다고 소스는 전한다.
▼ Intelligence Index v4.2 주요 모델 비교 (출처: Artificial Analysis)
| 모델 | AA Intelligence Index | 비고 |
|---|---|---|
| Claude Fable 5.1 | 1위 | 전체 선두 |
| GPT-6 Astra | 2위 | 전작 대비 +4점 |
| Meta (최신) | 3위 | - |
왜 지금 이 개편인가
Artificial Analysis는 주요 모델 출시 시기에는 점수 안정성을 위해 업데이트를 자제해 왔다고 밝혔다. 그러나 리더보드 상위권이 너무 빠르게 움직이면서 중간 업데이트가 불가피해졌다는 설명이다. 버전 5는 8개월째 개발 중이며 단계적으로 공개할 예정이라고 했다.
이 해명 뒤에는 좀 더 구조적인 맥락이 있다. GPT-6 Astra를 둘러싼 점수 불일치는 단순한 측정 오차가 아니다. ARC Prize는 OpenAI 자체 하네스를 쓴 99.9%와 공용 하네스 기준 62.7%가 서로 다른 조건에서 나온 숫자라고 명시했다. Epoch AI는 Astra와 Fable 5.1을 서로 다른 벤치마크 조합으로 측정했고, 코딩 항목에서는 Astra에 기록이 하나뿐이었다. 같은 모델을 어떤 조건에서 재느냐에 따라 결과가 달라지는 현실이 이번 논란의 핵심이었다.
Artificial Analysis의 개편은 이 문제에 대한 하나의 응답이다. 비공개 데이터 비중 확대는 '조건 조작'을 어렵게 만들고, 포화 벤치마크 제거는 이미 의미를 잃은 숫자를 걷어낸다. 실무 작업 기반 신규 항목 추가는 실제 사용 맥락에 가까운 측정을 지향한다.
한국 기업에 남는 질문
글로벌 벤치마크 신뢰도 논쟁은 한국 AI 기업에도 무관하지 않다. 해외 시장에 진출하거나 글로벌 파트너십을 추진할 때, 어떤 벤치마크 기준으로 성능을 입증하느냐는 실질적 문제다. 평가 기관마다 방법론이 다르고, 같은 모델도 조건에 따라 점수가 크게 달라지는 환경에서는 숫자 하나를 내세우는 것만으로는 부족하다. 어떤 조건에서, 어떤 기준으로 측정했는지를 함께 제시하는 방식이 점점 더 중요해지고 있다.
