Epoch AI와 METR가 공개한 MirrorCode 벤치마크에서 AI 모델들이 원본 소스 코드 없이 프로그램 전체를 처음부터 재구현하는 과제를 수행했다. 가장 큰 태스크 하나를 완료하는 데 AI는 19일간 쉬지 않고 실행됐고, 비용은 2,600달러(약 401만 원)에 달했다.
벤치마크 대상은 Unix 유틸리티, 데이터 직렬화, 생물정보학, 인터프리터, 정적 분석, 암호화, 압축 등 25개 프로그램이다. AI가 만든 결과물은 개발 중 한 번도 보지 못한 숨겨진 엔드투엔드 테스트까지 통과해야 한다.
▼ MirrorCode 주요 모델 해결률 비교
| 모델 | 해결률 (%) |
|---|---|
| Claude Opus 4.7 | 56 |
| GPT-5.5 | 44 |
| Gemini 3.1 Pro Preview | 32 |
Claude Opus 4.7은 Go 코드 약 16,000줄(약 약 39만 원), 명령어 40개 이상으로 구성된 생물정보학 툴킷 gotree를 14시간 만에 재구현했다. 사람 엔지니어라면 AI 도움 없이 2~17주가 걸리는 작업이다. 이 태스크의 실행 비용은 251달러(약 39만 원)였다.
태스크는 소형·중형·대형 세 등급으로 나뉜다. uuid, parseqsv 같은 소형 프로그램은 모든 모델이 안정적으로 처리했다. 반면 대형 프로그램은 테스트한 모델 가운데 어느 것도 완전히 풀지 못했다. 완전 해결에 실패한 경우에도 모델들은 대체로 테스트의 90% 이상을 통과했다.
비용 효율성은 모델마다 다른 방향으로 움직인다. GPT-5.5는 GPT-5 대비 동일 태스크에 3배 비용이 들었고, Claude Opus 4.7은 Claude Opus 4.1보다 3배 저렴하게 실행됐다.
Epoch AI는 1년 전 최고 모델이라면 해결률 30% 수준에 머물며 캘린더 유틸리티 정도의 단순 프로그램만 처리할 수 있었다고 밝혔다. 빠른 성능 향상이 이어지고 있지만, 대형 태스크의 벽은 아직 남아 있다.
한 가지 주의 사항이 있다. MirrorCode는 오픈소스 프로그램을 대상으로 삼기 때문에 모델이 훈련 중 원본 코드를 이미 본 적 있을 수 있다. Epoch AI는 "결과가 암기에 의해 지배된 것은 아니지만, 암기가 성능에 기여할 가능성을 배제할 수 없다"고 밝혔다.
Epoch AI는 스캐폴드와 25개 대상 프로그램 중 22개를 오픈소스로 공개했다. 6개 프로그래밍 언어에 걸쳐 132개 태스크 인스턴스를 포함하며, 3개 프로그램은 테스트 무결성을 위해 비공개로 유지한다.
국내 AI 코딩 도구 도입을 검토하는 팀이라면 MirrorCode 결과를 참고 지표로 활용할 수 있다. 장기 실행 태스크일수록 비용이 급격히 늘고 모델 간 비용 구조 차이가 크다는 점이 이번 벤치마크에서 확인됐다.
