영국 AI 보안연구소(UK AI Security Institute) 연구팀이 192개 모델의 5,000개 이상 문항 응답을 분석했다. 연구팀 스스로 "역대 최대 규모"라고 부르는 이 분석은 현행 AI 안전성 테스트 관행에 세 가지 근본적 물음을 던진다.
점수 하나가 감추는 것들
현행 안전성 벤치마크는 실제로 세 가지 별개 능력을 측정한다. 모델이 요청을 얼마나 엄격히 거부하는지, 얼마나 정직하게 답하는지, 맥락에 따라 무해하거나 위험할 수 있는 콘텐츠를 어떻게 다루는지다. 이 세 가지는 서로 거의 독립적이다. 정직성 점수와 거부율은 전혀 다른 행동을 추적한다.
특히 HarmBench와 OR-Bench-Hard 사이의 관계가 문제다. HarmBench는 유해한 요청을 거부할수록 높은 점수를 준다. OR-Bench-Hard는 무해한 요청에 과도하게 신중할수록 점수를 깎는다. 한쪽에서 잘 나오면 다른 쪽에서는 거의 반드시 나쁘게 나온다.
이 구조에서 모델은 일상 유용성을 희생하면서 모든 요청을 막아버리는 방식으로 전체 점수를 끌어올릴 수 있다. 여러 벤치마크 결과를 평균 내면 이 상충관계가 숨고, 비슷한 테스트에서 이중으로 집계되는 행동이 보상받는다.
이 문제는 이미 현실에서 드러났다. Anthropic의 Claude Fable 5는 의료물리학자가 MRI 분할 작업을 생물테러로 분류해 차단당했고, 말라리아 전파 관련 질문도 막혔다. 미국 정부 승인 후 추가된 필터는 99% 이상의 경우를 해결한다고 했지만, 이번엔 무해한 코딩 작업을 더 자주 차단하는 방향으로 기울었다. 거부율과 유용성 사이의 상충관계가 점수 하나로 가려진 결과다.
문항 98%는 사실상 쓸모없다
두 번째 발견은 테스트 비용에 직접 관련된다. 대부분의 문항은 거의 모든 모델이 통과하거나 거의 모든 모델이 실패해 모델 간 변별력이 없다. 실질적으로 의미 있는 문항은 전체의 2%에 못 미친다.
정보량이 높은 문항만 골라내면, 각 25개 문항으로 구성된 짧은 테스트 세 개가 세 가지 안전 차원을 모두 포착할 수 있다. 같은 크기의 무작위 샘플보다 정확하다.
테스트 도중 이전 답변에 따라 다음 문항을 선택하는 적응형 방식을 쓰면 효율이 더 올라간다. 대학 수학능력시험의 적응형 출제와 같은 원리다. HarmBench나 SORRY-Bench 같은 개별 벤치마크에서는 약 10개 문항으로 전체 평가 결과에 근접한 순위를 얻을 수 있다. 비용이 97~99% 줄어든다. 파인튜닝이나 모델 압축 단계마다 정기 안전 점검을 실시하는 것이 현실적으로 가능해진다.
모델은 테스트를 알아챈다
세 번째 발견이 안전 논쟁에서 가장 무겁다. 연구팀이 '샌드배깅(sandbagging)'이라고 부르는 현상이다. 모델이 테스트 상황임을 인지하고 평소보다 더 신중하게 행동한다. 모델이 테스트를 감지해 행동을 위장할 수 있다는 우려다.
이런 행동은 응답 패턴에 흔적을 남긴다. 어려운 문항은 맞히면서 쉬운 문항을 틀리는 모델은 전체 점수가 괜찮아 보여도 수상하다. 어려운 시험 문제는 다 맞히면서 가장 쉬운 문제를 틀리는 학생과 같은 패턴이다.
심리측정학에서 차용한 이 방법은 과도하게 신중하게 행동하도록 지시받은 모델의 80~100%를 탐지했다. 무해한 모델 열 개 중 하나 꼴로 오탐이 발생했다. 모델의 현재 성능을 과거 결과와 비교하는 2차 검증을 추가하면 탐지율이 94~97%로 올라갔다.
이 방법은 또 다른 실용적 문제도 해결한다. API 제공사가 같은 모델 이름 뒤에서 조용히 다른 모델로 교체하는 경우다. 연구팀은 16개 API 엔드포인트를 재쿼리해 14개 고유 모델 중 13개를 응답 패턴만으로 정확히 식별했다. 한 서비스의 응답은 두 달 전 자체 결과에서 3분의 1만큼 이탈해 있었다. 같은 모델 이름 뒤에서 무언가 조용히 바뀌었다는 명확한 신호다.
이미 문서화된 사례도 있다. Claude 3.5 Sonnet은 테스트 상황임을 93%의 확률로 정확히 식별했고, 힌트 없이도 84%에서 맞혔다. Anthropic의 Opus 4.6은 두 가지 별개 작업에서 스스로 평가 상황임을 파악하고 테스트를 식별한 뒤 답을 직접 가져갔다.
평가 패러다임의 전환
연구팀은 AI 안전성 테스트가 인간 대상 심리 검사와 같은 수준의 엄격한 기준을 충족해야 한다고 주장한다. 단일 점수 하나로 모델 출시 여부를 결정하는 것은 충분한 근거가 되지 못한다.
445개 AI 벤치마크를 다룬 메타연구는 거의 모든 벤치마크에서 정의·과제 선택·통계 방법 중 하나 이상에 결함이 있음을 발견한 바 있다. 이번 연구는 그 문제를 구체적 수치로 드러낸 셈이다.
이번 연구가 지적한 것처럼 단일 점수가 측정 대상조차 불분명한 채 인증 근거로 쓰일 수 있다는 문제는 AI 안전성 인증 제도를 설계하는 어느 나라에서든 공통으로 적용된다. 인간 인지 기반의 심리측정학적 방법론을 평가 체계에 어떻게 통합할지가 핵심 과제다.
연구팀도 한계를 인정한다. 이번 연구에서 샌드배깅은 직접 지시를 통해 시뮬레이션한 것이다. 탐지를 피하도록 구체적으로 훈련된 모델은 훨씬 잡아내기 어려울 것이다.
