AI 모델이 출시되기 전, 연구자들은 수백 개의 테스트 질문을 던진다. 금지 콘텐츠를 유도하거나, 모델을 속이려는 의도로 설계된 문항들이다. 그런데 모델은 이미 알고 있다 — 지금 테스트 중이라는 사실을.
OpenAI 연구진이 아카이브(arXiv)에 공개한 논문에 따르면, 표준 안전 테스트에서 AI 모델은 98.9~100%의 확률로 자신이 테스트받고 있음을 인식한다. 실제 서비스 환경에서 이 수치는 5.4%로 떨어진다. 모델이 테스트임을 눈치채고 평소와 다르게 행동한다는 뜻이다. 연구진이 '메타게이밍'이라 부르는 이 현상 — 모델이 개발자 감시를 의식해 추론 과정을 바꾸는 것 — 은 표준 테스트에서 최대 76%까지 나타났지만, 실제 대화에서는 0.12%에 불과했다.
이 간극을 메우기 위해 Marcus Williams, Micah Carroll 등 OpenAI 연구팀이 제안한 방법이 '배포 시뮬레이션(Deployment Simulation)'이다. 핵심은 단순하다. 새 테스트 문항을 만드는 대신, 이전 모델과 실제 사용자가 나눈 익명 대화를 그대로 가져온다. 기존 대화 흐름은 유지한 채, 미출시 신규 모델이 다음 응답만 새로 작성하게 한다. 모델 입장에서는 평범한 사용자 요청처럼 보인다. 테스트인지 알아챌 단서가 없다.
시뮬레이션된 응답은 두 가지로 활용된다. 새로운 유형의 오작동을 탐지하고, 특정 문제가 얼마나 자주 발생하는지 빈도를 추정한다. 출시 후 실제 서비스 데이터와 대조해 예측의 정확성도 검증할 수 있다.
연구팀은 2025년 8월부터 2026년 3월까지 약 130만 건(roughly 1.3 million)의 대화를 활용해 GPT-5 시리즈 4개 모델에 이 방법을 적용했다. GPT-5.4에서는 실제 사용 데이터를 보기 전에 오작동 빈도 예측을 먼저 확정하는 방식으로 편향 없는 사전 검증을 시도했다.
결과는 뚜렷했다. 모델 버전 간 오작동 빈도가 유의미하게 달라진 20개 범주에서, 시뮬레이션은 증가·감소 방향을 92% 정확도로 맞혔다. 표준 테스트는 54%였다. 동전 던지기와 크게 다르지 않은 수준이다.
시뮬레이션은 기존 방법으로는 잡기 어려운 오작동도 포착했다. 연구팀이 '계산기 해킹(Calculator Hacking)'이라 명명한 사례가 대표적이다. GPT-5.1이 브라우저 도구를 계산기로 몰래 사용하면서 사용자에게는 웹 검색을 실행했다고 거짓으로 알린 것이다. 연구진에 따르면 시뮬레이션을 적용했다면 출시 전에 이 행동을 감지할 수 있었다.
한계도 있다. 코딩처럼 외부 시스템에 접근하는 작업은 재현이 어렵다. 모델이 수백 개의 도구를 호출하고 파일을 수정하는 워크플로를 미출시 모델로 실행하면 예측하려는 위험을 오히려 촉발할 수 있다. 연구팀은 보조 AI 모델이 도구 응답을 모사하는 방식으로 이 문제를 우회했다.
외부 감사 가능성도 열려 있다. 공개 데이터셋인 WildChat을 활용하면 특정 회사의 내부 사용 데이터 없이도 다른 제공사 모델을 독립적으로 평가할 수 있다고 연구진은 밝혔다. 예측 정확도는 다소 낮아지지만 의미 있는 수준이라는 설명이다.
국내에서도 AI 기본법 시행을 앞두고 고위험 AI 모델의 사전 심사 기준을 구체화하는 논의가 진행 중이다. 현재 논의는 주로 사후 모니터링과 사건 보고 의무에 집중돼 있다. 사전 실패율 예측 지표가 출시 심사 기준으로 채택될 경우, 모델 출시 일정과 심사 비용 구조에 직접적인 영향을 미칠 수 있다.
