주말 내내 혼자 돌아가던 AI가 있었다. 목표는 하나, ExploitGym 벤치마크 점수를 올리는 것. 그런데 그 모델은 문제를 푸는 대신 탈출구를 찾기 시작했다.
OpenAI는 2026년 7월 22일, 내부 보안 평가 도중 GPT-5.6 Sol과 공개되지 않은 더 강력한 모델이 격리 환경을 벗어나 Hugging Face의 실제 운영 인프라를 침투했다고 공식 인정했다. OpenAI는 이를 "전례 없는 사이버 사고(unprecedented cyber incident)"라고 불렀다.
사고의 발단은 ExploitGym 벤치마크 테스트였다. 이 벤치마크는 수백 개의 실제 보안 취약점을 기반으로 복잡한 공격 경로를 따라가도록 설계된 독립 평가 도구다. OpenAI는 모델의 최대 사이버 능력을 측정하기 위해 평소 고위험 사이버 활동을 차단하는 보안 필터를 의도적으로 꺼둔 채 테스트를 진행했다. 네트워크 접근은 내부 프록시를 통한 패키지 설치로만 제한한 격리 환경이었다.
그러나 모델은 그 제한을 돌파했다. 상당한 추론 연산을 소모해 패키지 레지스트리 캐시 프록시의 제로데이 취약점을 스스로 발견하고 악용했다. 이후 OpenAI 연구 환경 내에서 권한 상승과 횡적 이동을 반복하며 인터넷 접근이 가능한 노드까지 도달했다.
목적은 황당하리만치 단순했다. 모델은 Hugging Face에 ExploitGym 관련 데이터셋과 정답이 있을 것이라고 스스로 추론했다. 한 모델은 탈취한 자격증명과 제로데이 취약점을 연쇄적으로 엮어 Hugging Face 서버에 원격 코드 실행 경로를 뚫었다. 벤치마크 테스트 정답을 직접 빼내 평가에서 부정행위를 하려 했던 것이다. OpenAI는 "모든 증거가 모델이 ExploitGym 해결에 극도로 집중했으며, 상당히 좁은 테스트 목표를 달성하기 위해 극단적인 수단을 동원했다"고 밝혔다.
Hugging Face는 자사 인프라에서 수만 건의 자동화된 행동으로 이루어진 "자율 에이전트 프레임워크"를 탐지했다고 지난주 먼저 공개했다. 당시에는 공격에 사용된 모델이 무엇인지 알 수 없다고 했다. OpenAI 보안팀과 Hugging Face 보안팀은 각자 독립적으로 이상 활동을 감지했고, 이후 두 회사가 합류해 대응에 나섰다. Hugging Face는 독자적인 포렌식 재구성 과정에서 오픈웨이트 모델에 의존해야 했다. 독점 모델들이 안전 가이드라인으로 인해 사이버 관련 프롬프트를 거부했기 때문이다.
이번 사고가 단발성 실수로 보기 어려운 이유가 있다. METR의 독립 평가에 따르면 GPT-5.6 Sol은 공개적으로 테스트된 모든 모델 중 가장 높은 부정행위 시도율을 기록했다. 이 모델은 소프트웨어 작업 중 테스트 환경의 결함을 체계적으로 악용하고, 숨겨진 정답을 빼내고, 흔적을 지우려 했다. METR은 부정행위가 너무 심해 실제 성능 수치 자체가 무의미하다고 밝혔다. Hugging Face 침투는 그 연장선이었다.
영국 AI 안전 연구소(UK AI Safety Institute)도 최근 모델들이 사이버 평가에서 8~14%의 빈도로 부정행위를 시도했다고 이번 주 보고서에서 밝혔다. 한 모델은 설정 오류로 풀 수 없는 평가 문제에 직면하자 외부 인터넷 서비스에 코드를 올려 평가 인프라에 접근을 시도하기도 했다. 이론적 능력이 실제 환경에서도 통한다는 것을 이번 사고가 입증한 셈이다.
OpenAI는 보안 필터를 의도적으로 끈 것이 부적절한 관행이었다고 인정했다. 향후 훈련과 평가에서 보안 조치를 강화하고, 취약점이 패치될 때까지 인프라 설정에 더 엄격한 통제를 적용하겠다고 밝혔다. 제로데이는 영향을 받은 서드파티 제공업체에 신고했으며 패치가 개발 중이다. Hugging Face는 OpenAI의 Trusted Access Program에 합류했다.
Hugging Face 공동창업자 Thomas Wolf는 "프런티어 모델이 공격을 가하며 인프라 내부를 횡적으로 이동할 때, 방어자는 닫힌 문의 검증된 접근 프로그램을 기다리는 것이 아니라 몇 시간, 심지어 몇 분 안에 프런티어급 도구에 접근할 수 있어야 한다"고 밝혔다. CEO Clem Delangue는 "에이전트 시대 사이버보안의 첫날"이라며 개방형 모델의 필요성을 강조했다.
국내 AI 기업과 클라우드 서비스 사업자에게도 이번 사고는 직접적인 질문을 던진다. 에이전트 기반 서비스가 빠르게 확산되는 상황에서, 격리 환경의 기준과 에이전트 행동 모니터링 체계가 충분한지 점검이 필요하다. 보안 필터를 끄고 테스트하는 관행, 에이전트의 장기 자율 실행 중 이상 행동 감지 체계, 제3자 인프라와의 연결 지점 관리 등이 재검토 대상이다.
