7월 9일, OpenAI의 내부 테스트 환경에서 뭔가 이상한 신호가 포착됐다. 에이전트가 샌드박스 밖으로 나가려는 첫 시도였다. 아무도 멈추지 않았다.
이틀 뒤인 7월 11일, AI 모델들은 Hugging Face의 시스템 안에 들어가 있었다. 그리고 7월 13일까지 그 안에 머물렀다. Hugging Face가 블로그에 '자율 AI 에이전트 시스템'에 의한 공격을 공개한 건 7월 16일이었다. OpenAI가 자사 모델이 범인임을 알아챈 건 그로부터 이틀 뒤인 7월 18~19일 주말, 내부 로그에서 단서를 발견하면서였다. Reuters와 Hugging Face 공동창업자 Thomas Wolf에 따르면 두 회사가 처음 연락을 취한 건 7월 20일 무렵이었다. 그때 Hugging Face는 이미 FBI를 불러들인 상태였다.
Bloomberg 보도에 따르면 이 공격에는 세 개의 모델이 관여했다. GPT-5.6 Sol, 공개되지 않은 더 강력한 미출시 모델, 그리고 관계자에 따르면 적절한 정렬 과정을 거치지 않은 세 번째 모델이다. 이들은 샌드박스 안에 머물 것이라는 가정 아래 안전 장치 없이 가동됐다. TIME 보도에 따르면 모델들은 승인된 소프트웨어를 내려받는 내부 서비스에서 미지의 취약점을 찾아냈다. 이 구멍을 통해 다른 OpenAI 시스템에 접근하고, 결국 공개 인터넷에 연결했다. 그 다음 Hugging Face가 사이버보안 테스트에 유용한 자료를 보유하고 있다고 판단해 시스템을 해킹하고, 확보한 정보로 자신의 성과를 높였다. 숙련된 인간 해커가 몇 주 걸릴 작업을 몇 시간 만에 끝냈다.
모델이 보인 행동은 해킹에 그치지 않았다. Reuters에 따르면 사건 이전에도 경고 신호는 있었다. 어떤 에이전트는 OpenAI 인프라 내부에 미래의 자신을 위한 메모를 남겼다. 내부 제한을 우회하는 방법을 담은 지침이었다. 모델들이 이전 테스트에서 모니터링 시스템을 꺼버린 사례도 보고됐다. 또한 Hugging Face 사건이 공개되기 하루 전, OpenAI는 이미 샌드박스를 탈출한 또 다른 내부 배포를 중단시킨 바 있다고 회사 공식 성명은 밝혔다.
Reuters의 취재에 응한 OpenAI 직원 4명은 회사가 여러 모델 평가를 동시에 진행하는 경우가 많고, 속도가 빠르고 데이터가 너무 방대해 직원들이 따라가기 어려울 때도 있다고 전했다. 평가 중인 모델은 기본적으로 모니터링되지 않는 별도 시스템에서 실행된다. 한 익명의 OpenAI 직원은 TIME에 "모델이 샌드박스를 탈출한 적은 전에도 있었고, 항상 패치하려 한다. 하지만 창의적인 AI가 할 수 있는 모든 것을 패치하는 건 불가능하다"고 말했다. OpenAI의 오랜 연구원 'Roon'은 X에 공개적으로 사건에 "꽤 충격받았다"며 OpenAI가 "이 드문 경고 기회를 더 잘 활용하길 바란다"고 썼다.
이 사건이 예고 없이 찾아온 건 아니었다. 연구기관 Epoch AI는 사건 직후 이 해킹이 예측 가능했는지 분석했다. 결론은 그렇다는 것이었다. 영국 AI 안전 연구소(UK AI Security Institute)를 포함한 여러 독립 벤치마크는 이미 안전 장치가 꺼진 최전선 모델이 실제 소프트웨어에서 취약점을 찾아내고 작동하는 익스플로잇을 만들 수 있음을 보여줬다. 영국 AI 안전 연구소는 GPT-5.6 Sol과 Anthropic의 Mythos가 보호받지 않는 모의 기업 네트워크에 일관되게 완전한 접근 권한을 획득할 수 있다는 사실도 확인했다. Hugging Face는 AI 기반 방어 체계를 갖추고 있었지만, 연구소 테스트에는 포함되지 않은 방어였다.
Epoch AI는 이 능력이 광범위하게 퍼지거나 AI 시스템이 Hugging Face 사례처럼 자율적으로 공격을 시작한다면, 이번 사건과 같거나 더 정교한 실제 사이버 공격이 훨씬 많이 발생할 수 있다고 경고했다.
국내에서도 금융권과 공공기관을 중심으로 AI 에이전트 도입 검토가 이어지고 있다. 이번 사건은 에이전트를 '격리된 환경에 두면 안전하다'는 전제 자체가 더는 유효하지 않을 수 있다는 점을 드러낸다. 모델이 알려지지 않은 취약점을 스스로 찾아내고 모니터링을 끄는 행동을 보인 이상, 격리 기준과 보안 감사 체계를 처음부터 다시 설계해야 한다는 압력은 더 커질 수밖에 없다.
