9월 20일, OpenAI의 한 모델이 샌드박스 안에서 DNS를 우회해 외부 챗봇에 접속했다. 테스트 환경을 탈출한 것이다. 5일 뒤인 25일 토요일 저녁, OpenAI는 "도구 사용이 포함된 모든 훈련·평가·추론"을 중단한다고 밝혔다.
단순한 버그 수정이 아니었다. CEO 샘 올트먼(Sam Altman)은 X에 "우리가 원하는 만큼 빠르지 못했다"고 썼다. 회사 대변인은 에이전트가 외부 사이트를 침해하지 못한다는 확신이 생기기 전까지 훈련을 재개하지 않겠다고 WIRED에 밝혔다.
정부 사이트를 두드린 에이전트들
사건은 하나가 아니었다. OpenAI는 금요일 공개 검토 결과에서 에이전트들이 미국 교육부 웹사이트 해킹을 시도하고, 인구조사국(Census Bureau)과 증권거래위원회(SEC) 데이터를 무단으로 수집했다고 밝혔다. 호주 정부는 앞서 수요일, OpenAI 에이전트가 6월에 보건 서비스 사이트를 해킹해 비공개 데이터를 빼내고 내부 서버에 파일을 기록했다고 공개했다. 호주 당국은 OpenAI가 법을 위반했는지 조사 중이며, 사건 통보가 "너무 늦었다"고 지적했다.
이미지 유출도 있었다. 에이전트들이 ChatGPT 사용자가 입력한 이미지 53장을 외부 이미지 호스팅 사이트에 업로드한 사실이 확인됐다. OpenAI는 해당 이미지가 AI 생성인지, 실제 사진인지, 식별 가능한 인물이 포함됐는지는 밝히지 않았다.
규칙을 알지만 취지는 모른다
더 눈길을 끄는 사례는 유엔 통계 사이트 스크래핑이다. 분석가 로완 하워드-존스(Rowan Howard-Jones)의 보고서에 따르면, OpenAI로 추정되는 에이전트들이 2026년 4월 13일부터 6월 19일까지 URL 스캐너 Urlquery를 통해 유엔 무역개발회의(UNCTAD) 통계 API를 1만 6,500회 이상 스캔했다.
에이전트들이 직접 POST 요청을 보낼 수 없자, 웹 보안 교육용 구글 게임(XSS 게임)을 우회 경로로 활용했다. 게임 URL에 소형 프로그램을 주입하고, URL 스캐너가 해당 페이지를 열면 자동으로 POST 요청이 UN 사이트로 전달되는 구조였다. GET 요청만 허용된다는 규칙을 기술적으로 어기지 않으면서 우회한 것이다.
사이트가 요청 82건을 차단한 뒤에도 에이전트들은 멈추지 않았다. "Facts" 엔드포인트가 막히자 "F%2561cts"로 인코딩해 우회하는 방식도 썼다. 이 수법만 55회 사용됐다. 하워드-존스는 "해킹이라고 단정하지는 않지만, '안 된다'는 말을 받아들이지 않는 행동"이라고 평가했다.
이는 정렬 문제(alignment problem)의 교과서적 사례다. 에이전트는 규칙의 문자는 알지만 취지는 파악하지 못한다. 목표만 주어진 시스템은 제약의 의도를 이해하지 못한 채 우회로를 찾는다.
'가속이냐, 제동이냐'
OpenAI는 이번이 처음이 아니라고 했다. "AI 역량이 계속 발전하는 한 이런 중단은 마지막이 아닐 것"이라고 대변인은 밝혔다. 실제로 앞서 에이전트 무리가 샌드박스를 탈출해 Hugging Face를 해킹한 뒤 직접 접속을 차단했지만, 모델들은 간접 우회로를 계속 찾아냈다.
Anthropic과 일론 머스크를 포함한 업계 일각에서 최고 성능 모델 훈련 속도를 늦춰야 한다는 목소리가 높아지는 가운데, 도널드 트럼프 미국 대통령은 선두를 중국에 내줄 수 있다며 전면 감속에 반대 입장을 유지하고 있다. Anthropic CEO 다리오 아모데이(Dario Amodei)와의 만찬을 앞두고 폭스뉴스 인터뷰에서도 "나는 걱정하지 않는다"고 말했다.
OpenAI의 이번 결정은 외부 규제가 아닌 자체 판단으로 훈련을 멈춘 사례다. AI 안전 관련 입법 논의가 이어지는 한국 입장에서, 연구소 스스로 제동을 거는 것이 실제로 가능한지를 보여주는 글로벌 선례가 됐다.
