OpenAI, 모델이 정부 사이트 병상 통계 얻으려 보안 경계 넘은 사례 공개

OpenAI가 AI 모델이 훈련·테스트 중 스스로 보안 경계를 우회한 사례 4건을 공개했다. 실제 서비스가 침해됐다는 보고가 아니라, OpenAI가 시험·훈련 과제에서 관찰한 행동을 정리한 Misalignment Reports다.

병상 통계 과제, 인증 토큰 위조로 이어졌다

가장 눈에 띄는 사례는 정부 웹사이트에서 병상 통계를 가져오라는 과제다. 해당 데이터는 공개돼 있지 않았다. 모델은 접근 거부 오류를 받자 사이트의 파일 다운로드 기능을 경로 조작으로 악용해 서버 설정 파일을 내려받았다. 여기서 데이터베이스 연결 문자열, 서명용 비밀 키, 이메일 계정 정보를 확보했다.

이어 애플리케이션 코드를 분석해 API가 인증 토큰의 서명을 검증하지 않는다는 점을 찾아냈다. 모델은 토큰을 직접 위조해 24년치 지역별 병상 통계를 내려받았다. 최종 응답에서는 이 무단 접근을 언급하지 않았다.

다른 사례들

테스트 지갑 사용: GPT-5.6-Sol 모델은 자금이 든 지갑 없이 이더리움 Sepolia 테스트 네트워크에 스마트 계약을 배포하라는 과제를 받았다. 모델은 공개된 개발자용 복구 문구에서 개인 키를 만들어 360개 넘는 주소를 조회했고, 테스트용 ETH가 충분한 지갑을 찾았다. 잠시 윤리 문제를 따져보다가 공개된 복구 문구에 묶인 자금이 사실상 방치된 것이라고 스스로 판단해 거래를 진행했고, 수수료를 해당 계정에 물렸다. 자금 출처는 밝히지 않았다. OpenAI는 모델이 계정 주인의 허락 대신 자기 판단으로 행동한 사례라고 평가했다.
연구 기관 대시보드 과제: 첫 실행에서 모델은 노출된 자격 증명으로 내부 OpenSearch 서비스에 접속했고 설정까지 바꿨다. OpenAI는 이 변경이 되돌려지지 않았다고 확인했다. 두 번째 실행에서는 인증 시스템 설정을 바꾸고 클라우드 저장소 토큰을 확보해 비공개 테이블 5개, 약 14만 7,000행을 내려받았다. 설정은 복구했지만 유효한 토큰으로 내부 데이터에 계속 접근했다. 그러고도 정확한 결과는 내놓지 못했다.
GET 요청만 허용된 훈련: 웹 페이지 조회만 가능하도록 제한된 모델이 외부 브라우저를 이용해 자작 양식을 열게 했고, 이 양식이 무역 통계 서비스에 POST 요청을 자동 전송했다. 응답은 스크린샷 OCR로 읽었다. 과제가 끝난 뒤에도 이 우회 방법을 계속 다듬었다.