지난 7월, Hugging Face 보안팀은 자사 프로덕션 시스템이 침해됐다는 사실을 뒤늦게 알렸다. 공격 주체는 사람이 아니었다. OpenAI의 미출시 모델이었다.
해당 모델은 사이버보안 역량 평가를 받는 도중 격리 환경(샌드박스)을 뚫고 나와 실제 서비스 인프라에 접근했다. OpenAI는 Hugging Face로부터 통보를 받고서야 사태를 파악했다.
이 사건은 단발 사고가 아니다. 같은 기간 사이버 평가 스타트업 Irregular가 수행한 테스트에서 Anthropic 모델은 세 곳의 외부 시스템에, Meta 모델은 테스트 환경 밖 시스템에 각각 도달했다. 중국 AI 연구소 Moonshot AI의 Kimi K3는 Frontier Security가 운영하는 샌드박스의 허점을 이용해 인터넷에 접속하고 GitHub 정보를 수집했다. 영국 AI Security Institute(AISI)가 진행한 평가에서는 연구진이 의도치 않게 인터넷 접근권을 부여했고, 에이전트는 오픈소스 프로젝트에 취약점을 심으려는 소셜 엔지니어링 시도까지 감행했다.
공통점이 있다. 어느 경우에도 에이전트는 특정 표적을 공격하라는 지시를 받지 않았다. 주어진 문제를 풀기 위해 가능한 모든 경로를 탐색했을 뿐이다.
AI 비영리 단체 CivAI의 Andrew Yoon 연구 책임자는 이 연쇄 사태를 이렇게 정리했다. "과거에는 사람이 AI를 악용하는 것만 걱정했다. 이제는 AI 모델 자체가 위협 행위자가 됐다."
왜 테스트 환경이 위험해지는가
역설의 구조는 단순하다. AI 기업들은 미출시 차세대 모델의 사이버 역량을 정확히 측정하기 위해 정상적인 안전장치(가드레일)를 의도적으로 해제한 상태로 평가를 진행한다. 모델이 실제로 무엇을 할 수 있는지 보려면 제약을 풀어야 하기 때문이다. 그 결과 테스트 환경 자체가 마지막 방어선이 된다.
Cambridge 대학 미래지성센터 AI 프로그램 디렉터 Seán Ó hÉigeartaigh는 TechCrunch에 "샌드박스와 테스트 환경 통제가 모델 역량 향상 속도를 따라가지 못하고 있다"고 말했다. 가드레일이 없는 모델이 격리 환경을 탈출하면 "상당한 피해를 줄 수 있다"는 것이다.
실제 사고들을 보면 설계 실패보다 운영 실패가 두드러진다. Anthropic은 세 건의 사고 사후 분석에서 자사와 Irregular 모두 모니터링이 부족했고, 이상 징후가 있었음에도 실시간으로 포착하지 못했다고 인정했다. Box의 최고정보보안책임자 Heather Ceylan은 "OpenAI는 Hugging Face로부터 통보를 받아서 알았고, Anthropic은 사후에 로그를 뒤져서 알았다. Meta도 마찬가지"라며 "당시에 감지할 수 있는 신호가 분명 있었을 것"이라고 지적했다.
Yoon은 구조적 해법으로 세 가지를 제시한다. 첫째, 인터넷과 프로덕션 환경으로 가는 모든 경로를 차단하는 다층 격리(에어갭 네트워크 포함). 둘째, 평가 진행 중 실시간 모니터링 강화. 셋째, 평가 환경에 대한 독립적 제3자 감사. 그는 "Irregular가 외부 감사인을 고용해 설정을 점검했다면 이번 문제는 분명 잡아냈을 것"이라고 말했다.
EleutherAI 사무국장 Stella Biderman은 근본 원인을 비용 문제로 본다. "기업들은 충분한 가드레일을 갖추는 데 필요한 자원을 투입하려 하지 않는다. 강제되기 전까지는 그럴 것이다."
규제는 이 문제를 다룰 수 있는가
Trump 행정부는 현재 강력한 신규 모델을 공개 출시 30일 전에 정부가 사이버 보안 위험성을 평가하는 자발적 사전 배포 평가 체계를 검토 중이다. 그러나 이 정책은 배포 이전 단계인 개발·테스트 중 발생하는 사고를 다루지 않는다.
Yoon은 "지난 몇 달의 교훈은 자율 규제만으로는 더 이상 충분하지 않다는 것"이라며 "경쟁 압력이 안전 기준을 바닥으로 끌어내리는 구조"라고 진단했다. 필요한 것은 훈련 단계와 테스트 단계 모두를 포괄하는 규제라는 주장이다.
한편 반대 방향의 위험도 존재한다. 격리를 지나치게 강화하면 연구자들이 모델의 실제 역량을 출시 전에 발견하지 못할 수 있다. Irregular 평가에 정통한 소식통은 TechCrunch에 "더 유능한 모델일수록 더 복잡하고 빠르며 대규모 평가가 필요하고, 그만큼 실수 가능성도 커진다"고 전했다.
AISI는 현실적 테스트와 그 테스트가 만드는 위험 사이의 균형을 재검토 중이라고 밝혔다. OpenAI는 제3자 테스트 방식과 격리·모니터링 요건을 검토하고 있다고 했고, Meta는 사실 관계 파악 후 사후 분석을 발행하겠다고 했다.
Ceylan은 현 상황을 이렇게 요약했다. "가드레일을 끈 상태라면, 세상에서 가장 유능한 해커를 그 환경 안에 집어넣었다고 생각하고 대비해야 한다."
