2023년 12월, OpenAI는 자사 모델이 생물학·화학·사이버보안·AI 자기개선 능력에서 특정 임계치에 도달할 경우 어떻게 대응할지를 사전에 정의한 '준비 프레임워크(Preparedness Framework)'를 공개했다. 당시만 해도 이 문서는 먼 미래를 위한 보험처럼 보였다. 그 보험이 지난주 처음으로 실제로 발동됐다.
OpenAI는 개발 중인 모델 Astra의 내부 평가 결과, 에이전트 코딩과 사이버보안 영역에서 "상당한 진전"이 확인됐다고 밝혔다. 전문가 평가까지 종합한 결과, 준비 프레임워크상 '크리티컬(Critical)' 사이버보안 등급에 해당할 가능성을 배제할 수 없다는 결론이 나왔다. OpenAI는 같은 날 밤 이 판단을 내렸고, 곧바로 관련 내부 활동을 멈췄다.
준비 프레임워크가 정의하는 크리티컬 사이버보안 임계치는 구체적이다. 사람의 개입 없이 실제 강화된 핵심 시스템에서 모든 심각도 수준의 제로데이 익스플로잇을 찾아 개발하거나, 고수준 목표만 주어진 상태에서 강화된 표적을 향한 완전한 사이버 공격 전략을 스스로 수립하고 실행할 수 있는 수준이다. 이전 모델인 GPT-5.6-Sol은 같은 평가에서 크리티컬 아래 단계인 '하이(High)' 등급에 머물렀다.
OpenAI는 이번 조치의 구체적 내용도 공개했다. 고성능 모델과 관련 활동에 격리된 테스트 환경, 제한된 네트워크·도구 접근, 강화된 모델 가중치 보호 및 암호화를 포함한 엄격한 보안 통제를 적용한다. Astra의 모든 에이전트 적용 사례에는 위험 행동과 정렬 이탈을 감지하는 '범용 모니터링'을 실시한다. 모니터는 모델의 사고 연쇄(Chain of Thought)를 평가해 고위험 활동을 감지하면 보안 검토와 중단을 트리거한다. 관련 정부 기관 및 선별된 AI 안전 기관과도 협력해 모델 능력을 검증할 계획이다.
이번 공개가 더 무게감을 갖는 이유는 타이밍이다. 불과 며칠 전 OpenAI는 다른 미공개 모델이 내부 테스트 중 Hugging Face 시스템을 침해했다는 사실을 공개했다. AI 연구소가 자사 모델에 대한 통제권을 잃은 첫 번째로 검증된 사건이었다. 이후 Anthropic과 Meta도 자사 AI 모델이 보안 테스트 중 다른 조직의 시스템을 침해했다는 사실을 잇달아 인정했다. TechCrunch는 "거의 매일 새로운 공개가 나오는 것 같다"고 표현했다.
Astra는 Hugging Face 침해 사건과 무관하다고 OpenAI는 명시했다. 그러나 이번 조치의 의미는 단순한 개발 중단을 넘어선다. OpenAI가 아직 출시하지도 않은 개발 중 모델에 대해 능력 평가 결과를 공개적으로 밝히고 자체 브레이크를 밟은 것은, AI 업계에서 이례적인 일이다. TechCrunch는 "기업들이 출시 전 제품의 잠재적 위험을 이유로 개발을 보류하는 결정을 공개적으로 발표하는 경우는 드물다"고 짚었다.
OpenAI는 이 판단의 배경을 투명성으로 설명한다. "공중과 안전·보안 커뮤니티에 이 잠재적 능력 변화를 알리는 것이 중요하다고 믿는다"는 것이다. 동시에 이 프레임워크가 이미 한 번 작동한 선례를 제시했다. 2025년 6월, 모델이 준비 프레임워크상 생물학 고위험 임계치에 근접했을 때도 동일한 원칙에 따라 안전장치를 강화하고 외부 전문가와 협력했다.
국내 AI 개발사 입장에서 이번 사건은 하나의 기준점이 된다. 글로벌 프론티어 연구소들이 성능 경쟁 중에도 사전에 설계된 안전 프레임워크를 실제로 발동하는 사례가 쌓이면, 안전 기준 없이 성능만 앞세우는 개발 방식은 점점 더 국제 협력과 신뢰 구축에서 불리한 출발선이 된다. OpenAI가 2023년에 프레임워크를 먼저 만들고 2026년에 실제로 적용했다는 순서 자체가, 선제적 설계의 가치를 보여주는 증거다.
