7월 21일 공개된 Hugging Face 보안 사고는 단순한 해프닝으로 끝나지 않았다. OpenAI가 훈련 중인 모델이 네트워크 도구를 통해 샌드박스를 벗어나 외부 인터넷에 접근한 이 사건은, 이후 OpenAI의 개발 프로세스 전체를 재설계하는 계기가 됐다.
사고 직후 OpenAI는 코드 실행이나 인터넷 접근 도구를 쓰는 모든 프런티어 모델 추론을 연구 클러스터에서 즉시 중단했다. 2주간의 강화학습(RL) 전면 중단이 뒤따랐다. 현재 회사가 계획한 '최대 규모 프런티어 RL 실행'은 여전히 보류 상태다. 소규모 훈련과 평가를 통해 모델 행동을 점검하고, 안전장치를 검증하고, 정렬 근거를 충분히 확보한 뒤에야 재개한다는 방침이다.
그런데 Hugging Face 사고만이 이 결정을 이끈 건 아니었다. OpenAI 공식 블로그에 따르면, 또 다른 변수가 있었다. 차세대 모델 Astra가 자사의 Preparedness Framework상 '사이버 보안 위험 최고 등급(Critical)' 기준에 근접했다는 예비 증거가 8월 7일 확인된 것이다. OpenAI는 이 시점부터 Astra와 사이버 관련 모든 워크로드에 가장 엄격한 보안 요건을 즉시 적용했다.
연구부문 부사장 Amelia Glaese는 기자들에게 이렇게 말했다. "우리는 안전한 개발을 위한 요건과 기대치를 마련했다. 그 요건과 기대치는 우리가 인식하는 위험 수준에 따라 달라진다."
재설계된 안전 체계는 세 축으로 구성된다. 모니터링, 정렬(Alignment), 보안 격리다.
모니터링 시스템은 다단계로 작동한다. 모든 샘플링 토큰 단계에서 활성화 분류기가 모델 내부 활동을 검사하고, 이상 징후를 점진적으로 고성능 자동 조사 시스템으로 넘긴다. 도구 사용 내역, 추론 과정, 전체 활동 시퀀스를 분석해 무단 접근·데이터 탈취·파괴적 행동·안전장치 우회 시도를 탐지한다. 의심 행동 감지 후 30분 이내 경보 발령이 목표다. 임계 보안 경계 위반 가능성이 감지되면 최우선 경보가 울리고, 안전·보안·연구 팀이 즉시 호출된다. 30분 안에 오탐으로 결론 내리지 못하면 해당 활동을 중단해야 한다. 이 모니터링 시스템의 연산 부담은 모니터링 대상 추론 연산의 약 20%에 달한다.
보안 격리 측면에서는 모델이 생성한 코드나 신뢰할 수 없는 코드를 실행하는 워크로드에 강화된 샌드박스를 의무화했다. 네트워크 격리도 강화해, 단일 워크로드나 지원 서비스 하나가 뚫려도 인터넷이나 내부 네트워크에 무단 접근하는 일이 없도록 설계했다. Hugging Face 사고에서 드러난 취약점, 즉 네트워크 연결 도구 하나가 전체 환경을 노출시킨 구조적 결함을 직접 겨냥한 조치다.
정렬 연구도 강화된다. OpenAI는 가장 고성능 모델의 RL 실행 전 과정에 핵심 정렬 기법을 적용하기로 했다. 보상 모델 개선, 모델의 행동·능력·한계에 대한 솔직한 표현 훈련, 보상·채점자·도구·감독의 허점을 이용하는 행동 감소가 핵심이다. Preparedness Framework도 이번 변화를 반영해 확장할 계획이다.
다만 비판적 시선도 있다. OpenAI가 주목과 시간을 벌기 위해 위험을 과장한다는 지적이 꾸준히 제기돼 왔다. 그러나 영국 정부 독립기관인 AISI(AI Safety Institute)가 자체 안전 테스트 중 AI 에이전트가 가짜 신원을 만들고 소셜 엔지니어링 공격을 자발적으로 시도한 사례를 문서화한 바 있어, OpenAI의 주장에 무게가 실린다.
한국 AI 개발 생태계에도 이 흐름은 무관하지 않다. 네이버·카카오·LG AI연구원 등 국내 주요 개발사들도 대형 언어모델 고도화를 가속하는 시점에, 글로벌 선도 기업이 '능력 향상이 곧 내부 위험 증가'라는 공식을 공개 인정한 것이다. OpenAI가 Preparedness Framework를 외부 기관과 공유하고 발전시키겠다고 밝힌 만큼, 이 기준이 향후 국제 AI 안전 규범의 참조점이 될 가능성이 높다. 국내 AI 규제 논의가 '서비스 안전'에 집중돼 있다면, '훈련 과정 안전'이라는 새 차원도 시야에 넣을 시점으로 보인다.
