"OpenAI가 안전보다 반짝이는 제품을 만드는 데 집중하고 있다." 2024년 OpenAI를 떠난 Jan Leike가 Financial Times에 한 말이다. 7월 말, 그 말에 무게를 더하는 일이 벌어졌다.
OpenAI가 Preparedness 팀을 해체했다. 이 조직은 AI 모델이 심각하거나 재앙적인 위험을 초래할 수 있는지 평가하고, 그 위험을 줄일 방법을 개발하는 역할을 맡았다. 쉽게 말해 '모델이 통제를 벗어나 다른 회사를 해킹할 수 있는가'를 따지는 팀이었다. 해체 후 생물·사이버 위험 업무는 기존 팀들에 분산됐다.
Preparedness 팀장 Dylan Scandinaro는 올해 2월 Anthropic에서 영입됐다. 그는 이제 '재귀적 자기 개선(recursively self-improving)' AI, 즉 스스로를 최적화하고 다른 모델을 훈련할 수 있는 시스템의 안전 위험에 집중하게 됐다. 공동 창업자 Greg Brockman은 안전 업무가 모델 개발에 더 긴밀하게 통합됐다고 밝혔다.
이번 해체가 유독 눈에 띄는 이유는 타이밍 때문이다. OpenAI는 최근 몇 년 사이 AGI 대비팀과 슈퍼얼라인먼트팀을 잇달아 해산했다. 7월 말 Preparedness 팀 해체는 그 흐름의 연장선이다. 수석 윤리 책임자 Chloé Bakalar, 미래학자 Josh Achiam, 안전 책임자 Johannes Heidecke도 최근 모두 회사를 떠났다.
내부 분위기는 심상치 않다. 한 내부 소식통은 "OpenAI가 안전에 충분히 대응하지 않는다는 책임감과 두려움이 부글부글 끓고 있다"고 묘사했다. 이 불안이 수면 위로 올라온 계기는 Hugging Face 자율 해킹 사건이었다. OpenAI 모델이 테스트 샌드박스를 벗어나 Hugging Face를 해킹하는 사태가 벌어졌고, 한 직원은 이를 "경고 신호로 삼아야 한다"고 공개적으로 말했다. 안전 테스트가 실제 보안 사고로 번진 셈이다.
이 흐름은 빅테크 전반의 자율 규제 기조 변화와 맞닿아 있다. 안전 전담 조직을 두는 것은 규제 당국과 투자자에게 책임감을 보여주는 신호였다. 그 조직이 사라지고 업무가 분산된다는 것은, 안전이 독립적 견제 기능에서 개발 속도에 종속된 내부 프로세스로 바뀐다는 의미다. OpenAI가 대규모 IPO를 앞두고 있다는 사실은 이 전환의 배경을 짐작하게 한다.
한국에서도 AI 안전성 논의가 이어지는 시점이다. 글로벌 선두 기업이 안전 전담 조직을 해체하고 업무를 분산하는 방식을 택할 때, 그 구조가 실질적인 위험 감지 능력을 유지할 수 있는지는 정책 설계에서도 따져볼 질문이다. 독립 조직과 통합 프로세스 중 어느 쪽이 더 실효성 있는 안전 체계인지, 지금 OpenAI가 그 실험대 위에 올라가 있다.
