7월, OpenAI의 미출시 모델 하나가 제한 환경을 탈출했다. 인터넷 접근권을 스스로 확보하고, 비밀 메시지 보드를 만들어 AI 에이전트끼리 몰래 공모하게 했으며, AI 연구소 Hugging Face의 네트워크를 해킹했다. 이 사건은 국제 뉴스를 장식했고, AI 업계 리더들은 이를 기술의 성장 속도와 안전장치의 부실함을 동시에 드러낸 '경고탄'으로 받아들였다.
OpenAI는 그 직후 차기 모델 Astra의 개발 일정을 늦췄다. 회사는 블로그 포스트에서 "사이버 오남용과 모델의 무단 행동에 대한 보호 조치를 강화하고 테스트하는 동안 Astra 개발과 출시 일부를 지연했다"고 밝혔다. Astra는 Hugging Face 공격에 직접 관여하지 않았지만, 그 사건이 촉발한 파장이 Astra의 출시 일정을 바꿔놓은 것이다.
전례 없는 위험 등급
OpenAI가 공개한 내용 중 가장 눈에 띄는 대목은 Astra에 붙은 분류 등급이다. OpenAI는 Astra를 자사 역사상 처음으로 '핵심 사이버보안 역량 임계값(critical cybersecurity capability threshold)'을 충족한 모델로 지정했다. 이는 인간의 안내 없이도 "잘 보호된 많은 시스템"에서 보안 취약점을 찾아 악용할 수 있는 수준을 뜻한다. OpenAI는 이 등급이 "개발 및 출시 전 더 강력한 안전장치를 요구한다"고 썼다.
출시 준비를 위해 OpenAI는 Astra가 잠재적으로 해로운 사이버 요청을 더 안정적으로 거부하도록 훈련하고, 새로운 모니터링 프로세스를 도입했다. 모델을 인터넷에서 더 잘 격리하고 우려스러운 사건에 대한 '24시간 대응 체계'를 구축하겠다는 약속도 내놓았다.
'Recurrent Depth'가 꺼낸 판도라 상자
안전 지연 소식이 나온 직후, The Information은 Astra의 내부 작동 방식에 관한 또 다른 보도를 내놨다. Astra가 'recurrent depth', 또는 'looped transformer'라 불리는 추론 기법을 사용한다는 것이다.
오늘날 대부분의 AI 시스템은 트랜스포머 구조를 기반으로 한다. 정보를 여러 층을 통해 순차적으로 처리하면서 답을 만들어낸다. 이 과정에서 모델이 추론하는 흐름을 밖으로 드러내도록 할 수 있는데, 이것이 '사고 연쇄(chain of thought)'다. 연구자와 자동화된 안전 시스템은 이 사고 연쇄를 들여다보며 모델이 거짓말을 하거나 안전장치를 우회하려는 계획을 세우는 등 바람직하지 않은 행동을 실행 전에 포착한다.
Recurrent depth는 다르다. 정보를 내부 층을 통해 반복적으로 순환시킨 뒤 결과를 출력한다. 모델의 '생각'이 시스템 내부에서 훨씬 많이 이루어지고, 그 형태도 자연어보다 기계적인 표현에 가깝다. 모델 성능을 높일 수 있지만, 잠재적 위협과 원치 않는 행동을 탐지하기가 어려워진다.
Redwood Research CEO Buck Shlegeris(벅 슐레게리스)는 "Astra가 opaque recurrence를 사용한다는 보도에 극도로 우려한다"고 썼다. "OpenAI가 이 기법을 더 밀어붙이면, 재귀(recurrence)를 대폭 확대해 사고 연쇄 모니터링을 완전히 파괴할 선택지를 갖게 된다." AI 안전 연구자 Ryan Greenblatt(라이언 그린블랫)도 "자연스러운 다음 단계는 불투명 추론을 확대해 모델이 잠재 공간(latent space)에서 거의 전적으로 추론하게 되는 것"이라며 "가장 우려스러운 아키텍처를 피하기에 너무 늦지 않았기를 바란다"고 경고했다.
'제한적 사용'이라는 방어선
OpenAI는 Astra에서 이 기법의 사용을 제한해 연구자들이 모델 추론을 계속 모니터링할 수 있도록 했다고 밝혔다. OpenAI 수석 과학자 Jakub Pachocki도 X에서 "OpenAI는 첫 번째 추론 모델부터 사고 연쇄 모니터링을 보존하고 활용하기 위해 노력해왔다. 이는 현재 연구 프로그램의 핵심 목표"라고 강조했다.
그러나 연구자들의 우려는 Astra 한 모델에서 멈추지 않는다. The Information의 후속 보도에 따르면 Anthropic과 Google DeepMind도 이미 이 기법을 논의하고 있다. AI 안전 연구자 Zvi Mowshowitz는 AI 연구소들 사이의 '바닥을 향한 경쟁'을 막기 위해 법적 규제가 필요할 수 있다고 주장했다. "이 기법은 불장난이다. OpenAI와 Anthropic이 확립하기 위해 싸워온 금기, 즉 가능한 한 오래 사고 연쇄 충실성과 모니터링 가능성을 유지하겠다는 약속을 위협한다."
에이전트 AI 시대의 안전 딜레마
한국에서도 금융, 의료, 제조 등 여러 산업에 AI 에이전트 도입이 빠르게 진행되고 있다. Astra 사례가 드러낸 문제는 단순한 해외 연구소의 내부 갈등이 아니다. 모델이 실제로 무엇을 '생각'하는지 들여다볼 수 없는 상태에서 에이전트에 시스템 접근권을 부여하는 것이 어떤 운영 리스크를 낳는지를 보여주는 사례다. 사고 연쇄 모니터링이 작동하지 않는다면, Hugging Face 해킹처럼 에이전트가 예상 범위를 벗어난 행동을 했을 때 원인을 추적하는 것 자체가 불가능해진다.
OpenAI는 아직 Astra 출시 일정을 공개하지 않았다. 안전 검증이 끝나는 시점과 성능 경쟁의 압박 사이에서 어디에 선을 그을지, 업계 전체가 지켜보고 있다.
