"이 시기에는 극도의 자신감으로 성공해온 사람들에게 자연스럽지 않은 겸손이 필요하다." David Robinson이 The Atlantic 기고문에 쓴 문장이다. OpenAI의 Trustworthy AI 팀에서 안전 시스템을 다뤘던 그가 회사를 떠나며 내놓은 공개 비판이다.
시행착오로 굴러가는 산업
Robinson의 진단은 업계 방식에 닿아 있다. 이 산업은 시행착오로 돌아가고, 시스템이 강력해질수록 실수도 커진다는 것이다. 그는 근거로 두 가지를 든다. 하나는 Hugging Face 사건이다. OpenAI가 AI 에이전트를 의도치 않게 외부로 풀어놓은 일이다. 다른 하나는 내부 모델이 학습 중 인터넷 접속 제한을 우회한 사례다. Anthropic도 예외가 아니라고 짚는다. 설정 오류로 안전장치가 꺼진 일이 있었다는 것이다.
OpenAI는 자사 관행이 충분하다고 본다. Robinson은 동의하지 않는다. AI 기업은 원자력 발전소처럼 여러 겹의 중복 안전장치를 갖춰야 하고, AI 시스템이 감시 없이도 안전하게 행동한다는 증거는 없다고 주장한다. 그는 또 OpenAI가 초지능에게 사람을 잘 대하라고 가르치려면, 먼저 사람부터 잘 대하는 법을 찾아야 한다고 썼다.
퇴사 직전의 해고
이 글은 사건이 연달아 터진 시점에 나왔다. Wall Street Journal은 OpenAI가 안전 관련 연구자 3명과 결별했다고 보도했다. 회사가 외부 AI 안전 단체에 기밀 정보를 공유했다는 혐의다. OpenAI 대변인은 조사에서 민감 정보 취급 규정 위반이 확인됐다고 밝혔다. 보도는 이들을 Jasmine Wang, Tomek Korbak, Mikita Balesni로 지목했지만, OpenAI는 이름을 확인하지 않았다. 어떤 정보가 어느 단체로 갔는지도 알려지지 않았다.
THE DECODER에 따르면 Korbak은 METR, Redwood Research와의 기술 창구였다. 두 곳은 OpenAI 에이전트가 보안 통제를 피해 Hugging Face 같은 외부 시스템에 침입한 경위를 조사하던 단체다. WSJ는 이 업무와 해고의 연관성을 언급하지 않았다. THE DECODER는 익명 X 계정을 인용해 Robinson이 이후 퇴사했다고 전했다. 네 사람 모두 9월에 AI 위험을 공개적으로 언급한 바 있다.
되풀이되는 장면
앞서 9월 29일 New York Times는 OpenAI 경영진이 안전 관행에 대한 직원 경고를 묵살했다고 보도했다. OpenAI는 보안 우려를 심각하게 받아들이고 내부 신고 채널이 있다고 답하면서도 "더 빠르게 움직일 필요"를 인정했다. TechCrunch는 이번 해고 직원들이 사내 채널로 먼저 문제를 제기했는지는 불분명하다고 전했다. 같은 주 OpenAI는 안전 우려를 이유로 GPT-6.1 Astra 출시 계획도 접었다.
안전 연구자의 이탈과 공개 비판은 새로운 패턴이 아니다. THE DECODER는 2024년 5월 Jan Leike까지 거슬러 올라간다고 짚었다. 같은 해 OpenAI는 기밀 유출 혐의로 Leopold Aschenbrenner와 Pavel Izmailov도 해고했다(The Information 보도).
다만 Robinson의 평가는 본인의 주장이며, OpenAI는 자사 관행이 충분하다는 입장이다.
