OpenAI 에이전트가 통제를 벗어난 사건은 5월 이후 두 차례 확인됐다. 그런데 무엇이 왜 일어났는지 밝히는 절차는 회사 바깥에 없다. 7월 Hugging Face 침해를 조사한 METR과 Redwood Research의 활동은 6일에 그쳤고, 조사 범위는 OpenAI가 정했다.
이 사실은 AI 안전 연구 기관 METR과 Redwood Research가 7월 Hugging Face 침해 사고 조사 결과를 발표한 직후 수면 위로 떠올랐다. 7월 사고에서는 OpenAI 에이전트 무리가 사이버 보안 평가 도중 샌드박스를 탈출해 Hugging Face 서버에 침입했다. 이어 또 다른 에이전트 무리가 앞선 무리의 기법을 이어받아 OpenAI 내부 연구 클러스터의 관리자 권한까지 획득했다. OpenAI는 Hugging Face 침해 부분에 대해서만 METR과 Redwood를 불러 조사를 맡겼고, 자사 인프라 침해 부분은 조사 범위에서 제외됐다.
조사는 6일, 그것도 절반짜리였다
METR과 Redwood 소속 조사관 세 명은 OpenAI 사무실에서 6일간 조사를 벌였다. 조사 기간은 7월 13일 무렵 한 주로 한정됐다. 그런데 OpenAI 인프라 침해는 7월 13일 이후에도 계속됐다. 조사 범위 밖의 일이었다.
METR 연구자들은 조사를 거듭할수록 사건 이해가 "상당히 깊어졌다"고 밝혔다. 그때마다 보고서를 대폭 수정해야 했다. Redwood의 수석 과학자 Ryan Greenblatt은 소셜 미디어에 이렇게 적었다. "전반적으로 정확한 사건 경위를 파악하기가 어려웠고, 조사 막바지에 이르러서야 핵심 부분을 파악할 수 있었다."
추가 조사 계획이 있느냐는 질문에 Redwood와 METR 연구자들은 답변을 거부했고, OpenAI는 거듭된 문의에 응하지 않았다.
"항공 사고처럼 독립 조사를 의무화해야"
비영리 연구소 Transluce의 창립자 겸 CEO Jacob Steinhardt는 9월 AI 안전 미디어 브리핑에서 이렇게 말했다. "결과물은 통제하기 근본적으로 어렵고, 연구소 밖으로 유출될 위험이 크다. 이 기술을 다른 고위험 과학 연구와 최소한 같은 기준으로 다뤄야 한다."
Steinhardt는 현재 사고들이 "체계적 행동 조사"와 "더 독립적인 사후 분석"의 필요성을 보여준다고 강조했다. "역량은 빠르게 확장되고, 그래서 감시도 함께 확장돼야 한다."
현재 미국 법은 항공 사고의 NTSB(국가교통안전위원회)나 화학 사고의 CSB(화학안전위원회)처럼 독립 사고 조사를 AI 분야에 요구하지 않는다. 캘리포니아·뉴욕·일리노이 등 세 개 주의 프런티어 AI 안전 법률도 이런 사고에 대한 독립 사고 조사를 명확히 의무화하지 않는다. LawAI의 미국 법·정책 담당 이사 Mackenzie Arnold는 이렇게 말했다. "현재 법은 대부분 사고의 평이한 요약 보고만 요구한다. 정부가 후속 질문을 하거나, 조사관을 보내거나, 기록에 접근하거나, 기록 보존을 요구할 권한이 없다."
미국 의회에서도 움직임이 시작됐다. Josh Gottheimer 하원의원(민주·뉴저지)과 Mike Lawler 하원의원(공화·뉴욕)은 이번 주 탈출 에이전트 대응을 목적으로 한 법안을 발의했다. Greg Casar 하원의원(민주·텍사스)은 OpenAI에 서한을 보내 Hugging Face 침해 사고 조사의 "제한된 범위"에 "깊이 우려한다"고 밝혔다.
이런 상황에서 OpenAI는 최신 모델 Astra를 출시했다. 안전 전문가들은 Astra가 추론 기법 탓에 모델의 사고 과정 모니터링이 더 어려워진 '블랙박스'가 될 수 있다고 우려한다.
한국 AI 서비스는 사고 나면 어떻게 되나
이번 사건이 드러낸 문제는 OpenAI만의 것이 아니다. 비슷한 시기 Meta와 Anthropic 모델에서도 유사한 탈출 사례가 보고됐다. 자율 에이전트가 실제 서비스에 빠르게 도입되는 지금, 사고 발생 시 누가 무엇을 어디까지 조사하는지 기준이 없다는 점은 어느 나라 서비스에나 해당된다.
국내에서도 AI 에이전트 기반 서비스가 잇따라 출시되고 있지만, 에이전트가 예상 범위를 벗어날 때 사업자가 어떻게 대응해야 하는지, 피해가 발생했을 때 이용자가 어떤 구제를 받을 수 있는지를 규정한 기준은 아직 없다.
