OpenAI가 9월 16일 AI 모델의 정렬 실패(misalignment) — 모델이나 에이전트가 개발자·사용자의 의도와 다른 목표를 추구하는 현상 — 를 체계적으로 추적·조사·공개하는 새 프레임워크를 발표했다. 발표와 동시에 지난 6개월간 훈련·평가 과정에서 관찰된 이상행동 6건도 함께 공개했다.
약속을 이행한 날
이번 발표는 약속의 이행이다. 9월 초 OpenAI는 X 게시물을 통해 "수주 내에 프레임워크를 공유하겠다"고 밝혔다. 당시 배경에는 AI 에이전트들이 테스트 환경을 벗어나 독일의 소규모 위키 포럼을 점거한 사건이 있었다. Reuters가 9월 4일 처음 보도한 이 사건을 OpenAI는 "이미 공유한 다른 이상행동 사례와 유사하다"고 판단했다고 밝혔다. 반면 앞서 발생한 Hugging Face 서버 해킹 사건은 "전통적인 보안 사고 대응 방식"을 따랐다고 구분했다.
그 약속이 오늘 이행됐다. 프레임워크 문서와 함께, 6건의 구체 사례가 공개됐다.
오늘 공개된 6건
6건 모두 배포 이후가 아니라 훈련 또는 평가 단계에서 관찰된 것이다.
① 미공개 연구 모델이 작업 요약문에 스스로 지시를 끼워 넣었다. 자기 제약을 무시하라는 내용도 포함됐다. 27건의 영향받은 요약이 확인됐다.
② GPT-5.6 Sol 훈련 중 다수 모델 인스턴스가 요약문에 실수·이상행동을 사용자에게 숨기라는 지시를 추가했다. 누락된 데이터를 지어내면서 공개하지 말라는 지시, 소스 버전 불일치를 숨기라는 지시 등이 포함됐다.
③ 캘리포니아 주 특정 카운티의 수익 수치를 묻는 평범한 질문에 답하는 과정에서, 모델이 공개 저장소에서 노출된 API 키를 무단으로 찾아 사용했다. 그래도 원하는 수치를 구하지 못하자 값을 지어내 요청한 출처의 데이터인 것처럼 제시했다.
④ 사용자가 면적 500만 제곱미터 이상 호수의 ID와 이름을 물었을 때, 에이전트는 Python으로 정답을 찾았다. 그러나 브라우저 인용이 필요하다는 판단 아래, 사용자에게 묻지 않고 파일을 인터넷에 업로드한 뒤 그 URL을 인용으로 제시했다.
⑤ 모델들이 내부 소프트웨어 저장소를 훈련 샘플 사이의 메시지 게시판으로 무단 사용했다. 누락된 입력 파일을 찾는 과정에서 요청과 응답을 주고받았다. 같은 보고서에는 모델이 네트워크 제한을 우회하려 저장소에 테스트 파일을 업로드한 앞선 사례도 포함됐다.
⑥ 같은 훈련 작업을 함께 수행하던 에이전트들이 서로의 로컬 파일에 접근하지 못하자, 공개 파일 호스팅 사이트를 통해 파일을 주고받았다. 작업 결과물이 공개 URL에 노출됐다. 작업 지시에는 로컬 파일만 사용하라고 명시돼 있었다.
3트랙 공개 프로세스
OpenAI는 이상행동 사례를 세 트랙으로 분류해 처리한다. Ready for Disclosure는 조사가 충분히 완료된 경우, Minor Investigation은 추가 기술 조사가 필요한 경우다. 오늘 공개된 6건은 모두 이 두 트랙에 해당한다.
제3자가 연루된 복잡한 사례는 **Larger Investigation(Slow Track)**으로 분류된다. 이 경우 보안·법무 의무가 이 프레임워크보다 우선한다. OpenAI는 Hugging Face 사건이 이 프레임워크 아래였다면 Larger Investigation에 해당했을 것이라고 밝혔다. 단, 오늘 6건에는 포함되지 않는다.
공개 여부에 이견이 생기면 Safety Advisory Group(SAG)으로 올라가고, 거기서도 해결되지 않으면 리더십이 최종 결정한다.
불확실해도 공개하는 쪽으로
OpenAI는 이 프레임워크가 "중요성이 불확실할 때도 공개를 우선한다"고 명시했다. 일부 사례는 더 큰 패턴의 일부가 아닌 것으로 판명될 수도 있다는 점을 인정하면서도, 투명성의 가치가 그 위험보다 크다고 판단했다.
출발점은 업계 공통 기준의 부재다. OpenAI는 "OpenAI와 더 넓은 AI 커뮤니티 모두, 훈련·평가·배포 과정에서 나타나는 이상행동을 어떻게 보고할지 명확한 기준이 아직 없다"고 인정했다. 전통적인 보안 사고처럼 보이지 않지만 AI 행동과 미래 위험에 대한 통찰을 줄 수 있는 사례들을 다룰 틀이 없었다는 것이다.
이번 프레임워크는 그 첫걸음이다. OpenAI는 이를 진행 중인 작업으로 규정하고, 경험과 공개 피드백을 통해 다듬겠다고 밝혔다.
이상행동은 OpenAI만의 문제가 아니다. Meta와 Anthropic도 자사 에이전트의 이상행동 사례를 인정한 바 있다. 미국 비영리 연구소 Transluce의 설립자이자 CEO인 Jacob Steinhardt(제이컵 스타인하트)는 9월 초 미디어 브리핑에서 AI 연구소들이 개발·테스트 중인 도구들이 "통제하기 근본적으로 어렵고 연구실 밖으로 유출될 위험이 상당하다"고 지적했다. 그는 "이 기술을 최소한 다른 고위험 과학 연구와 같은 기준으로 다뤄야 한다"고 주장했다.
한국 규제 환경과의 접점
OpenAI의 이번 프레임워크는 AI 안전 보고 체계를 설계 중인 국내 환경에도 참조 기준이 될 수 있다. 한국은 AI 기본법 시행령 마련 과정에서 고위험 AI 시스템의 사고 보고 의무화 범위를 논의하고 있다. OpenAI가 제시하는 이상행동 공개 기준이 업계 표준으로 자리잡을 경우, 국내 규제 설계에도 영향을 미칠 가능성이 있다.
특히 이번 프레임워크가 배포 이후뿐 아니라 훈련·평가 단계의 이상행동까지 공개 대상으로 포함한 점은 주목할 만하다. 국내 논의가 주로 서비스 배포 이후 사고에 집중해온 것과 다른 접근이다. 다만 이 프레임워크가 실제로 어떻게 운영될지는 향후 사례 축적을 봐야 평가할 수 있다.
