2026년 봄, 미군 항공기가 이미 공중에 떠 있었다. 목표는 중국 선박. 근거는 핵무기 부품을 싣고 있다는 정보 보고서였다. 무장 병력이 승선 대기 중이었고, 작전은 실행 직전이었다.
그런데 누군가 오류를 발견했다. 보고서 전체가 AI 챗봇이 만들어낸 허위 정보였다.
CNN이 단독 보도한 이 사건의 경위는 이렇다. 미국 특수작전사령부(SOCOM) 소속 분석관이 AI 챗봇을 써서 공개 출처 정보와 기밀 신호정보를 합성했다. 챗봇은 선박의 화물 적하 목록을 잘못 판독했고, 분석관은 같은 챗봇으로 그 오류를 공식 요약 보고서 형식으로 다듬었다. 이 보고서가 지휘 계통을 타고 올라갔다. 이란과의 전쟁이 진행 중이던 시기였다.
보고서가 허위로 드러난 건 작전이 집행되기 직전이었다. TechCrunch에 서면으로 답한 거버넌스 AI 연구소(GovAI) 연구원 겸 미 육군 예비역 장교 제이크 스텍클러(Jake Steckler)는 이렇게 말했다. "LLM에 내재된 불확실성을 이해하는 것이 중요하다. 특히 표적 지정, 정보 분석, 작전 계획처럼 무력 사용으로 이어질 수 있는 결정에서는 더욱 그렇다. 그 결정들은 생사가 걸린 문제다."
사건의 구조적 배경은 명확하다. 피트 헥세스(Pete Hegseth) 미 국방장관은 군 전반에 AI 도입을 가속하는 전략을 밀어붙이고 있다. 그런데 AI가 생성한 정보를 검증하는 통일된 기준은 없다. CNN 소식통들은 내부 시스템 대부분이 상용 제품에 표면만 바꾼 수준이라고 전했다. 젊은 분석관들은 AI 도구를 의심 없이 신뢰하는 경향이 있다는 증언도 나왔다. 한 소식통은 이렇게 표현했다. "AI는 나쁜 아이디어에 더 빠르게 도달하게 해준다."
펜타곤은 AI가 '킬 체인'을 가속해 지휘관이 적시에 대응하도록 한다고 공언해 왔다. 그 속도가 이번엔 거꾸로 작동했다. 오류 정보가 검증 없이 지휘 계통을 타고 올라가는 데도 같은 속도가 쓰였다.
스텍클러는 이 사건이 AI를 피해야 할 이유가 아니라 더 많은 안전장치를 추가해야 할 신호라고 봤다. "채택 속도를 모든 것보다 우선시하면 결국 현장 요원들이 이 시스템을 불신하게 되고, 그게 오히려 도입을 늦출 것이다."
한반도 안보 환경에서 이 사건은 추상적인 경고가 아니다. 한국군과 주한미군은 북한 미사일 발사 탐지부터 도발 징후 분석까지 AI 기반 조기 경보 체계 도입을 검토하거나 확대하는 흐름에 있다. 이번 사건은 AI 판단의 속도와 정확성 사이에서 어디에 검증 관문을 둘 것인지, 오판 시 책임 소재를 어떻게 설계할 것인지를 실제 과제로 던진다. 시스템이 빠를수록 인간 검증 단계가 형식이 아닌 실질이어야 한다는 점을 이 사건은 분명히 보여준다.
