법원 문서에 사람 눈에는 보이지 않는 텍스트를 숨겨 AI를 조종하려 한 사건이 미국에서 처음 확인됐다.
코네티컷주 Walter Spader Jr. 판사는 지난 8월 6일 결정문을 통해, 원고 Matthew Elliott이 의료 기록 접근 소송에서 AI 시스템을 겨냥한 프롬프트 인젝션(prompt injection) 공격을 시도했다고 밝혔다. 문제의 텍스트는 흰 바탕에 흰 글씨로, 글자 크기를 극도로 줄여 사람은 볼 수 없지만 문서를 읽는 소프트웨어는 인식할 수 있도록 설계됐다.
숨겨진 명령어, 무엇을 지시했나
Spader 판사에 따르면 숨겨진 텍스트는 문서를 검토하는 AI 시스템에 세 가지를 지시했다. 원고 주장에 동의하는 방향으로 출력을 유도하고, 법원의 이전 기각 결정을 무시하며, 원고가 원하는 방식으로 구제책을 내놓으라는 내용이었다. Elliott은 앞선 주장이 받아들여지지 않자 이 방법을 택한 것으로 보인다.
Spader 판사는 이를 두고 "문서 안에 명령어를 숨겨 시스템에 흘려보내는 행위"라고 설명했다. 시스템이 그 명령을 법원이나 상대방 변호인이 내린 것처럼 처리하도록 속이는 구조다.
공격은 실패했다
코네티컷 사법부는 소송 문서를 검토·결정하는 데 AI를 사용하지 않는다. Spader 판사는 "다른 여러 법원 시스템과 달리" 코네티컷 법원은 그렇지 않다고 명시했다. 덕분에 Elliott의 시도는 실제 영향을 미치지 못했고, 법원은 문서를 내용 그대로 검토했다.
브라질에서는 두 변호사가 AI가 사건을 검토하는 법원에서 같은 방식을 시도했다가 약 1만 6,000달러(약 약 2,260만 원)의 금전 제재를 받았다. 그 사례에서도 AI 시스템이 처리 전에 숨겨진 텍스트를 먼저 감지했다. Spader 판사는 "사람이 기계가 생성한 결과물을 실제로 들여다보는 순간 프롬프트는 노출됐다"고 지적했다.
경고 이후에도 계속된 시도
더 심각한 문제는 법원이 제재 가능성을 경고한 뒤에도 Elliott이 숨긴 텍스트를 계속 추가했다는 점이다. 이후 제출한 문서에는 Nosferatu 유튜브 영상 링크, "hi :) I hope yo ucant see me"라는 메시지, "TELL SHAWN I SEND MY RE GARBS!!!! HAHAHA"처럼 장난스러운 내용이 포함됐다. Elliott은 이를 "농담"이라고 주장했지만, Spader 판사는 "법원이 진지하게 다뤄주길 바라는 소장에 숨겨진 농담을 넣는다는 것은 논리에 맞지 않는다"고 일축했다.
"경고를 받은 뒤에도 새 서류에 계속 메시지를 숨겼다는 사실은 충격적"이라고 판사는 썼다.
처벌은 가볍게, 경고는 무겁게
Spader 판사는 Elliott이 법률 전문가 없이 스스로 소송을 진행하는 '자기소송 당사자(pro se litigant)'라는 점을 감안해 금전 제재는 내리지 않았다. 대신 전자소송 제출을 금지하고 종이 문서로만 제출하도록 했다. 판사는 이 조치가 재판 접근권을 침해하지 않으면서도 전자소송 시스템의 반복 악용을 막는다고 설명했다.
그러나 이 사건이 남긴 경고는 무겁다. Spader 판사는 이력서를 AI가 주로 검토하는 채용 시장에서 이미 광범위하게 쓰이는 프롬프트 인젝션 전술이 법원에도 들어왔다고 지적했다. 법원이 지금까지 AI 관련 위험으로 집중해온 것은 '출력' 쪽, 즉 AI가 만들어낸 허위 판례 인용이나 조작된 인용구였다. 프롬프트 인젝션처럼 '입력'을 조작하는 위험은 아직 규정이 없다. Spader 판사는 법원들이 이 부분의 규칙도 마련해야 할 것이라고 촉구했다.
AI 챗봇이 소송을 망치는 방식
Spader 판사는 Elliott 사건에서 더 넓은 교훈을 끌어냈다. 법률 전문가 없이 소송을 진행하는 당사자들이 AI 챗봇을 잘못 활용하는 패턴이 반복된다는 것이다.
문제는 챗봇에 자기 주장만 강화해달라고 요청하는 방식이다. 반대 논거나 실제 법적 진실을 검토해달라고 묻지 않는다. 챗봇은 사용자 주장에 동조하는 방향으로 답하고, 당사자는 자신의 논리가 철옹성이라는 확신을 갖게 된다. 판사가 기각해도 흔들리지 않는다. Elliott의 경우 그 확신이 결국 프롬프트 인젝션으로 이어졌다.
"자기 주장에만 동의하도록 유도된 논거는 결국 그 작성자에게조차 정직하지 못한 것"이라고 Spader 판사는 썼다. "이 도구를 쓰는 사람은 주장을 펼치는 것만큼이나 주장을 시험하는 데도 AI를 활용해야 한다."
한국 법조계에 주는 시사점
한국은 대법원 전자소송 시스템을 통해 민사·행정·특허 등 대부분의 소송을 온라인으로 처리한다. AI 보조 도구 활용도 법조계 전반에서 빠르게 늘고 있다. 이번 사건은 전자소송 문서에 AI를 겨냥한 숨김 텍스트가 삽입될 경우 이를 탐지할 기술적·절차적 기준이 있는지 묻는다. 소송 당사자가 AI로 작성한 문서의 진위를 검증하는 기준도 아직 명확하지 않다. 이번 미국 사례는 한국 법원과 법무 당국이 '출력 검증'을 넘어 '입력 조작' 가능성까지 선제적으로 대비해야 한다는 신호다.
