영국 독립 국경·이민 감독관(ICIBI)이 내무부의 망명 신청 처리용 생성형 AI 도구를 조사할지 검토하고 있다. WIRED가 확인한 내용이다. 감독관실은 내년 점검 주제를 짜는 과정에서 디지털 권리 단체 Open Rights Group(ORG)에 관련 정보를 요청했다. ORG의 사라 알셰리프(Sara Alsherif) 캠페이너가 전한 내용이다.
확정된 것과 아직 아닌 것
먼저 선을 그어야 한다. 조사는 착수된 것이 아니라 검토 단계다. ICIBI는 연간 점검 우선순위를 발표하기 전에는 어떤 주제가 논의 중인지 확인해 줄 수 없다고 밝혔다. 다만 AI 도구를 둘러싼 우려는 알고 있으며, 지난해 점검에서 도구 하나의 "효과성과 신뢰성이 들쭉날쭉했다"는 결과를 냈다고 짚었다.
확인된 사실은 내무부가 이 도구를 쓰고 있다는 점이다. 도구는 두 가지다. 망명 사건 요약 도구(ACS)는 신청자 면담 녹취록을 요약한다. 망명 정책 검색 도구(APS)는 출신국 정보를 찾아 요약한다. ORG가 입수한 문서에 따르면 둘 다 OpenAI의 2023년 GPT-4 모델과 Microsoft Foundry 위에서 돌아간다. 내무부는 2024년 말 시범 도입했다. 당시 노동당 정부는 약 10만 건에 달하던 적체 사건을 줄이려 했다. 정부 추정으로는 두 도구를 함께 쓰면 사건당 1시간가량을 아낀다.
의혹은 어디까지 왔나
ORG는 6개월간 의회 질의 11건, 장관 서한 2건, 정보공개 청구 10건을 냈다. 내무부가 세부 정보를 내놓지 않았다는 게 ORG의 설명이다. ORG가 제기한 주장은 다음과 같다.
- 시범 평가가 공개한 9% 오류율보다, ACS 요약 중 "사용 부적합"으로 판정된 비율이 훨씬 높다. 부적합 사유는 주로 사실 오류나 왜곡이다.
- APS가 만든 요약에는 품질 관리 절차가 없다.
- 신청자는 자기 사건에 AI가 쓰였다는 사실을 통보받지 못한다.
이는 ORG와 연구자들의 조사 결과이며, 감독기구가 검증을 마친 것이 아니다. ORG가 의뢰한 법률 의견(Cloisters)은 잘못된 AI 요약에 이의를 제기하지 못하면 영국 데이터 권리 법을 위반할 수 있다고 봤다. 이것도 "위반할 수 있다"는 의견이지 판정이 아니다. 정보위원회(Information Commission)는 내무부가 직원들의 AI 도구 사용 방식과 교육 내용을 ORG에 공개하지 않은 건을 별도로 조사 중이다.
정황으로는 7월 영국 판사가 내무부를 겨냥해, 모로코 여성과 자녀의 망명 신청을 거부하면서 "AI가 환각으로 만든" 문서를 인용했다고 의심했다. 이 역시 판사의 의심 제기이며, 내무부의 도구와 인과관계가 확정됐다는 내용은 기사에 없다.
내무부 입장과 투명성 쟁점
내무부는 결정은 훈련받은 담당자가 내리고, AI는 면담 기록과 정책 정보를 찾는 보조 수단일 뿐이라고 밝혔다. 단독으로 쓸 수 없고 사건 판단을 하지 않는다는 설명이다. 성능은 기존 품질 보증 절차와 함께 점검하며, 갱신된 평가를 공개하겠다고 약속했다고도 했다.
투명성 문제는 따로 있다. 영국 'AI 플레이북'은 각 부처가 의사결정에 쓰는 알고리즘 도구를 공개 저장소에 올리도록 요구한다. 두 도구는 그 목록에 없다. 공공법프로젝트(Public Law Project)의 캐롤라인 셀먼(Caroline Selman)은 정부 전반에서 확인한 고위험 AI 시스템 11건이 저장소에서 빠져 있다고 말했다. 알려지지 않은 도구가 더 있을 수 있다는 우려도 나왔다. 노동당 하원의원 벨 히베이루애디(Bell Ribeiro-Addy)는 "사람의 삶이 걸린 일을 기계가 하는 건 적절치 않다"고 말했다.
OpenAI는 모델 정확도를 개선하는 작업을 계속하고 있다고 밝혔다. 또 GPT-4 시리즈를 내년 1월 종료한다고 짚었다.
한국 독자에게 남는 질문
이 사례에서 눈에 띄는 건 기술 성능보다 절차다. 사람이 최종 결정을 내린다는 구조를 갖췄는데도 논란이 생겼다. 요약이 틀리면 담당자가 그 요약에 기대 판단할 수 있고, 당사자는 AI가 쓰였는지조차 몰라 다툴 길이 없다는 게 비판의 핵심이다. 한국 소스는 없으므로 국내 제도와 직접 비교할 수는 없다. 다만 행정 심사에 생성형 AI를 도입하는 기관이라면 세 가지가 똑같이 따라온다. 오류율을 어떻게 측정해 공개할지, 사용 사실을 당사자에게 알릴지, 잘못된 요약의 책임을 누가 질지다.
