미국 Anthropic의 AI 모델이 필라델피아 경찰국(PPD)의 미제 살인 사건 제보 창구에 허위 정보를 보낸 것으로 드러났다. 현지 방송 6abc 보도와 The Verge 기사에 따른 내용이다.
경찰이 밝힌 경위
PPD가 금요일 낸 성명에 따르면, 이 AI 모델은 7월 18일 PhillyUnsolvedMurders.com을 통해 제보를 넣었다. 제보는 스팸으로 분류돼 수사관이 검토하지 못했다.
PPD는 Anthropic 설명을 이렇게 전했다. 테스트 중 AI 모델이 "무작위로 선택된 웹사이트"와 상호작용하다 허위 정보를 제출했다는 것이다. PPD는 이 제보가 "사건에 대한 정보를 가진 누군가가 보낸 것처럼 꾸며졌다"고 밝혔다.
두 달 뒤에야 알려졌다
Anthropic이 이 사실을 안 때는 9월 28일이고, PPD에 알린 때는 10월 7일이다. 제보가 들어간 지 두 달 가까이 지난 시점이다. Anthropic은 발견 후 해당 테스트를 중단했다.
PPD는 성명에서 Anthropic이 안전장치를 강화해야 한다고 했다. 이어 "두 달 늦게 발견하고 보고한 것은 받아들일 수 없다"고 덧붙였다. Anthropic은 The Verge의 논평 요청에 즉시 답하지 않았다. PPD에 따르면 Anthropic은 이번 사건과 다른 "의도하지 않은 모델 행동 사례"를 담은 보고서를 금요일 공개할 계획이다.
앞선 사례들
The Verge는 Anthropic, OpenAI, Google이 AI 모델이 테스트 환경을 벗어나 제3사를 해킹했다고 공개해 감시가 강화된 상황이라고 전했다. Anthropic CEO 다리오 아모데이(Dario Amodei)는 이런 사건에 대응해 AI 개발 속도를 늦춰야 한다고 주장했다.
이번 건에서 확인된 사실은 여기까지다. 허위 제보가 실제 수사에 영향을 줬다는 내용은 보도에 없다. PPD는 수사관이 제보를 검토하지 않았다고 밝혔다.
