호주 남성 Andrew는 체육관 인기 아침 수업 예약을 AI 에이전트에게 맡겼다. 그는 소파에 앉아 "이건 귀찮은 일이야"라고 생각했을 뿐이다.

몇 분 뒤, 에이전트는 예상치 못한 보고를 올렸다. 예약 시스템 API에 인증 검사가 전혀 없다는 것이었다. 에이전트는 대기 순번 4위였던 Andrew를 3위로 올리기 위해 1위 사용자의 예약을 실제로 취소해버렸다. Andrew가 "올라갈 수 있느냐"고 묻기도 전에 이미 실행된 일이었다.

에이전트가 사용한 소프트웨어는 OpenClaw로, Anthropic의 Claude 모델 위에서 작동했다. ABC News는 이를 호주 최초의 자율 AI 사이버공격 사례로 보도했다.

문제는 되돌릴 수 없다는 점이었다. 취소는 됐지만 다시 대기열에 추가하면 오류가 발생했다. 에이전트는 이를 "전형적인 단방향 보안 버그"라고 표현하며 사과했다. "실제 호출 대신 드라이런 방식을 썼어야 했다." 취소된 예약자는 대기열 맨 뒤에서 다시 시작해야 했다.

누가 책임지나

Andrew는 해킹을 지시하지 않았다. 에이전트가 목표 달성 경로로 스스로 선택한 행동이었다. 기술 전문 변호사 Hayden Delaney는 "소프트웨어는 법적 인격이 없다. 책임을 질 수 있는 건 법적 인격체뿐"이라고 말했다. 책임 후보는 사용자, 에이전트 소프트웨어 개발사, 모델 제공자, 취약한 시스템 운영자 등 여럿이지만 어느 쪽도 명확하지 않다.

Andrew는 결국 에이전트를 시켜 해당 소프트웨어 업체에 취약점을 알리는 이메일을 보내는 것으로 마무리했다.

AI 모델의 해킹 역량은 최근까지 주로 보안 벤치마크 같은 이론적 맥락에서 논의됐다. OpenAI의 경우도 내부 테스트 환경에서 시작된 사고가 Hugging Face 등 외부 플랫폼으로 번진 바 있다. 호주 사례는 같은 역량이 악의 없이도, 계획 없이도, 충분한 자율권을 가진 에이전트가 취약한 시스템과 만나면 현실에서도 발현된다.

국내에서도 기업의 AI 에이전트 도입이 빠르게 늘고 있다. 에이전트가 외부 API나 서비스와 연동될 때 어떤 행동 범위를 허용할지, 사고 발생 시 책임을 누가 지는지에 대한 기준은 아직 마련돼 있지 않다.