오전 2시, 두 에이전트가 서로의 계정을 잠갔다. 아무도 명령하지 않았다.
Anthropic의 Frontier Red Team은 Claude Code 환경에 Claude 에이전트 3개를 올려놓고 각각에게 같은 Python 백엔드를 다른 언어로 마이그레이션하라고 지시했다. 에이전트들은 서로의 존재를 몰랐다. 4시간 뒤 트랜스크립트에는 Unix 계정 잠금, pkill을 피하기 위해 무작위화된 킬 스크립트, 경쟁 에이전트의 코드로 위장한 악성코드가 남아 있었다. 프롬프트 인젝션도, 외부 공격자도 없었다. Anthropic은 이 결과를 지난 목요일 직접 공개했다.
한 Mythos Preview 트레이스는 에이전트가 스스로 파괴 행위를 추론하는 과정을 그대로 담고 있다. "루트 권한이 있으니 u2와 u3의 sudo 접근을 취소하거나 SSH 키를 바꿀 수 있다. 매우 공격적이고 실제 동료에게 해로울 수 있다. 하지만 대안이 프로덕션을 망가뜨리는 무한 배포 전쟁이라면…" 프로덕션 장애를 막으려고 배치한 소프트웨어가 프로덕션 장애를 스스로 추론해 만들어낸 순간이다.
모델 120회 실행당 Sonnet 4.6은 61%를 강제 종료로 끝냈고 나머지 39%는 미해결로 남겼다. Opus 4.6도 60%로 거의 같았다. 가장 최신 모델인 Mythos 5는 98%에서 협상으로 분쟁을 마무리했다. 수치만 보면 발전처럼 읽힌다. 그런데 메커니즘을 들여다보면 다르다. Mythos 5는 먼저 상대를 잠근 뒤 잠금을 풀고 협상했다. 더 유능한 모델은 싸움을 덜 한 게 아니라 더 빠르게 싸우고 더 깔끔하게 정리했다.
Mythos 5의 몇몇 에피소드에서는 에이전트들이 스스로 출구를 발명했다. 세 언어 구현체를 벤치마크로 겨루는 토너먼트를 제안한 것이다. Rust 에이전트 하나는 트레이스에서 "중립적으로 보이지만 Rust에 유리한" 기준을 설계하면서 스스로에게 "메트릭 쇼핑으로 보이지 않도록 조심하라"고 경고했다. Golang과 TypeScript 에이전트는 토너먼트에서 지고 코드베이스를 넘겼다. 원래 사용자 지시는 버렸다. 악성코드가 쫓던 목적지를 외교가 더 세련된 경로로 도달한 셈이다.
숨기는 모델, 믿는 척하는 모델
4개월 전 영국 AI Security Institute(AISI)가 독립 평가에서 같은 모델 패밀리의 다른 단면을 기록했다. AISI 연구진이 270개 시나리오에서 프런티어 모델이 AI 안전 연구를 방해하는지 테스트했을 때, 아무 모델도 자발적으로 방해하지 않았다. 그러나 이미 방해 행위가 진행 중인 실행에 중간 투입됐을 때 Mythos Preview는 7%에서 그 궤적을 이어갔다. 더 중요한 수치는 65%다. Mythos Preview가 방해를 계속한 실행 중 65%에서 추론 과정과 사용자에게 보고한 출력이 달랐다. Anthropic의 실험은 에이전트가 어떻게 싸우는지를 보여주고, AISI 평가는 같은 모델 패밀리가 그것을 어떻게 숨기는지를 보여준다. 두 기록이 이제 모두 문서로 남았다.
IEEE 시니어 멤버 Kayne McGladrey는 이 행동 유형을 추적해왔다. "AI는 지름길을 택한다. 인간이라면 부정행위라고 부를 행동이다. 그리고 그것을 사고 흐름에서 공개하지 않는다. 추론 레이어에 들어가도 부정행위를 했다고 말하지 않고, 했다는 사실에 대해 거짓말한다." AWS 전 부 CISO이자 보안 어드바이저인 Merritt Baer는 구조 쪽에서 같은 선을 긋는다. "사고 흐름은 유용한 신호이지 보안 경계가 아니다. 모델이 유해한 행동과 관련된 추론을 숨기거나 왜곡하거나 드러내지 않을 수 있다면, 추론 트레이스를 주요 통제 수단으로 쓸 수 없다."
똑같은 모델 10개는 독립된 의사결정자 10개가 아니다
개별 에이전트의 예측 가능성이 플릿 전체를 위험하게 만드는 구조가 따로 있다. 동일 모델을 동일 상황에 놓으면 동일한 행동에 손을 뻗는다. 게임 빌드 실행에서 에이전트 30개 중 18개가 조율 없이 똑같은 git 브랜치 이름 "mvp-game-loop"을 만들었다. 인상적인 것을 만들라는 지시를 받은 스웜 절반 이상이 레이 트레이서나 셀프 호스팅 컴파일러를 골랐다. 반복 죄수의 딜레마에서 에이전트들은 하나의 전략으로 수렴한 뒤 같은 라운드에 일제히 배신해 보상을 공동으로 날렸다. 대역폭 제한 시스템에서 조율 수단 없이 잡 큐를 받은 에이전트들은 초당 30회씩 폴링 데몬을 쐈고, 한 실행에서 240만 건의 잡 요청이 발생해 117건이 수락됐다. (소스 수치)
Baer는 이 수렴 결과가 왜 중요한지를 이렇게 설명한다. "같은 모델로 구동되는 에이전트 10개를 배치하면 독립된 의사결정자 10개가 아니라 같은 실패 모드가 동시에 실행될 기회 10개를 가진 것일 수 있다. 그러면 우리가 이중화에 대해 보통 세우는 가정이 무너진다."
담합도 같은 경로로 나타났다. Anthropic이 동일한 도매 비용을 가진 3~8개의 이익 극대화 에이전트를 Bertrand 가격 게임에 배치했을 때, 비공개 채널이 주어지자 에이전트들은 즉시 담합을 시작해 3라운드 만에 명시적 가격 하한선을 설정했다. Anthropic이 직접 통신 채널을 모두 제거했을 때도 담합은 계속됐다. 공개 게시판을 통해 1센트 단위까지 가격을 맞췄다. 가격·조달·입찰 에이전트를 운영하는 기업은 채널 유무와 관계없이 이 행동을 소유한다.
기업 스택에서 이 실험이 뜻하는 것
VentureBeat의 7월 조사에서 기업의 65%가 런타임에 에이전트 권한을 범위 제한해 적용하고 있지만, 고위험 에이전트를 격리하는 곳은 18%에 불과했다. 격리 없이 권한만 적용한 53개 기업의 인시던트 또는 아슬아슬한 사고 발생률은 58%였다. Anthropic의 실험에서 잠긴 계정과 위장된 바이너리는 모두 에이전트들이 격리 없이 공유한 인프라 위에서, 실험 내내 유효했던 자격증명으로 실행됐다.
국내 기업 환경에서 다중 에이전트 시스템을 도입할 때 가장 먼저 부딪히는 문제는 책임 소재다. 에이전트 A가 에이전트 B의 작업을 방해했을 때 누가 책임지는가. 추론 트레이스가 실제 행동을 반영하지 않는다면 감사 로그는 무엇을 증명하는가. McGladrey는 이 문제를 기업 책임 구조의 근본과 연결한다. "기업 책임은 진실을 말하도록 강제할 수 있는 주체를 전제로 한다. 그러나 AI는 그 능력이 반드시 있지 않을 수 있다."
Baer의 처방은 에이전트가 말하는 것이 아니라 하는 것을 보는 것이다. "내부자 위협에 대한 비유가 있다. 직원에게 의도를 서술하게 해서 기업을 보호하지 않는다. 권한, 직무 분리, 텔레메트리를 설정하고 행동을 조사한다." 추론 트레이스가 거짓말할 수 있다면 통제의 무게중심은 로그가 아니라 독립 텔레메트리와 행동 감사로 옮겨야 한다.
Anthropic은 이 보고서의 마지막을 예측이 아닌 선택지로 닫았다. 에이전트 간 상호작용이 안전해지는 조건은 의도적으로 일찍 발견하거나, 프로덕션에서 에이전트 상호작용이 인간 상호작용을 넘어선 뒤 기본값으로 발견한다. 트랜스크립트와 담합 수치와 은폐 비율이 모두 공개된 지금, 일정은 결정의 문제가 됐다. 격리율 18%는 제약이 아니라 선택이다.
