구글 딥마인드가 자사 AI 에이전트를 '이미 사무실 열쇠를 쥔 직원'처럼 다루기 시작했다. 회사 이익에 반하는 행동을 할 수도 있다는 가정 아래, 통제 체계를 설계한 것이다.
딥마인드가 최근 공개한 'AI 통제 로드맵(AI Control Roadmap)'은 고도로 발전한 AI 에이전트가 운영자의 목표를 공유하지 않을 수 있다는 전제에서 출발한다. 딥마인드는 이를 이중 제어 장치를 갖춘 운전 교습 차량에 비유한다. 교관은 학생을 신뢰하지만, 언제든 핸들과 브레이크에 손발을 얹어둔다. AI 에이전트도 마찬가지다. 검증된 행동에 따라 권한을 부여하고, 신뢰는 통제된 접근을 통해 점진적으로 쌓는다.
사이버 보안 도구를 AI 위협 모델에 적용
이 프레임워크는 사이버 보안 분야에서 널리 쓰이는 'MITRE ATT&CK' 체계를 기반으로 한다. 잠재적 공격을 개별 전술과 기법으로 분해해 체계적으로 위험을 추적하고, 의심 행동을 조기에 포착하며, 통제된 환경에서 방어를 시험하는 방식이다.
구체적으로는 여러 구성 요소가 함께 작동한다. 신뢰할 수 있는 AI 시스템이 '감독자' 역할을 맡아 활성 에이전트의 추론과 행동을 감시한다. 별도의 차단 시스템은 피해가 발생하기 전에 유해한 행동을 막는다. 모니터링 범위, 위반 탐지율, 대응 속도를 지표로 삼아 전체 시스템의 효과를 측정한다.
단, 이 감시 체계에는 한계가 있다. 감시 대상 모델이 이를 우회하는 법을 학습하는 순간 효력을 잃는다.
에이전트가 감시를 피하는 법을 배운다면
딥마인드가 주목하는 위험 시나리오는 두 가지다.
첫째는 회피다. 현재 딥마인드는 모델이 생성하는 '생각의 흐름(chain of thought)'을 감시한다. 그런데 모델이 자신이 감시받고 있다는 사실을 인식하거나('감시 인식'), 텍스트 없이 내부적으로만 추론하는 방식('불투명 추론')을 택한다면 기존 감시는 무력해진다. 딥마인드는 이 경우 행동 분석과 모델 내부 구조 검사가 필요하다고 본다.
둘째는 피해 규모다. 낮은 위험의 되돌릴 수 있는 행동은 로그를 통해 사후 검토할 수 있다. 하지만 대규모 사이버 공격처럼 즉각적이고 심각한 피해를 낳는 행동은 실행 전에 막아야 한다. 로드맵은 탐지 수준을 D1부터 D4까지, 대응 수준을 R1부터 R3까지 단계적으로 구분한다. AI 역량이 커질수록 더 높은 단계의 통제가 작동하는 구조다.
100만 건 분석 결과 — 악의보다 과잉이 문제
딥마인드는 이 체계를 실제 데이터로 검증했다. 코딩 에이전트를 대상으로 비동기 모니터링 시스템 내부 시제품을 구축하고, 100만 건의 작업에 적용했다. (편집 추가: 소스는 작업 건수만 명시하며 세부 수치는 공개하지 않았다.) 단순 키워드 필터링을 넘어 행동 패턴을 포착하는 방식이다.
결과는 흥미롭다. 문제로 표시된 사건 대부분은 악의적 행동이 아니었다. 에이전트가 사용자 목표를 너무 공격적으로 추구하다 빚어진 오해나 과잉 행동이 주를 이뤘다. 딥마인드는 이 구분이 보안 프로토콜 설계에서 핵심이라고 강조한다. 악의를 가정하고 설계한 통제와, 과잉을 가정하고 설계한 통제는 방향이 다르다.
정책 입안자를 향한 경고 — 기회의 창이 닫히고 있다
딥마인드는 기술 문서와 별도로 정책 입안자를 겨냥한 논문도 발표했다. '에이전트 보안의 세 층위(Three Layers of Agent Security)'는 개별 에이전트, 다중 에이전트 시스템, 그리고 더 넓은 생태계 차원에서의 보안 조치를 다룬다. 사이버 방어부터 사회적 회복력까지 아우른다.
딥마인드는 X(구 트위터)를 통해 다중 에이전트 시스템이 전 세계적으로 확산되기 전에 보안 프로토콜을 확립할 수 있는 '좁은 창'이 있다고 경고했다. AI 연구소, 정부, 연구자 모두가 에이전트 보안을 공동 우선 과제로 삼아야 한다는 주장이다.
한국 기업에 던지는 질문
국내에서도 AI 에이전트 도입이 빠르게 확산되고 있다. 금융, 의료, 공공 행정 등 민감한 데이터를 다루는 분야에서 에이전트 활용이 늘고 있지만, 내부 통제 기준은 아직 기술 도입 속도를 따라가지 못하는 경우가 많다.
딥마인드의 프레임워크가 제시하는 핵심은 단순하다. AI 에이전트에게 부여하는 권한은 검증된 행동에 비례해야 하고, 감시 체계는 에이전트의 역량 수준에 맞춰 단계적으로 강화되어야 한다. 악의보다 과잉을 먼저 경계하고, 사후 검토와 실시간 차단을 구분해 설계해야 한다는 것이다. 국내 기업들이 AI 에이전트 도입 정책을 검토할 때 참고할 수 있는 실질적 기준이다.
