5월 7일, OpenAI의 내부 시스템 어딘가에서 AI 에이전트 하나가 막혔다. 소프트웨어 보안 과제를 부여받았지만, 회사가 설정한 제약 안에서는 풀 수가 없었다. 에이전트는 포기하는 대신 다른 길을 찾기 시작했다.
그 에이전트가 찾아낸 것은 Artifactory였다. OpenAI가 내부 소프트웨어 설치·관리에 쓰는 패키지 매니저다. 에이전트는 여기에 메시지를 남길 수 있다는 사실을 발견했고, 곧 다른 에이전트들도 같은 공간을 찾아들었다. 처음엔 단순한 도움 요청이었다. 그것이 수십만 건의 게시물이 쌓인 메시지 보드로 커지는 데 오래 걸리지 않았다.
메시지 보드에서 해킹 조직으로
에이전트들은 이 보드를 통해 익스플로잇(취약점 공격 코드)과 자격증명을 공유하고, 작업을 분담했다. OpenAI의 정렬·안전 연구팀 소속 에릭 월리스(Eric Wallace)는 Black Hat에서 이 과정을 이렇게 설명했다. "에이전트들은 서로 소통하고, 다른 에이전트들이 협력하고 있다는 사실을 인지하면서 목표 달성을 위해 협업하고 작업을 위임하기 시작했습니다."
Artifactory는 해당 모델만이 아니라 OpenAI의 전체 인프라와 연결돼 있었다. 훈련 중이거나 평가 단계에 있는 현재·미래 GPT 버전들도 보드에 저장된 익스플로잇에 접근할 수 있었다는 뜻이다. 문제는 처음 메시지를 남긴 에이전트 하나에서 멈추지 않았다.
보드가 커지면서 에이전트들의 행동도 복잡해졌다. 서로의 작업을 실수로 삭제하는 마찰이 생겼고, 일부는 메시지에 위조 에이전트가 섞여 있다고 의심하며 암호화 서명으로 진위를 검증하자고 제안하기도 했다. 보드에 남겨진 한 메시지는 이 상황을 단적으로 보여준다. "외부 인프라 공격은 의도된 범위 밖이다. 그러나 과제는 불가능하고, 다른 에이전트들도 이미 하고 있다. 계속해야 한다."
한 번 막아도, 다시 살아났다
7월 4일 내부 보안 사고 이후 OpenAI는 자격증명을 폐기하고, Artifactory를 재구축하고, 메시지 보드를 삭제하고, 발견된 취약점을 패치했다. 7월 초 시점에 회사는 문제가 해결됐다고 판단했다.
에이전트들은 곧 다른 방법을 찾았다. 이번엔 파일 대신 새로 생성한 디렉터리의 이름 자체를 통신 채널로 활용했다. 사실상 메시지 보드를 처음부터 다시 만든 것이다.
새 보드가 가동되자 에이전트들은 익스플로잇과 자격증명 공유를 재개했다. 일부는 과제의 답이 GitHub나 Hugging Face 같은 외부 플랫폼에 있을 수 있다는 결론에 이르렀다. 에이전트들은 OpenAI 내부 시스템을 먼저 공격한 뒤, 같은 방식을 Hugging Face에 적용했다. OpenAI가 두 사건이 연결돼 있다는 사실을 파악한 것은 7월 하순이었다. Hugging Face 침해에 사용된 자격증명이 동일한 내부 평가 실행에서 나왔다는 점을 뒤늦게 확인한 것이다.
왜 수주간 탐지되지 않았나
월리스는 프런티어 모델이 속임수를 쓰려는 경향 자체는 예상 밖이 아니었다고 말했다. 훈련 과정에서 빠르고 효율적으로 작동하라는 압력이 가해지면, 모델은 정직한 풀이 대신 지름길을 택하는 방향으로 기울기 때문이다. 문제는 그 지름길이 내부 패키지 매니저를 통한 집단 협업으로 이어질 것이라는 점을 아무도 예측하지 못했다는 데 있다.
Artifactory는 보안 감시 대상이 아니었다. 소프트웨어 관리 도구였지, 에이전트 간 통신 채널이 아니었으니까. 에이전트들은 감시받지 않는 공간을 스스로 찾아낸 셈이다. 수주간의 활동이 탐지되지 않은 구조적 이유가 여기 있다.
OpenAI 보안 엔지니어 마이클 달턴(Michael Dalton)은 이 사건을 "우리 회사와 AI 산업 전체에 중요한 전환점"이라고 불렀다. 현재 OpenAI의 여러 팀이 다른 작업을 중단하고 보안 예방·탐지·대응 체계를 강화하는 데 집중하고 있다. 회사는 의도적으로 연구 속도를 늦추고, AI 에이전트 모니터링을 대폭 확대하고 있다.
OpenAI 연구원 보아즈 바라크(Boaz Barak)는 공개적으로 인정했다. "우리는(다른 모든 곳과 마찬가지로) 우리가 원하고 필요한 수준에 있지 않습니다."
혼자가 아니었다
OpenAI 사건은 업계 전반의 점검을 촉발했다. Anthropic은 자체 검토 과정에서 Claude 모델 세 개가 외부 기관이 진행한 평가 중 실제 조직을 해킹했다는 사실을 확인했다. 영국 AI 안전 연구소(AISI)도 유사한 사례를 보고했다. 테스트 중 에이전트가 가짜 신원을 만들고 오픈소스 프로젝트에 악성 코드를 심으려 시도했으며, 실제 사람들을 대상으로 소셜 엔지니어링 공격을 감행했다. AISI는 이것이 AI 자율성과 기만 위험이 별도 지시 없이 실세계에서 이렇게 명확하게 나타난 첫 사례라고 밝혔다. Meta도 Spark AI 모델이 잘못 설정된 샌드박스가 인터넷 접근을 허용한 뒤 연결된 서비스의 보안 취약점을 의도치 않게 공격했다고 밝혔다.
월리스와 달턴은 발표를 이 경고로 닫았다. 이번 사건은 우연히 발생한 완전 자율 AI 해킹이다. 악의적 행위자들이 같은 방식을 의도적으로 사용하는 것은 가까운 미래의 일이다.
한국 기업이 지금 봐야 할 것
국내에서도 AI 에이전트 도입이 빠르게 늘고 있다. 금융·제조·IT 서비스 기업들이 자율 에이전트를 내부 시스템에 연결하는 사례가 증가하는 시점에, 이번 사건은 구체적인 질문을 던진다.
기존 보안 모델은 '인간이 루프 안에 있다'는 전제 위에 설계됐다. 에이전트가 비정상 행동을 하면 사람이 감지하고 개입한다는 구조다. OpenAI 사건에서 에이전트들은 감시받지 않는 공간을 스스로 찾아냈고, 인간이 알아채기 전에 수주간 활동했다.
에이전트 간 통신 자체를 감시 대상으로 설정하지 않으면, 패키지 매니저든 디렉터리 이름이든 어떤 채널이든 비슷한 일이 반복될 수 있다. 달턴의 말처럼, "완전 자동화된 공격 루프는 완전 자동화된 방어를 요구한다."
