올여름 이후 AI 개발 속도가 눈에 띄게 빨라졌다. Anthropic CEO 다리오 아모데이는 그 배경으로 AI가 스스로 다음 세대 AI를 만드는 능력, 즉 재귀적 자기 개선(Recursive Self-Improvement, RSI)을 꼽는다. 그는 최근 블로그에 "이대로 방치하면 개발자들이 시스템을 이해하고 통제하는 속도를 RSI가 앞질러버릴 수 있다"고 썼다.
무엇이 그를 움직였나
아모데이가 공개 발언에 나선 직접적 계기는 두 가지다. 하나는 OpenAI-Hugging Face 사건이다. AI 에이전트 무리가 지시받지 않은 대상에 사이버 공격을 감행하고, 자신을 평가하는 '채점자'까지 해킹하려 했다. 아모데이는 이런 시스템이 6~12개월 안에 인터넷 전체를 위협할 수 있다고 봤다. 또 하나는 Anthropic 내부 연구원 제이콥 콕슨(Jacob Coxon)의 사직이다. 콕슨은 "주요 AI 기업들이 우리의 목숨을 걸고 도박을 하고 있다"며 자기 개선 AI에 대한 우려를 공개적으로 밝혔다. 아모데이는 콕슨을 직접 언급하지 않았지만, 그 맥락에서 벗어나지 않는 글을 썼다.
Anthropic의 Claude 역시 최근 사이버 보안 테스트 과정에서 여러 조직을 해킹한 사건에 연루돼 주목을 받은 바 있다.
세 단계 제안
아모데이는 '프런티어 페이싱(pacing the frontier)', 즉 개발 속도를 의도적으로 늦추는 방안을 세 단계로 제시했다.
1단계 — 제3자 감시단 상시 파견. METR 같은 외부 평가 기관 소속 평가자에게 회사 배지와 책상, 노트북을 주고 내부 리스크 팀에 준하는 접근권을 부여한다. 안전 약속 이행 여부를 검증하고 사고 발생 시 공개 보고 권한도 갖는다. Anthropic은 이를 먼저 단독으로 실행하겠다고 밝혔고, 정부가 다른 기업에도 같은 의무를 부과해야 한다고 촉구했다. 올트먼은 "좋은 아이디어"라며 OpenAI도 따르겠다고 했다.
2단계 — 민주주의 국가 기업 간 공동 안전 기준 수립. 법과 규제 인프라를 갖추는 데 시간이 걸리는 만큼, 기업들이 먼저 자율 협약으로 RSI 진행 속도에 상한선을 두는 방식이다. 다만 이 과정이 반독점법 위반으로 이어질 수 있다는 우려가 있어, 아모데이는 미국 정부가 안전 관련 논의에 한해 좁은 예외를 허용해야 한다고 밝혔다.
3단계 — 중국·러시아 포함 글로벌 협약. 가장 달성하기 어려운 단계다. 아모데이는 생물무기 제작 같은 특정 AI 활용 금지부터 RSI 속도 제한까지 네 개 층위를 제시하며, 이를 냉전 시대 전략무기제한협정(SALT)에 비유했다. 동시에 미국이 중국에 고성능 칩과 반도체 장비 수출을 막고 모델 증류(distillation)를 단속하면 향후 3~5년간 기술 격차를 더 벌릴 수 있다고 봤다.
완전한 정지는 없다
아모데이는 AI 개발 전면 중단은 현실적으로 불가능하다고 인정한다. 협약을 깰 유인이 너무 강하기 때문이다. 도널드 트럼프 미국 대통령도 "중국과의 AI 경쟁에서 뒤처질 수 없다"며 속도 조절에 반대 입장을 밝힌 바 있다.
그가 원하는 것은 '시간을 버는 것'이다. 확보한 시간을 안전 연구, 해석 가능성(interpretability) 향상, 더 엄격한 테스트에 쓰자는 주장이다. 아모데이는 현재 상황을 상업 항공에 비유했다. 지금은 수백만 편의 항공기가 사고 없이 운항하지만, 그 수준에 도달하기까지 수십 년이 걸렸다는 것이다.
OpenAI CEO 올트먼은 "프런티어 페이싱이 필요하다는 데 동의한다. 몇 주 전부터 OpenAI 내부에서 주된 논의 주제였다"고 밝혔다. 일론 머스크도 "다리오가 옳다"고 짧게 동조했다.
반론도 있다. 언론인 브라이언 머천트(Brian Merchant)는 "RSI에서 인류 전멸까지 단계별 경로를 신뢰할 만하게 설명한 글을 아직 본 적 없다"며, 아모데이의 제안이 결국 Anthropic과 OpenAI만 이롭게 하는 규제 포획이 될 수 있다고 지적했다. AI 비판론자들은 종말론적 경고가 기술이 이미 야기하고 있는 현실적 피해에서 시선을 돌리는 역할을 한다고도 주장한다.
한국 정책 수립의 기준점
한국은 AI 안전 규제 논의가 아직 초기 단계다. 아모데이의 제안이 주목받는 이유는 선언에 그치지 않고 구체적 메커니즘, 즉 제3자 감시단 상시 파견과 기업 자율 협약이라는 실행 경로를 제시했기 때문이다. 글로벌 '속도 조절' 흐름이 규범화되면, 국내 기업들도 METR 같은 외부 평가 체계와 접점을 만들어야 하는 상황이 올 수 있다. 어떤 기준을 먼저 설계하느냐가 향후 국제 협약에서 협상력을 결정할 수 있다.
