텐센트 AI 책임자, 생물무기 위험 경고…"공개·폐쇄 어느 쪽도 단독 해법 아니다"

텐센트의 수석 AI 과학자 빈스 야오 순위(Vinces Yao Shunyu)가 AI는 곧 생물무기를 개발할 수 있는 수준에 이른다고 경고했다. 사우스차이나모닝포스트(SCMP)를 인용한 The Decoder 보도다. 야오는 OpenAI 출신이다.

그는 개방형과 폐쇄형 어느 한쪽만으로는 이 문제를 풀 수 없다고 본다. 오픈소스와 클로즈드소스를 섞어야 모두가 방어에도 기술을 쓸 수 있다는 논리다. 다만 생물학은 사이버 보안보다 공격 능력과 방어 능력을 가르기 어렵다고 짚었다. 중국과 미국 모델의 격차가 크지 않은 만큼, 업계 전체가 신중하게 움직여야 한다고도 했다.

야오가 든 근거: Hugging Face 해킹 사고

야오는 Anthropic을 비롯한 미국 기업의 폐쇄형 모델 옹호 논리가 강하다고 인정한다. 그러면서도 개방형 모델의 장점을 분명히 본다. 근거로 든 사례가 Hugging Face 해킹 사고다. Anthropic의 Claude 같은 미국 폐쇄형 모델은 안전 필터 때문에 공격 명령어 분석을 거부했다. 그러자 Hugging Face는 중국산 개방형 모델 GLM-5.2로 로그를 분석했다.

텐센트 AI 책임자, 생물무기 위험 경고…"공개·폐쇄 어느 쪽도 단독 해법 아니다" (summary)

Hugging Face 보고서는 이 사례를 뒷받침하면서 한계도 보여준다. GLM-5.2는 사후 포렌식 분석에만 쓰였다. 공격을 실제로 막은 것은 악용된 취약점 패치, 영향받은 서버 재구축, 인증 정보 교체였다. Hugging Face는 이 사건이 호스팅 모델의 안전 필터에 반대하는 논거는 아니라고 강조했다.

반대편: Anthropic의 입장

7월에 Anthropic은 주요 AI 연구소 가운데 유일하게 Nvidia가 후원한 서한에 서명하지 않았다. 개방형 모델에 대한 성급한 규제를 경고하는 서한이다. 다리오 아모데이(Dario Amodei) CEO는 개방형 모델이 공격자보다 방어자에게 더 유리하다는 주장에 특히 반박한다. 안전장치를 강제하기 어렵고, 한번 공개한 모델 가중치는 되돌릴 수 없어 오히려 위험할 수 있다는 것이다. 다만 Anthropic은 개방형 모델의 전면 금지를 요구하지는 않는다.

개방형은 필터가 쉽게 벗겨지고, 폐쇄형은 과하게 막는다

개방형 모델의 안전 필터가 얼마나 약한지는 '어블리터레이션(Abliteration)' 기법이 보여준다. 모델 가중치를 가진 사람이면 학습된 거부 행동만 골라 제거할 수 있다. 이렇게 변형한 모델이 Hugging Face에 수천 개 올라 있다. 미국 스타트업 Abliteration.ai는 필터를 뺀 GLM-5.3 접속을 판매한다. 현재 연구상 기존 대응책은 변형을 어렵게 만들 뿐 막지는 못한다. 더 견고한 방법은 학습 단계에서 위험한 지식을 아예 넣지 않는 것이다.

중국도 문제를 인식하고 있다. 표준화 기구 TC260은 개방형 모델의 안전장치가 제거되거나 우회될 수 있다고 경고하며 오픈소스 AI 보안 표준을 마련 중이다. 수출통제 초안은 초대형 모델을 대상으로 하되 이미 공개된 개방형 모델은 제외한다. 중국과 미국 모두 개방형 모델의 공개를 금지하는 구속력 있는 기준선은 아직 정하지 않았다.

폐쇄형도 부작용이 있다. Anthropic과 OpenAI는 가장 강력한 사이버 모델을 Project Glasswing, Daybreak 같은 프로그램으로 검증된 파트너에게만 공유한다. Claude Fable 5 이후 Claude는 사이버·생물학 관련 의심 질의를 성능이 낮은 Opus 4.8로 돌린다. Artificial Analysis에 따르면 초기에는 작업의 8~9%가 여기에 걸렸고, MRI 영상 분석조차 생물테러로 분류됐다는 이용자 보고가 나왔다. Anthropic은 필터가 지나치게 공격적이었다고 인정했다.