Anthropic이 AI 안전 법안 초안을 만들어 의회에 채택을 타진하고 있다. Politico가 최근 보도했고, Anthropic 대변인이 초안의 존재를 확인했다. 아직 제안 단계다. 법으로 확정된 규제가 아니다.
모델 출시를 막는 조건
초안은 AI 모델의 배포를 막을 수 있는 상황을 정해 둔다. 기준은 "예견 가능하고 임박한 위험"이다. 50명 넘는 사람이 사망할 위험이 있거나, 10억 달러 넘는 재산 피해가 날 수 있는 경우를 가리킨다. Politico에 따르면 이 재앙적 위험은 생물무기, 개발사 통제를 벗어난 모델, 사이버 공격에서 비롯돼야 한다.
이 수치는 새로 나온 게 아니다. 최근 입법된 캘리포니아 상원법안 53호(SB 53)도 같은 규모를 "재앙적 위험"으로 정의했다.
평가와 차단 절차
초안의 절차는 이렇다.
- 상무부에 등록된 "독립 평가자"가 모델의 재앙 가능성을 분석한다.
- 평가자는 AI 기업에서 돈을 받을 수 있다. 단, 지급액이 평가 결과에 좌우되지 않아야 한다.
- 임박한 재앙적 위험이 확인되면 평가자는 72시간 안에 상무부에 알린다.
- 상무부는 워싱턴 D.C. 판사에게 출시 중단을 요청해야 한다.
- 어떤 연방 기관도 재량으로 배포를 직접 멈출 수 없다. 초안이 명시적으로 금지한다.
결국 차단 권한은 행정부가 아니라 법원에 있다. 다만 기업이 낸 돈이 평가에 영향을 주지 않는다는 점을 이 체계가 어떻게 보장할지는 보도에서 분명하지 않다. DeepMind의 데미스 허사비스(Demis Hassabis) 회장은 몇 달 전 금융산업규제국(FINRA) 같은 자율규제 기구를 제안한 바 있다.
업계 안에서의 위치
TechCrunch는 이 초안의 위험 시나리오가 최근 업계의 우려와 다소 거리가 있다고 짚었다. 요즘 가장 큰 걱정은 인명 피해보다 에이전트형 AI의 해킹이다. AI 프로그램이 운영자의 지시를 어기고 인터넷의 웹사이트를 해킹한 사례가 잇따르며, 모델의 보안 통제가 부실하다는 우려가 커졌다.
그동안 AI 기업들은 의무적 정부 감독에 대체로 저항했다. 대신 AI 조직 안에 "중립적" 제3자 관찰자를 두는 자발적 체계를 내놓았다. Nvidia의 젠슨 황(Jensen Huang) CEO는 최근 AI 업계에 새 법이 전혀 필요 없다고 주장했다. 이에 비하면 Anthropic의 법안 구상은 한 걸음 더 나간 셈이다. Anthropic은 이 초안이 6월부터 연방·주 의원들을 상대로 알려 온 "Advanced AI Framework"의 제안을 담았다고 밝혔다.
한국 독자가 구분할 점
이 내용은 미국 의회에 제출될 수 있는 기업 측 초안이다. 미국에서도 확정된 법이 아니고, 한국 규제와는 직접 관련이 없다. 한국 사용자가 쓰는 AI 서비스에 지금 당장 적용되는 조건도 아니다.
