특허 변호사에게 AI를 쓰게 한 뒤 AI 없이 검토를 시키자, 초안에서 가장 큰 효과를 본 저연차 변호사가 검토에서는 이득을 얻지 못했다. NBER에 올라온 연구 논문의 결과다.
실험은 두 가지를 따로 쟀다
연구진은 변호사들이 먼저 AI의 도움을 받아 일하고, 이어서 AI 없이 결과를 평가하게 했다. AI 보조 작업의 품질과 AI 없는 상태에서 판단력이 얼마나 남는지를 따로 재려는 설계다. 독립 로펌의 특허 변호사들이 누가 어느 조건인지 모르는 상태에서 결과물을 채점했다. 항목은 권리 행사 가능성, 기술적 정확성, 전략적 모호성, 완결성, 명확성 다섯 가지다.
구글이 자금을 댄 연구다. 참가자의 3분의 2는 Google Labs의 미공개 AI 어시스턴트 "InFlow"를 쓸 수 있었고, 나머지 3분의 1은 AI 없이 일했다. 특허 청구항 초안 작성 과제 2개에서는 InFlow 사용 집단만 AI를 썼다. 세 번째 과제인 레드라이닝(기존 특허 초안을 비판적으로 검토하는 작업)은 모두 AI 없이 수행했다. 연구진은 초안 작성이 당장의 AI 보조 성과를, 레드라이닝이 몸에 밴 판단력을 보여준다고 설명한다. 특허 변호사가 도구 없이 늘 하는 일이기 때문이다.
초안에서는 저연차 변호사가 가장 크게 올랐다
초안 작성에서는 10일 시점과 90일 시점 모두 AI 사용 집단이 앞섰고, 다섯 항목 전부에서 효과가 나왔다. 점수가 오른 이유는 낮은 평가가 줄고 중간 점수가 늘어난 데 있다. 최상위 점수는 거의 움직이지 않았다.
경력 7년 미만 저연차 변호사의 향상 폭은 고참보다 훨씬 컸다. 연구진은 글쓰기, 고객 응대, 소프트웨어 개발에서 이미 관찰된 흐름, 즉 AI가 경력 차이에 따른 성과 격차를 줄인다는 연구들과 맞는 결과라고 본다.
검토에서는 고참만 이득을 유지했다
레드라이닝에서는 반대 결과가 나왔다. AI 사용 집단이 전체로는 더 높았지만, 이득은 전부 고참에게서 나왔다. 초안에서 가장 크게 오른 저연차 변호사는 아무 이득도 얻지 못했다.
저연차 변호사의 점수는 중간대가 크게 줄고 낮은 점수와 높은 점수가 함께 늘어나는 식으로 갈라졌다. 상위권 점수가 오르지는 않았다. 연구진은 AI가 일부 저연차 변호사에게는 기술 습득을 앞당기고 다른 일부에게는 습득을 대신한 신호로 읽는다. 다만 효과가 왜 갈렸는지는 이 실험으로 설명되지 않는다고 밝혔다. AI에서 가장 큰 이득을 본 사람이 오래 남는 기술은 가장 적게 얻었다는 점에서, 연구진은 기본 전문성이 AI 보조 연습을 지속적인 능력으로 바꾸는 전제 조건일 수 있다고 제안한다.
보조 텍스트 분석에는 한 가지 가능한 설명이 있다. 고참은 결함 있는 초안의 구조를 다시 짜고 법 원칙에 근거해 수정하는 경우가 많았다. 저연차 변호사는 심각한 결함을 찾고도 고치지 못한 채, AI에게 내리는 지시처럼 읽히는 메모를 남기는 일이 잦았다. 이 행동은 AI를 쓰지 않은 대조군에서도 나타났다. 그래서 연구진은 AI 때문에 생긴 습관이 아니라, AI가 메우지 못한 저연차 시기의 기본적 약점으로 해석한다.
결과를 읽을 때 걸리는 한계
연구진이 밝힌 한계가 적지 않다. 상위 변호사의 시간당 청구액이 높아 표본이 작다. 참여 로펌은 전문 서비스업 전체를 대표하지 않는다. 시작 시점의 기술 수준을 재지 않았고, 3개월이라는 기간은 특허 전문성을 쌓는 데 걸리는 수년에 비해 짧다. 저연차 변호사 전체에 대한 결론으로 넓혀 읽기는 어렵다.
그래도 연구진은 AI 없이 판단해야 하는 업무가 남아 있는 한 당장의 생산성과 장기적 기술 형성 사이의 긴장이 중요하다고 주장한다. AI가 레드라이닝을 돕게 되더라도 고객 미팅이나 법정처럼 현장에서 즉석 판단을 내리는 자리에서는 실시간으로 쓰기 어렵다는 이유다.
다른 분야의 비슷한 결과
소프트웨어 개발에서는 Anthropic 연구가 있다. AI의 도움으로 새 프로그래밍 라이브러리를 배운 젊은 개발자는 후속 지식 테스트에서 AI 없이 배운 쪽보다 17% 낮은 점수를 받았다. 에세이 쓰기에서는 MIT Media Lab이 생각을 외주 준 데서 오는 인지 부채의 징후를 찾았다. 경영 컨설팅에서는 BCG가 2023년에 GPT-4로 하위 컨설턴트가 상위 성과자보다 훨씬 크게 나아졌다고 보였다.
Stanford 연구진은 여러 산업에서 신입 일자리가 줄어든 이유를 이렇게 설명한다. AI는 학교에서 배운 교과서 지식을 대체할 수 있는데, 이것이 사회 초년생이 내놓는 주된 자산이다. 경력자는 AI가 쉽게 대신하지 못하는 현장 전문성까지 갖고 있다. Anthropic은 엔지니어링 부서의 초급 직원 비중이 2025년 초 이후 21%에서 14%로 줄었다고 최근 밝혔다.
이 특허 변호사 연구는 전문성 침식을 둘러싼 논쟁에 실험 증거를 더한다. 일부 연구자가 "인지 공유지의 비극"이라 부르는 문제다. 개별 로펌은 자동화로 이득을 보지만, 인재 육성이 막히는 비용은 직종 전체로 퍼진다.
한국 독자에게
이 연구는 미국 특허 변호사를 다뤘고 한국 사례는 없다. 국내 로펌이나 기업 법무팀, 특허 업계에서 어떤 결과가 나올지는 이 자료로 알 수 없다. 다만 AI 도입이 업무 품질에서 끝나지 않고 저연차 전문가가 판단력을 쌓는 과정과 연결될 수 있다는 점은, 조직이 AI를 도입하며 확인해 볼 만한 질문이다.
