토큰 값은 내려가는데 청구서는 커진다. Gartner가 이 현상에 '추론 역설(Inference Paradox)'이라는 이름을 붙였다.
Gartner는 에이전트 워크플로 한 건당 추론 비용이 2028년까지 5배 넘게 오를 것으로 전망했다. 토큰 경제성이 좋아지는 와중에도 그렇다는 것이다. 작업을 에이전트형 추론 모델로 보내면 일반 챗봇 대화보다 제공사의 추론 비용이 최소 5배 늘고, 작업이 복잡할수록 격차는 더 벌어진다고 Gartner는 설명했다.
싸진 토큰, 비싸진 모델
원인은 두 가지다. 먼저 모델 랩의 선택이다. Gartner의 윌 소머(Will Sommer) 시니어 디렉터 애널리스트는 토큰 생성 효율이 좋아지는 건 맞다고 했다. 다만 랩들은 절감분을 챙기지 않고, 연산이 더 많이 드는 차세대 모델에 재투자한다. 옛 기능은 훨씬 싸지고 최상위 모델은 더 비싸지는 양극화다. 소머는 Anthropic의 Fable이 Opus보다 토큰당 비싼 점을 예로 들었다. 그의 표현으로는 "토큰 비용이 떨어지는 게 아니라 벌어지고 있다."
다음은 소비량이다. 효율이 좋아지면 더 복잡한 워크로드가 현실적으로 가능해지고, 그런 작업이 토큰을 훨씬 많이 쓴다. 소머는 같은 작업에도 에이전트가 일반 챗봇보다 5~30배 많은 토큰이나 작업을 필요로 한다고 말했다. 여기에 경쟁 압력이 겹친다. 동종 업계에 뒤처지지 않으려는 기업은 고난도 활용 사례를 도입하고, 그러려면 더 비싼 모델과 훨씬 많은 토큰이 든다.
직선이 아니라 톱니 모양
Gartner는 2028년까지 비용이 꾸준히 오른다고 보지 않는다. 지출은 새 모델이 나올 때마다 오르내렸다. 소머에 따르면 1세대 에이전트 기능이 나온 봄에는 이른바 '토큰맥싱' 유행까지 겹쳐 지출이 크게 늘었고, 지금은 허리띠를 졸라매는 국면이다. Gartner는 더 유능한 추론 에이전트와 월드 모델 같은 기술이 성숙하면서 이런 파동이 몇 차례 더 올 것으로 본다.
기업의 비용 통제는 고르지 않다. VentureBeat가 9월에 조사한 VB Pulse(적격 응답자 109명)에서 오케스트레이션 플랫폼을 쓰는 기업의 21%는 에이전트의 토큰 지출을 자동으로 멈추는 장치가 아예 없었다. 31%는 반복적이고 물량이 많은 에이전트 작업을 저렴한 모델로 돌려 비용을 눌렀다.
5배라는 숫자는 Gartner의 토큰 경제 예측(Tokenomics Forecast)에서 나왔다. 300개 넘는 입력값으로 시간에 따른 토큰 비용을 추정하는 계량경제 모델이다. 토큰 비용 효율 개선과 더 어려운 문제에 AI를 투입하며 늘어나는 토큰 소비를 함께 반영한다. 기업 전반이나 여러 영역을 넘나들며 학습하는 AI는 워크플로를 돌리는 데 토큰이 훨씬 많이 든다고 소머는 설명했다.
Gartner가 제시한 관리 방안 5가지
여기까지가 전망이고, 아래는 Gartner가 기업에 권고한 대응이다.
- 관측 체계 투자: AI FinOps가 비용 최적화의 출발점이다. 소머는 "관측하지 못하는 것은 최적화할 수 없다"고 했다.
- 성과당 가치 내장: 모든 AI 기능이 불확실성 범위까지 감안해 예측하고, 자동화한 업무 수나 해결한 사례 수 같은 성과 지표로 지출을 추적하게 한다. 성과가 낮은 워크플로는 빨리 고치거나 폐기한다.
- 추론 등급화: 질의를 가장 비용 효율적인 모델로 자동 라우팅하고, 단순 작업에서 최상위 모델이 기본으로 호출되지 않게 막는다.
- AI 실행 최소 기준: 성공 기준, 컴플라이언스 부담, 위험 완화 비용을 미리 정한다. 토큰 가격 변동과 규제 비용에 대한 스트레스 테스트를 통과하기 전에는 배포를 승인하지 않는다.
- 자체 데이터 활용: 파인튜닝과 자기학습 피드백 루프로 차별성과 마진을 지킨다. 소머는 특정 업무에서는 효율적인 도메인 특화 모델이 범용 최상위 모델보다 신뢰성과 성능이 대체로 낫다고 했다.
한국 기업이 따져볼 지점
국내 기업이 에이전트를 도입할 때 견적서의 토큰 단가만 보면 청구서를 잘못 읽을 수 있다. Gartner의 논리대로라면 봐야 할 것은 단가가 아니라 워크플로 한 건이 끝날 때까지 쓰는 토큰과 호출되는 모델 등급이다. 이 숫자는 어디까지나 Gartner의 모델 추정이다. 에이전트 지출을 자동으로 끊는 장치가 없는 기업이 21%라는 조사 결과는, 비용 상한을 먼저 설계하라는 권고에 힘을 싣는다.
