중국 AI 기업 DeepSeek가 10월 20일 추론 프레임워크 DeepInfer를 공개했다. 대규모 모델 서비스에 실제로 쓰는 프레임워크다. Nvidia GPU와 Huawei Ascend 프로세서를 지원한다.

지원 기능

DeepInfer는 분산 추론, 투기적 디코딩(speculative decoding), 구조화 출력 기능을 제공한다. DeepSeek는 개발자와 기업이 처리량과 지연 시간을 개선하고 연산 비용과 에너지 소비를 줄이도록 돕는 것이 공개 목적이라고 밝혔다.

함께 공개한 deepseek-recipe

DeepSeek는 deepseek-recipe도 오픈소스로 내놓았다. API 요청을 변환하고, 모델의 입력과 출력 처리를 DeepSeek 자체 서비스와 같은 방식으로 맞춰 주는 구성 요소다.

지원 모델과 계획

DeepInfer가 현재 지원하는 모델은 DeepSeek-V4.1-Flash-1017이다. DeepSeek는 이후 모델의 추론 코드와 최적화도 이 프로젝트로 계속 공개하겠다고 밝혔다.

국내에서 AI 서비스를 운영하는 곳은 추론 프레임워크를 고를 때 하드웨어 지원 범위를 따진다. 성능 수치와 칩별 호환 범위는 발표에 나오지 않았다.