Sina Weibo 모회사 Sina가 6월 28일 공개한 VibeThinker-3B는 파라미터 30억 개짜리 소형 언어 모델이다. 그런데 수학 올림피아드·코딩 벤치마크에서 DeepSeek V3.2(671B), GLM-5(744B), Kimi K2.5(1T) 등 최대 333배 큰 모델과 어깨를 나란히 했다.
벤치마크 성적 한눈에
▼ VibeThinker-3B 주요 벤치마크 성적 (비교 모델 파라미터 포함)
| 벤치마크 | VibeThinker-3B | DeepSeek V3.2 (671B) | Kimi K2.5 (1T) | 비고 |
|---|---|---|---|---|
| IMO-AnswerBench | 76.4 (CLR 적용 시 80.6) | 유사 수준 | 유사 수준 | 파라미터 차 최대 333배 (3B vs 1T) |
| LiveCodeBench v6 | 20B 미만 모델 중 1위 | - | - | GPT-5.2·Qwen3-Max 상회 |
| GPQA-Diamond | 대형 모델 대비 크게 뒤처짐 | - | - | 사실적 지식 한계 |
LeetCode 실전 검증도 거쳤다. 연구팀은 학습 종료 후인 2026년 4월 말~5월 말 LeetCode 대회에 모델을 참가시켜 데이터 오염 가능성을 차단했다. VibeThinker-3B는 128문제 중 123개를 첫 시도에 풀었다. GPT-5.2, Qwen3-Max, Kimi K2.5, Claude Opus 4.6을 앞섰고, GPT-5.3-Codex·Gemini 3.1 Pro·Gemini 3 Flash에만 소폭 뒤졌다.
성능의 비결은 파라미터가 아닌 후처리 학습
VibeThinker-3B의 기반은 Alibaba의 Qwen2.5-Coder-3B다. Sina의 핵심 기여는 사전학습 이후 단계, 즉 후처리(post-training) 전 과정이다.
후처리는 다단계로 진행된다.
- 2단계 지도 미세조정: 수학·코딩·일반 대화를 폭넓게 학습한 뒤, 복잡한 다단계 추론 문제에 특화
- 순차적 강화학습: 수학 → 프로그래밍 → STEM 순으로 적용
- 자기 증류(self-distillation): 각 단계 역량을 단일 모델로 통합
- 지시 따르기 강화: 최종 단계에서 프롬프트 준수 능력 보강
미세조정 과정에서 연구팀은 다양한 풀이 경로를 의도적으로 확보했고, 강화학습으로 효과적인 경로를 선별·강화했다.
추론은 압축된다, 지식은 그렇지 않다
연구팀은 이 결과를 바탕으로 '파라미터 압축-커버리지 가설(Parametric Compression-Coverage Hypothesis)'을 제시했다.
수학 문제를 단계별로 푸는 논리 추론은 탐색·조건 확인·오류 수정·중간 결과 결합 같은 반복 패턴에 의존한다. 이 패턴은 소형 모델 안에 압축될 수 있다. 반면 다양한 주제에 걸친 사실적 지식은 방대한 파라미터에 저장된 정보량이 필요하다. GPQA-Diamond에서 VibeThinker-3B가 크게 뒤처진 이유다.
이 가설이 맞다면 소형 모델은 단순히 '저렴한 대형 모델 대안'이 아니다. 검증 가능하고 명확한 풀이 구조를 가진 과제에서는 파라미터 수가 병목이 되지 않는다는 독립적인 연구 방향이 된다.
국내 개발자에게 의미하는 것
VibeThinker-3B는 Hugging Face와 GitHub에 오픈소스로 공개됐다. 30억 파라미터 모델은 소비자용 GPU 한 장으로도 로컬 구동이 가능한 수준이다. 수학 튜터링·코드 리뷰·STEM 문제 풀이처럼 추론 중심 과제를 다루는 국내 개발자라면 클라우드 API 비용 없이 온프레미스 배포를 검토할 수 있다. 다만 일반 상식·사실 기반 질의응답이 핵심인 서비스라면 이 모델의 한계를 먼저 확인해야 한다.
