StepFun이 10월 15일 Step 5 Preview 모델의 가중치를 공개했다. 9월 모델 출시 때 예고한 오픈소스 공개일을 그대로 지켰다.
공개 범위
가중치는 Hugging Face와 ModelScope에서 받을 수 있다. BF16과 FP8 두 가지 체크포인트가 올라왔다. 모델을 어떻게 만들었는지 설명한 기술 블로그와 개발자용 오픈소스 도구도 함께 나왔다.
라이선스는 표준 오픈소스가 아니다
가중치는 표준 오픈소스 라이선스가 아니라 StepFun Model License 1.0으로 배포된다. StepFun은 이를 Apache-2.0 방식에 출처 표기와 상업 라이선스 조건을 더한 것이라고 설명한다. 상업 이용을 검토하는 국내 개발자는 조건을 먼저 확인해야 한다.
모델 사양과 실행 환경
Step 5 Preview는 장기 에이전트 작업을 겨냥한 희소 전문가혼합(MoE) 모델이다. 전체 파라미터는 600B, 토큰당 활성 파라미터는 27B다. 컨텍스트 창은 최대 100만 토큰을 지원한다.
vLLM이나 SGLang으로 OpenAI 호환 API 서버를 띄울 수 있다. Transformers로 오프라인 추론도 가능하다. 모델 카드에 따르면 필요한 GPU 구성은 다음과 같다.
▼ 체크포인트별 GPU 요구 사양 (출처: 모델 카드)
| 체크포인트 | 필요 GPU |
|---|---|
| FP8 | B300 4장 또는 H200 8장(단일 노드) |
| BF16 | B300 8장 또는 H200 8장 노드 2대 |
StepFun은 Transformers용 BF16 샤딩 전체 워크플로가 아직 끝에서 끝까지 검증되지 않았다고 밝혔다.
기술 블로그가 밝힌 설계
블로그는 긴 에이전트 작업에 맞춰 아키텍처와 학습을 함께 설계했다고 설명한다.
- 깊은 구조: 폭은 좁고 층은 92개로 깊다. StepFun은 파라미터 수와 연산량을 억제하면서 암묵적 다단계 추론에 쓸 연산 단계를 늘린다고 밝혔다.
- Sparse GQA: 100만 토큰 어텐션 비용을 줄이기 위해 블록 단위 인덱싱과 희소 연산을 결합했다. 8토큰 블록으로 인덱싱하면 인덱싱과 top-k 선택 비용이 8분의 1로 준다.
- 학습 안정성: 깊은 네트워크에서 키 상태와 파라미터를 FP32로 유지한다. 세밀한 그래디언트 클리핑으로 활성값 증가와 그래디언트 급등을 억제한다.
- 강화학습: 소프트웨어 엔지니어링, 과학 추론, 머신러닝 연구, 전문 지식 업무 등 약 100만 개의 검증 가능한 환경에서 진행했다. 컨텍스트 압축을 정책 학습에 넣어 에이전트가 작업 상태를 요약하며 이어가도록 했다.
StepFun은 코딩, 소프트웨어 엔지니어링, 전문 지식 업무, 금융 분야에서 성능이 좋다고 주장한다. 또 OpenRouter의 주간·일간 사용량 차트에서 현재 세계 2위라고 밝혔다. 두 내용 모두 회사 측 설명이다.
