PrismML이 270억 파라미터 추론 모델 Bonsai 27B를 아이폰에서 구동할 수 있는 크기로 압축했다. 일반적으로 이 규모 모델은 54GB 저장 공간이 필요하다. 표준 압축을 거쳐도 18GB가 남는다. PrismML은 이를 3.9GB까지 줄였다.
1비트·3진수 압축의 원리
핵심은 가중치 표현 방식이다. 기존 모델은 신경망 가중치 하나를 16비트로 저장한다. PrismML은 1비트 또는 약 2비트 미만으로 압축한다. 가장 공격적인 1비트 변형은 가중치가 두 가지 상태만 갖는다. 3진수(ternary) 변형은 세 가지다. 이 방식을 언어 모델 전체에 적용했다.
▼ Bonsai 27B 버전별 스펙 비교
| 버전 | 파일 크기 | 대상 기기 | 벤치마크 유지율 |
|---|---|---|---|
| 원본 FP16 | 54GB | - | 100% (기준) |
| 표준 압축 | 18GB | - | - |
| Ternary Bonsai 27B | 5.9GB | 노트북 | 95% |
| 1-bit Bonsai 27B | 3.9GB | 아이폰 | 90% |
*llama.cpp 버전은 7.2GB, MLX 버전은 8.49GB로 런타임에 따라 달라질 수 있다.
아이폰 17 Pro Max 실측 수치
3.9GB 모델은 아이폰 17 Pro Max에서 초당 약 11토큰을 생성했다. 배터리 1% 당 약 672토큰을 생성했으며, 완충 상태에서 약 6만 7,000토큰 처리가 가능하다는 계산이 나온다. (편집 추가) 5분이 조금 넘으면 칩 스로틀링이 시작됐다. 아이폰 12GB RAM 중 앱에 실제로 할당되는 메모리는 약 6GB로, 모델과 캐시가 이를 나눠 쓴다.
벤치마크: 수학·코딩은 거의 그대로
PrismML이 자체 진행한 15개 벤치마크 결과를 보면, 3진수 변형(5.9GB)은 원본의 95%, 1비트 변형(3.9GB)은 90%를 유지했다. 수학과 코딩 점수는 "사실상 영향 없음"이라고 PrismML은 밝혔다.
▼ 주요 벤치마크 점수 비교 (출처: PrismML 백서)
| 모델 | 종합 | 수학 | 코딩 | 에이전틱 | 지식·STEM | 비전 |
|---|---|---|---|---|---|---|
| Qwen3.6-27B (원본) | 85.0 | - | - | - | - | - |
| Ternary Bonsai 27B | 80.5 | 유지 | 유지 | - | - | - |
| 1-bit Bonsai 27B | 76.1 | 유지 | 유지 | 하락 | - | 하락 |
| Qwen3.6-27B 9.4GB (일반 압축) | 72.7 | - | - | - | - | - |
1비트 변형에서 낙폭이 가장 큰 영역은 이미지 이해, 명령 수행, 에이전트 기반 도구 사용이다. 그러나 종합 점수 기준으로는 9.4GB짜리 일반 압축 모델(72.7점)보다 오히려 높다(76.1점).
Apple과의 협상, 그리고 삼성
CNBC 보도에 따르면 PrismML은 Apple과 이 압축 기술을 두고 협의 중이다. PrismML CEO Babak Hassibi는 Apple을 포함한 여러 기업이 속도·전력 소비·성능을 테스트하고 있다고 확인했다. 협상은 "매우 초기 단계"지만 "순조롭게 진행 중"이라고 밝혔다.
Apple은 WWDC 2026에서 Google Gemini 기술을 활용해 재설계한 Siri를 공개했다. 현재 가장 강력한 온디바이스 모델도 RAM 12GB 이상 아이폰이 필요하며, 복잡한 질의는 Apple 클라우드의 NVIDIA GPU로 처리된다. 온디바이스 AI에서 경쟁사 대비 뒤처졌다는 평가를 받아온 만큼, 라이선스 도입 유인이 있다.
PrismML 투자사 목록에는 Khosla Ventures, Cerberus, Google이 있으며 삼성도 지속 지원하고 있다. 삼성은 갤럭시 시리즈에 온디바이스 AI를 적극 탑재해온 만큼, 이 압축 기술의 잠재적 수요처 중 하나다. PrismML은 다음 적용 대상으로 Google의 Gemma 모델 시리즈를 예고했다.
Bonsai 27B 모델 가중치는 Apache 2.0 라이선스로 공개됐으며, Apple MLX 프레임워크와 NVIDIA GPU에서 구동된다. HuggingFace에서 라이브 데모를 확인할 수 있다.
