런민대학교와 ByteDance 연구팀이 2026년 6월 디퓨전 방식 언어 모델 iLLaDA(improved LLaDA)를 공개했다. 매개변수 80억 개의 밀집형 모델로, 처음부터 새로 학습했다.
기존 GPT·Claude·Qwen 같은 모델은 토큰을 왼쪽에서 오른쪽으로 하나씩 생성하는 자기회귀(AR) 방식이다. iLLaDA는 다르다. 마스킹된 토큰 시퀀스에서 시작해 여러 번의 패스를 거쳐 병렬로 정제한다. 이미지 생성 모델이 노이즈에서 그림을 만들어내는 원리와 유사하며, 모든 위치가 동시에 서로를 참조할 수 있는 양방향 구조다.
학습 규모는 12조 토큰으로, 전작 LLaDA(2.3조 토큰) 대비 다섯 배 이상 늘었다. 파인튜닝은 12에포크 진행했다.
▼ 베이스 모델 벤치마크 비교
| 벤치마크 | iLLaDA 8B | LLaDA 8B | Dream 7B | Qwen2.5 7B |
|---|---|---|---|---|
| 생성 방식 | 디퓨전 | 디퓨전 | 디퓨전 | AR |
| 학습 토큰 | 12T | 2.3T | 18T+0.6T | 18T |
| MMLU | 74.8 | 65.9 | 69.5 | 71.9 |
| BBH | 71.3 | 49.7 | 57.9 | 63.9 |
| ARC-C | 60.8 | 45.9 | 59.8 | 51.5 |
| Hellaswag | 76.6 | 70.5 | 73.3 | 79.0 |
| GSM8K | 81.9 | 70.3 | 77.2 | 78.9 |
| Math | 38.4 | 31.4 | 39.6 | 41.1 |
| HumanEval | 50.0 | 35.4 | 57.9 | 56.7 |
| MBPP | 57.8 | 40.0 | 56.2 | 63.6 |
| 평균 | 63.9 | 51.1 | 61.4 | 63.3 |
베이스 모델 기준 iLLaDA는 평균 63.9점으로 Qwen2.5 7B(63.3점)를 소폭 앞섰다. 같은 디퓨전 모델인 Dream 7B(61.4점)도 넘어섰다. Dream은 Qwen2.5 체크포인트를 기반으로 파인튜닝한 모델인데, 처음부터 학습한 iLLaDA가 코딩 벤치마크 일부를 제외하고 전반적으로 우위를 보인 것이다.
파인튜닝 이후에는 격차가 벌어진다. iLLaDA-Instruct는 67.1점에 그친 반면 Qwen2.5 7B Instruct는 77.1점을 기록했다. 연구팀은 Qwen2.5에 적용된 강화학습 기반 정렬이 iLLaDA에 없다는 점을 주요 원인으로 꼽았다. 논문 부록에는 난이도 높은 과제에서 추론 루프에 빠지는 문제도 언급됐다.
디퓨전 방식 언어 모델 경쟁은 Google DeepMind도 뛰어들었다. 2026년 6월 공개한 DiffusionGemma는 Gemma 4(250억 매개변수 혼합 전문가 모델) 백본을 기반으로 생성 방식만 디퓨전으로 교체했다. 속도는 약 4배 빠르지만 MMLU·코드 등 벤치마크에서는 같은 크기의 자기회귀 모델보다 낮은 점수를 보인다. Google은 저지연 용도에 권장하며 품질 중심 서비스에는 추천하지 않는다고 밝혔다.
iLLaDA와 DiffusionGemma는 방향이 다르다. DiffusionGemma는 기존 모델 위에 속도를 얹었고, iLLaDA는 처음부터 품질을 목표로 설계했다. 베이스 수준에서 자기회귀 모델과 대등한 성능을 보인 점은 디퓨전 아키텍처의 가능성을 실증한다.
국내 LLM 개발사 입장에서 이 흐름은 주목할 만하다. 자기회귀 방식이 사실상 표준이었던 대형 언어 모델 학습 패러다임에 디퓨전이라는 대안이 경쟁력을 갖추기 시작했다. 강화학습 정렬 단계에서의 격차가 좁혀진다면, 병렬 처리 특성을 활용한 추론 속도 이점이 기술 로드맵 선택지로 부상할 수 있다.
