Q4, Q5 ou Q8 : quelle quantification pour un LLM local ?
Ce que les quantifications GGUF changent en mémoire et en qualité, et comment choisir entre Q4_K_M, Q5_K_M, Q6_K et Q8_0.
La quantification réduit la précision des poids pour réduire la mémoire. Q8_0 est quasi sans perte pour la moitié de la mémoire du format d'origine ; Q4_K_M divise encore par près de deux avec une perte faible, ce qui en fait le choix par défaut. En dessous de Q4, la qualité baisse nettement : mieux vaut souvent un modèle plus petit en Q4 qu'un gros modèle en Q2.
| Modèle | Q8_0 | Q6_K | Q5_K_M | Q4_K_M | Q3_K_M | Q2_K |
|---|---|---|---|---|---|---|
| Qwen3 8B | ~10,5 Go | ~8,6 Go | ~7,7 Go | ~6,9 Go | ~6 Go | ~5,3 Go |
| Qwen3 14B | ~17,5 Go | ~14,1 Go | ~12,5 Go | ~11 Go | ~9,4 Go | ~7,9 Go |
| Qwen3 32B | ~37 Go | ~29,3 Go | ~25,8 Go | ~22,6 Go | ~19 Go | ~15,7 Go |
| Llama 3.3 70B Instruct | ~76,8 Go | ~60,2 Go | ~52,7 Go | ~45,8 Go | ~38 Go | ~30,8 Go |
Tailles de fichier : non disponibles tant qu'elles ne sont pas importées du dépôt du modèle. Mémoire = poids (estimés d'après les bits par poids) + cache KV + surcoût runtime + marge de sécurité.
| Quantification | Qualité |
|---|---|
| Q8_0 | Quasi sans perte |
| Q6_K | Quasi sans perte |
| Q5_K_M | Très bonne |
| Q4_K_M | Bonne — le choix courant |
| Q3_K_M | Perte perceptible |
| Q2_K | Perte importante |
EstimationDonnées mises à jour il y a 24 joursSource: moteur Run LLM Locally