Combien de VRAM pour un LLM local ?
La formule de la mémoire d'un LLM — poids, cache KV, surcoût — avec la mémoire des modèles populaires à chaque quantification.
Un LLM local a besoin de mémoire pour quatre choses : ses poids (les paramètres, compressés par la quantification), le cache KV (la mémoire de la conversation, qui grandit avec le contexte), le surcoût du runtime (contexte CUDA/Metal, tampons de calcul) et une marge de sécurité.
Les poids dominent : un modèle de 8 milliards de paramètres en Q4_K_M pèse environ 4,6 Go, un 32B environ 19 Go. Attention, Q4 ne veut pas dire exactement 4 bits par poids : certains tenseurs restent en plus haute précision, d'où environ 4,9 bits en moyenne.
Le cache KV dépend de l'architecture : nombre de couches, de têtes KV (GQA) et longueur de contexte. Pour Qwen3 32B, il faut environ 256 Kio par token en f16, soit 8 Go à 32K tokens — presque la moitié des poids.
Mémoire nécessaire par modèle et quantification
| Modèle | Q8_0 | Q5_K_M | Q4_K_M | Q3_K_M |
|---|---|---|---|---|
| Llama 3.1 8B Instruct | ~10,2 Go | ~7,4 Go | ~6,7 Go | ~5,8 Go |
| Qwen3 14B | ~17,5 Go | ~12,5 Go | ~11 Go | ~9,4 Go |
| Gemma 3 27B IT | ~30,6 Go | ~21,3 Go | ~18,6 Go | ~15,6 Go |
| Qwen3 32B | ~37 Go | ~25,8 Go | ~22,6 Go | ~19 Go |
| Qwen3 30B-A3B | ~33,3 Go | ~22,8 Go | ~19,9 Go | ~16,5 Go |
| Llama 3.3 70B Instruct | ~76,8 Go | ~52,7 Go | ~45,8 Go | ~38 Go |
Tailles de fichier : non disponibles tant qu'elles ne sont pas importées du dépôt du modèle. Mémoire = poids (estimés d'après les bits par poids) + cache KV + surcoût runtime + marge de sécurité.
La règle pratique
Pour tourner entièrement sur le GPU, la mémoire totale doit tenir dans la VRAM avec un peu de marge. Au-delà, llama.cpp peut décharger des couches en RAM système, mais la vitesse chute car la RAM est 5 à 20 fois plus lente que la VRAM. Vérifiez votre cas précis avec le configurateur.
EstimationDonnées mises à jour il y a 24 joursSource: moteur Run LLM Locally