12 Go, 16 Go ou 24 Go de VRAM pour les LLM locaux
Ce que chaque palier de VRAM fait réellement tourner, de 8 à 32 Go, avec le plus grand modèle qui tient entièrement sur le GPU.
La VRAM décide de la taille des modèles qui tiennent sur le GPU ; la bande passante décide de leur vitesse. Entre 12 et 24 Go, on passe des modèles 8–14B aux modèles 27–32B, un saut de qualité net.
Le tableau ci-dessous donne, pour des cartes courantes, le plus grand modèle de notre catalogue qui tourne entièrement en VRAM à sa quantification par défaut avec 8K de contexte.
| GPU | VRAM | Plus grand modèle en Q4_K_M, 8K |
|---|---|---|
| RTX 4060 | 8 Go | Qwen3 8B (Q4_K_M) |
| RTX 3060 12 GB | 12 Go | Qwen3 14B (Q4_K_M) |
| RTX 4070 | 12 Go | Qwen3 14B (Q4_K_M) |
| RTX 4060 Ti 16 GB | 16 Go | gpt-oss-20b (MXFP4) |
| RTX 5070 Ti | 16 Go | gpt-oss-20b (MXFP4) |
| RTX 3090 | 24 Go | Qwen3 32B (Q4_K_M) |
| RTX 4090 | 24 Go | Qwen3 32B (Q4_K_M) |
| RTX 5090 | 32 Go | Mixtral 8x7B Instruct (Q4_K_M) |
Une RTX 3090 d'occasion offre les mêmes 24 Go qu'une RTX 4090 : pour la taille de modèle, elles sont équivalentes ; la 4090 génère un peu plus vite (1008 contre 936 Go/s). Les mélanges d'experts comme Qwen3 30B-A3B ou gpt-oss-20b changent la donne : ils lisent peu de poids par token et restent rapides même partiellement déchargés.
EstimationDonnées mises à jour il y a 24 joursSource: moteur Run LLM Locally