GPU · NVIDIA

RTX 4090 pour LLM locaux : quels modèles tournent ?

Avec 24 Go de VRAM et 1008 Go/s de bande passante, la RTX 4090 fait tourner des modèles jusqu'à environ Qwen3 32B entièrement sur le GPU.

VRAM24 Go GDDR6X
Bande passante1 008 Go/s
Puissance450 W
ArchitectureAda Lovelace

PartagerFacebook X WhatsApp LinkedIn E-mail

Caractéristiques

VRAM: 24 Go
Type de mémoire: GDDR6X
Bus mémoire: 384-bit
Bande passante: 1 008 Go/s
Puissance: 450 W
Backends: CUDA, Vulkan
Interface: PCIe 4.0 x16
Sortie: octobre 2022
Segment: Grand public
Calcul FP16: Non disponible

Spécification officielleDonnées mises à jour il y a 24 joursSource: NVIDIA specifications

Ce que fait tourner la RTX 4090

Modèles populaires sur RTX 4090 + 64 Go de RAM · contexte 8K

Qwen3 30B-A3BQ4_K_M · 8K~19,7 Go · 125–209 tok/s estimation	Excellent	~19,7 Go	125–209 tok/sestimation
Qwen3 Coder 30B-A3B InstructQ4_K_M · 8K~19,7 Go · 125–209 tok/s estimation	Excellent	~19,7 Go	125–209 tok/sestimation
gpt-oss-20bMXFP4 · 8K~13 Go · 212–243 tok/s mesuré	Excellent	~13 Go	212–243 tok/smesuré
Qwen3 14BQ8_0 · 8K~17,5 Go · 43–58 tok/s estimation	Excellent	~17,5 Go	43–58 tok/sestimation
DeepSeek R1 Distill Qwen 14BQ8_0 · 8K~17,8 Go · 42–57 tok/s estimation	Excellent	~17,8 Go	42–57 tok/sestimation
Qwen2.5 14B InstructQ8_0 · 8K~17,8 Go · 42–57 tok/s estimation	Excellent	~17,8 Go	42–57 tok/sestimation
Phi-4 14BQ8_0 · 8K~17,6 Go · 43–58 tok/s estimation	Excellent	~17,6 Go	43–58 tok/sestimation
Mistral Nemo 12B InstructQ8_0 · 8K~14,9 Go · 50–69 tok/s estimation	Excellent	~14,9 Go	50–69 tok/sestimation
Gemma 3 12B ITQ8_0 · 8K~14,1 Go · 51–72 tok/s estimation	Excellent	~14,1 Go	51–72 tok/sestimation
Gemma 2 9B ITQ8_0 · 8K~12,7 Go · 61–85 tok/s estimation	Excellent	~12,7 Go	61–85 tok/sestimation
Qwen3 8BQ8_0 · 8K~10,5 Go · 71–99 tok/s estimation	Excellent	~10,5 Go	71–99 tok/sestimation
Llama 3.1 8B InstructQ8_0 · 8K~10,2 Go · 74–102 tok/s estimation	Excellent	~10,2 Go	74–102 tok/sestimation
DeepSeek R1 Distill Llama 8BQ8_0 · 8K~10,2 Go · 74–102 tok/s estimation	Excellent	~10,2 Go	74–102 tok/sestimation
Qwen2.5 7B InstructQ8_0 · 8K~9,2 Go · 81–112 tok/s estimation	Excellent	~9,2 Go	81–112 tok/sestimation
Mistral 7B Instruct v0.3Q8_0 · 8K~9,2 Go · 80–112 tok/s estimation	Excellent	~9,2 Go	80–112 tok/sestimation
Gemma 3 4B ITQ8_0 · 8K~5,4 Go · 133–200 tok/s estimation	Excellent	~5,4 Go	133–200 tok/sestimation
Qwen3 4BQ8_0 · 8K~6,2 Go · 119–178 tok/s estimation	Excellent	~6,2 Go	119–178 tok/sestimation
Phi-4 Mini Instruct 3.8BQ8_0 · 8K~6 Go · 127–189 tok/s estimation	Excellent	~6 Go	127–189 tok/sestimation
Llama 3.2 3B InstructQ8_0 · 8K~5,1 Go · 150–224 tok/s estimation	Excellent	~5,1 Go	150–224 tok/sestimation
Qwen3 1.7BQ8_0 · 8K~3,7 Go · 216–348 tok/s estimation	Excellent	~3,7 Go	216–348 tok/sestimation
Llama 3.2 1B InstructQ8_0 · 8K~2,5 Go · 354–561 tok/s estimation	Excellent	~2,5 Go	354–561 tok/sestimation
Qwen3 0.6BQ8_0 · 8K~2,5 Go · 322–597 tok/s estimation	Excellent	~2,5 Go	322–597 tok/sestimation
Mixtral 8x7B InstructQ3_K_M · 8K~21,6 Go · 81–117 tok/s estimation	Compatible	~21,6 Go	81–117 tok/sestimation
Qwen3 32BQ4_K_M · 8K~22,3 Go · 33–45 tok/s estimation	Compatible	~22,3 Go	33–45 tok/sestimation
DeepSeek R1 Distill Qwen 32BQ4_K_M · 8K~22,4 Go · 33–45 tok/s estimation	Compatible	~22,4 Go	33–45 tok/sestimation
Qwen2.5 32B InstructQ4_K_M · 8K~22,4 Go · 33–45 tok/s estimation	Compatible	~22,4 Go	33–45 tok/sestimation
Qwen2.5 Coder 32B InstructQ4_K_M · 8K~22,4 Go · 33–45 tok/s estimation	Compatible	~22,4 Go	33–45 tok/sestimation
QwQ 32BQ4_K_M · 8K~22,4 Go · 33–45 tok/s estimation	Compatible	~22,4 Go	33–45 tok/sestimation
Gemma 3 27B ITQ5_K_M · 8K~21 Go · 34–47 tok/s estimation	Compatible	~21 Go	34–47 tok/sestimation
Gemma 2 27B ITQ5_K_M · 8K~22,3 Go · 34–46 tok/s estimation	Compatible	~22,3 Go	34–46 tok/sestimation
Mistral Small 3.2 24B InstructQ6_K · 8K~21 Go · 36–48 tok/s estimation	Compatible	~21 Go	36–48 tok/sestimation
gpt-oss-120bMXFP4 · 8K~63,2 Go · 10–20 tok/s estimation	Possible mais lent	~63,2 Go	10–20 tok/sestimation
Llama 4 Scout 17B-16E InstructQ3_K_M · 8K~55,7 Go · 3,5–7 tok/s estimation	Possible mais lent	~55,7 Go	3,5–7 tok/sestimation
Qwen2.5 72B InstructQ3_K_M · 8K~38,2 Go · 1,3–2,5 tok/s estimation	Possible mais lent	~38,2 Go	1,3–2,5 tok/sestimation
Llama 3.3 70B InstructQ3_K_M · 8K~37 Go · 1,4–2,5 tok/s estimation	Possible mais lent	~37 Go	1,4–2,5 tok/sestimation
DeepSeek R1 Distill Llama 70BQ3_K_M · 8K~37 Go · 1,4–2,5 tok/s estimation	Possible mais lent	~37 Go	1,4–2,5 tok/sestimation
DeepSeek R1 (671B)Q8_0 · 8K~699 Go · Pas de données	Incompatible	~699 Go	Pas de données
Qwen3 235B-A22BQ8_0 · 8K~247 Go · Pas de données	Incompatible	~247 Go	Pas de données

Pour chaque modèle, la quantification la plus précise qui tient entièrement en mémoire rapide ; sinon celle au meilleur résultat. Vitesses en plages ; « estimation » sauf benchmark sur ce matériel exact.

EstimationDonnées mises à jour il y a 24 joursSource: moteur Run LLM Locally

Les limites en clair

24 Go de VRAM contiennent les poids et le cache KV de modèles jusqu'à environ Qwen3 32B en Q4_K_M. Au-delà, le modèle déborde en RAM système et ralentit fortement : la vitesse dépend alors de la bande passante de la RAM, pas du GPU.

Où acheter une RTX 4090

Votre marché

Les prix et les liens suivent le marché choisi.

GeForce RTX 4090

24 Go GDDR6X · 1 008 Go/s · 450 W

RTX 4090 24 Go · 64 Go RAM → Qwen3 32B

Prix indisponible

Disponibilité inconnue

Voir sur amazon.fr

Lien affilié

Aucune offre importée pour ce marché : le lien ouvre une recherche sur la boutique.

Questions fréquentes

Quels LLM la RTX 4090 peut-elle faire tourner ?

Entièrement sur le GPU : Mixtral 8x7B Instruct (Q3_K_M), Qwen3 32B (Q4_K_M), DeepSeek R1 Distill Qwen 32B (Q4_K_M), Qwen2.5 32B Instruct (Q4_K_M), Qwen2.5 Coder 32B Instruct (Q4_K_M), QwQ 32B (Q4_K_M), Qwen3 30B-A3B (Q4_K_M), Qwen3 Coder 30B-A3B Instruct (Q4_K_M). Les modèles plus gros demandent un offload CPU/GPU.

La RTX 4090 peut-elle faire tourner un modèle 70B ?

Déconseillé : un modèle 70B en Q4_K_M demande environ 45,1 Go ; la RTX 4090 dispose de 24 Go.

Comment la vitesse est-elle estimée ?

La génération lit chaque poids actif une fois par token : elle est limitée par la bande passante mémoire (1008 Go/s ici). Nous appliquons une plage d'efficacité par backend et présentons le résultat comme une estimation tant qu'il n'y a pas de benchmark réel.