Aller au contenu
Run LLM Locally

GPU · NVIDIA

RTX 5090 pour LLM locaux : quels modèles tournent ?

Avec 32 Go de VRAM et 1792 Go/s de bande passante, la RTX 5090 fait tourner des modèles jusqu'à environ Mixtral 8x7B Instruct entièrement sur le GPU.

  • VRAM32 Go GDDR7
  • Bande passante1 792 Go/s
  • Puissance575 W
  • ArchitectureBlackwell
PartagerFacebookXWhatsAppLinkedInE-mail

Caractéristiques

VRAM
32 Go
Type de mémoire
GDDR7
Bus mémoire
512-bit
Bande passante
1 792 Go/s
Puissance
575 W
Backends
CUDA, Vulkan
Interface
PCIe 5.0 x16
Sortie
janvier 2025
Segment
Grand public
Calcul FP16
Non disponible

Spécification officielleDonnées mises à jour il y a 24 joursSource: NVIDIA specifications

Ce que fait tourner la RTX 5090

Modèles populaires sur RTX 5090 + 64 Go de RAM · contexte 8K
Qwen3 30B-A3BQ6_K · 8K~26,1 Go · 142–250 tok/s estimationExcellent
Qwen3 Coder 30B-A3B InstructQ6_K · 8K~26,1 Go · 142–250 tok/s estimationExcellent
Gemma 3 27B ITQ6_K · 8K~23,8 Go · 50–71 tok/s estimationExcellent
Gemma 2 27B ITQ6_K · 8K~25,2 Go · 51–70 tok/s estimationExcellent
gpt-oss-20bMXFP4 · 8K~13 Go · 264–291 tok/s mesuréExcellent
Qwen3 14BQ8_0 · 8K~17,5 Go · 70–100 tok/s estimationExcellent
DeepSeek R1 Distill Qwen 14BQ8_0 · 8K~17,8 Go · 68–97 tok/s estimationExcellent
Qwen2.5 14B InstructQ8_0 · 8K~17,8 Go · 68–97 tok/s estimationExcellent
Phi-4 14BQ8_0 · 8K~17,6 Go · 70–99 tok/s estimationExcellent
Mistral Nemo 12B InstructQ8_0 · 8K~14,9 Go · 81–117 tok/s estimationExcellent
Gemma 3 12B ITQ8_0 · 8K~14,1 Go · 82–121 tok/s estimationExcellent
Gemma 2 9B ITQ8_0 · 8K~12,7 Go · 96–143 tok/s estimationExcellent
Qwen3 8BQ8_0 · 8K~10,5 Go · 113–167 tok/s estimationExcellent
Llama 3.1 8B InstructQ8_0 · 8K~10,2 Go · 118–173 tok/s estimationExcellent
DeepSeek R1 Distill Llama 8BQ8_0 · 8K~10,2 Go · 118–173 tok/s estimationExcellent
Qwen2.5 7B InstructQ8_0 · 8K~9,2 Go · 130–190 tok/s estimationExcellent
Mistral 7B Instruct v0.3Q8_0 · 8K~9,2 Go · 127–189 tok/s estimationExcellent
Gemma 3 4B ITQ8_0 · 8K~5,4 Go · 195–322 tok/s estimationExcellent
Qwen3 4BQ8_0 · 8K~6,2 Go · 176–287 tok/s estimationExcellent
Phi-4 Mini Instruct 3.8BQ8_0 · 8K~6 Go · 190–308 tok/s estimationExcellent
Llama 3.2 3B InstructQ8_0 · 8K~5,1 Go · 223–363 tok/s estimationExcellent
Qwen3 1.7BQ8_0 · 8K~3,7 Go · 299–537 tok/s estimationExcellent
Llama 3.2 1B InstructQ8_0 · 8K~2,5 Go · 497–876 tok/s estimationExcellent
Qwen3 0.6BQ8_0 · 8K~2,5 Go · 403–843 tok/s estimationExcellent
Mixtral 8x7B InstructQ4_K_M · 8K~27,5 Go · 103–154 tok/s estimationCompatible
Qwen3 32BQ6_K · 8K~29,2 Go · 42–59 tok/s estimationCompatible
DeepSeek R1 Distill Qwen 32BQ6_K · 8K~29,3 Go · 42–59 tok/s estimationCompatible
Qwen2.5 32B InstructQ6_K · 8K~29,3 Go · 42–59 tok/s estimationCompatible
Qwen2.5 Coder 32B InstructQ6_K · 8K~29,3 Go · 42–59 tok/s estimationCompatible
QwQ 32BQ6_K · 8K~29,3 Go · 42–59 tok/s estimationCompatible
Mistral Small 3.2 24B InstructQ8_0 · 8K~26,6 Go · 48–65 tok/s estimationCompatible
Llama 4 Scout 17B-16E InstructQ3_K_M · 8K~55,7 Go · 4,5–9 tok/s estimationOffload CPU/GPU
Qwen2.5 72B InstructQ3_K_M · 8K~38,2 Go · 2,5–5 tok/s estimationOffload CPU/GPU
Llama 3.3 70B InstructQ3_K_M · 8K~37 Go · 3–6 tok/s estimationOffload CPU/GPU
DeepSeek R1 Distill Llama 70BQ3_K_M · 8K~37 Go · 3–6 tok/s estimationOffload CPU/GPU
gpt-oss-120bMXFP4 · 8K~63,2 Go · 13–24 tok/s estimationPossible mais lent
DeepSeek R1 (671B)Q8_0 · 8K~699 Go · Pas de donnéesIncompatible
Qwen3 235B-A22BQ8_0 · 8K~247 Go · Pas de donnéesIncompatible

Pour chaque modèle, la quantification la plus précise qui tient entièrement en mémoire rapide ; sinon celle au meilleur résultat. Vitesses en plages ; « estimation » sauf benchmark sur ce matériel exact.

EstimationDonnées mises à jour il y a 24 joursSource: moteur Run LLM Locally

Les limites en clair

32 Go de VRAM contiennent les poids et le cache KV de modèles jusqu'à environ Mixtral 8x7B Instruct en Q4_K_M. Au-delà, le modèle déborde en RAM système et ralentit fortement : la vitesse dépend alors de la bande passante de la RAM, pas du GPU.

Où acheter une RTX 5090

Les prix et les liens suivent le marché choisi.

GeForce RTX 5090

32 Go GDDR7 · 1 792 Go/s · 575 W

RTX 5090 32 Go · 64 Go RAM → Mixtral 8x7B Instruct

Prix indisponible

Disponibilité inconnue

Voir sur amazon.fr

Lien affilié

Aucune offre importée pour ce marché : le lien ouvre une recherche sur la boutique.

Questions fréquentes

Quels LLM la RTX 5090 peut-elle faire tourner ?
Entièrement sur le GPU : Mixtral 8x7B Instruct (Q4_K_M), Qwen3 32B (Q6_K), DeepSeek R1 Distill Qwen 32B (Q6_K), Qwen2.5 32B Instruct (Q6_K), Qwen2.5 Coder 32B Instruct (Q6_K), QwQ 32B (Q6_K), Qwen3 30B-A3B (Q6_K), Qwen3 Coder 30B-A3B Instruct (Q6_K). Les modèles plus gros demandent un offload CPU/GPU.
La RTX 5090 peut-elle faire tourner un modèle 70B ?
Possible mais lent : un modèle 70B en Q4_K_M demande environ 45,1 Go ; la RTX 5090 dispose de 32 Go.
Comment la vitesse est-elle estimée ?
La génération lit chaque poids actif une fois par token : elle est limitée par la bande passante mémoire (1792 Go/s ici). Nous appliquons une plage d'efficacité par backend et présentons le résultat comme une estimation tant qu'il n'y a pas de benchmark réel.