Aller au contenu
Run LLM Locally

DeepSeek R1 Distill Qwen 32B sur une RTX 4090

Avec ses 24 Go de VRAM, la RTX 4090 fait tourner DeepSeek R1 Distill Qwen 32B en Q4_K_M entièrement sur le GPU avec un contexte de 8K (environ 22,4 Go nécessaires). En Q8_0, il ne tient pas en VRAM.

PartagerFacebookXWhatsAppLinkedInE-mail

DeepSeek R1 Distill Qwen 32B

Q4_K_M · 8K contexte

Compatible

Le modèle demande environ 22,4 Go et tient dans les 23,3 Go disponibles (0,9 Go restants).

Votre matériel
RTX 4090 24 Go · 64 Go RAM
Mémoire estimée
~22,4 Go estimation
VRAM (mémoire utilisable)
23,3 Go
GPU seul
Oui
Offload CPU/GPU
Non nécessaire
Vitesse de génération
33–45 tok/s estimation
Plus grand contexte en mémoire rapide
11K tokens
Confiance : faible

Basé sur : bande passante mémoire (1 008 Go/s) et taille du modèle

Répartition de la mémoire

~22,4 Go (21,6 Go–23,2 Go) nécessaires · estimation

Tient entièrement en VRAM · 0,9 Go libres

  • Poids du modèle18,5 Go
  • Cache KV2 Go
  • Surcoût runtime0,8 Go
  • Marge de sécurité1,1 Go
Hypothèses: contexte 8K tokens · cache KV f16 · llama.cpp (CUDA) · flash attention activée · poids = taille réelle du fichier

EstimationDonnées mises à jour il y a 24 joursSource: moteur Run LLM Locally, Hugging Face config.json + model card

Ce qui rend cette estimation moins fiable

  • pas encore de benchmark pour ce matériel et ce modèle

Les autres quantifications sur la RTX 4090

DeepSeek R1 Distill Qwen 32B sur RTX 4090 + 64 Go de RAM · contexte 8K
DeepSeek R1 Distill Qwen 32B Q8_08K~37 Go · 1,4–2,5 tok/s estimationPossible mais lent
DeepSeek R1 Distill Qwen 32B Q6_K8K~29,3 Go · 3–6 tok/s estimationOffload CPU/GPU
DeepSeek R1 Distill Qwen 32B Q5_K_M8K~25,7 Go · 6,5–12 tok/s estimationOffload CPU/GPU
DeepSeek R1 Distill Qwen 32B Q4_K_M8K~22,4 Go · 33–45 tok/s estimationCompatible
DeepSeek R1 Distill Qwen 32B IQ4_XS8K~20,3 Go · 36–50 tok/s estimationCompatible
DeepSeek R1 Distill Qwen 32B Q3_K_M8K~18,5 Go · 39–54 tok/s estimationExcellent

Alternatives

Les GPU qui font tourner DeepSeek R1 Distill Qwen 32B Q4_K_M entièrement en VRAM

D'autres modèles adaptés à la RTX 4090

Où acheter une RTX 4090

Les prix et les liens suivent le marché choisi.

GeForce RTX 4090

24 Go GDDR6X · 1 008 Go/s · 450 W

CompatibleFait tourner DeepSeek R1 Distill Qwen 32B Q4_K_M entièrement en mémoire

Prix indisponible

Disponibilité inconnue

Voir sur amazon.fr

Lien affilié

Aucune offre importée pour ce marché : le lien ouvre une recherche sur la boutique.

Questions fréquentes

La RTX 4090 peut-elle faire tourner DeepSeek R1 Distill Qwen 32B ?
Le modèle demande environ 22,4 Go et tient dans les 23,3 Go disponibles (0,9 Go restants).
Quelle quantification choisir sur la RTX 4090 ?
Q4_K_M est la quantification la plus précise qui tient entièrement en VRAM avec un contexte de 8K. ~22,4 Go / 23,3 Go.
Quel est le plus grand contexte possible sur la RTX 4090 ?
En Q4_K_M, environ 11K tokens tiennent entièrement en VRAM avec un cache KV en f16. Un cache KV en q8_0 double à peu près ce chiffre.
À quelle vitesse tourne DeepSeek R1 Distill Qwen 32B (RTX 4090) ?
Nous estimons 33–45 tok/s (estimation, confiance faible). Basé sur : bande passante mémoire (1 008 Go/s) et taille du modèle.