Aller au contenu
Run LLM Locally

Qwen3 4B sur une RTX PRO 6000 Blackwell

Avec ses 96 Go de VRAM, la RTX PRO 6000 Blackwell fait tourner Qwen3 4B en Q4_K_M entièrement sur le GPU avec un contexte de 8K (environ 4,5 Go nécessaires). En Q8_0, il tient entièrement.

Qwen3 4B

Q4_K_M · 8K contexte

Excellent

Le modèle demande environ 4,5 Go et tient dans les 93,1 Go disponibles, avec 88,6 Go de marge.

Votre matériel
RTX PRO 6000 Blackwell 96 Go · 64 Go RAM
Mémoire estimée
~4,5 Go estimation
VRAM (mémoire utilisable)
93,1 Go
GPU seul
Oui
Offload CPU/GPU
Non nécessaire
Vitesse de génération
227–405 tok/s estimation
Plus grand contexte en mémoire rapide
128K tokens
Confiance : faible

Basé sur : bande passante mémoire (1 792 Go/s) et taille du modèle

Répartition de la mémoire

~4,5 Go (4,2 Go–4,9 Go) nécessaires · estimation

Tient entièrement en VRAM · 88,6 Go libres

  • Poids du modèle2,3 Go
  • Cache KV1,1 Go
  • Surcoût runtime0,8 Go
  • Marge de sécurité0,3 Go
Hypothèses: contexte 8K tokens · cache KV f16 · llama.cpp (CUDA) · flash attention activée · poids = taille réelle du fichier

EstimationDonnées mises à jour il y a 24 joursSource: moteur Run LLM Locally, Hugging Face config.json + model card

Ce qui rend cette estimation moins fiable

  • pas encore de benchmark pour ce matériel et ce modèle

Les autres quantifications sur la RTX PRO 6000 Blackwell

Qwen3 4B sur RTX PRO 6000 Blackwell + 64 Go de RAM · contexte 8K
Qwen3 4B Q8_08K~6,2 Go · 176–287 tok/s estimationExcellent
Qwen3 4B Q6_K8K~5,3 Go · 201–341 tok/s estimationExcellent
Qwen3 4B Q5_K_M8K~4,9 Go · 214–371 tok/s estimationExcellent
Qwen3 4B Q4_K_M8K~4,5 Go · 227–405 tok/s estimationExcellent
Qwen3 4B IQ4_XS8K~4,3 Go · 236–427 tok/s estimationExcellent
Qwen3 4B Q3_K_M8K~4,1 Go · 244–448 tok/s estimationExcellent

Alternatives

Où acheter une RTX PRO 6000 Blackwell

Les prix et les liens suivent le marché choisi.

RTX PRO 6000 Blackwell Workstation Edition

96 Go GDDR7 ECC · 1 792 Go/s · 600 W

ExcellentFait tourner Qwen3 4B Q4_K_M entièrement en mémoire

Prix indisponible

Disponibilité inconnue

Voir sur amazon.fr

Lien affilié

Aucune offre importée pour ce marché : le lien ouvre une recherche sur la boutique.

Questions fréquentes

La RTX PRO 6000 Blackwell peut-elle faire tourner Qwen3 4B ?
Le modèle demande environ 4,5 Go et tient dans les 93,1 Go disponibles, avec 88,6 Go de marge.
Quelle quantification choisir sur la RTX PRO 6000 Blackwell ?
Q8_0 est la quantification la plus précise qui tient entièrement en VRAM avec un contexte de 8K. ~6,2 Go / 93,1 Go.
Quel est le plus grand contexte possible sur la RTX PRO 6000 Blackwell ?
En Q4_K_M, environ 128K tokens tiennent entièrement en VRAM avec un cache KV en f16. Un cache KV en q8_0 double à peu près ce chiffre.
À quelle vitesse tourne Qwen3 4B (RTX PRO 6000 Blackwell) ?
Nous estimons 227–405 tok/s (estimation, confiance faible). Basé sur : bande passante mémoire (1 792 Go/s) et taille du modèle.