Aller au contenu
Run LLM Locally

GPU · NVIDIA

RTX PRO 6000 Blackwell pour LLM locaux : quels modèles tournent ?

Avec 96 Go de VRAM et 1792 Go/s de bande passante, la RTX PRO 6000 Blackwell fait tourner des modèles jusqu'à environ gpt-oss-120b entièrement sur le GPU.

  • VRAM96 Go GDDR7 ECC
  • Bande passante1 792 Go/s
  • Puissance600 W
  • ArchitectureBlackwell

Caractéristiques

VRAM
96 Go
Type de mémoire
GDDR7 ECC
Bus mémoire
512-bit
Bande passante
1 792 Go/s
Puissance
600 W
Backends
CUDA, Vulkan
Interface
PCIe 5.0 x16
Sortie
avril 2025
Segment
Station de travail
Calcul FP16
Non disponible

Spécification officielleDonnées mises à jour il y a 24 joursSource: NVIDIA specifications

Ce que fait tourner la RTX PRO 6000 Blackwell

Modèles populaires sur RTX PRO 6000 Blackwell + 64 Go de RAM · contexte 8K
gpt-oss-120bMXFP4 · 8K~63,2 Go · 168–205 tok/s mesuréExcellent
Llama 3.3 70B InstructQ8_0 · 8K~76,8 Go · 17–22 tok/s estimationExcellent
DeepSeek R1 Distill Llama 70BQ8_0 · 8K~76,8 Go · 17–22 tok/s estimationExcellent
Mixtral 8x7B InstructQ8_0 · 8K~50,2 Go · 66–93 tok/s estimationExcellent
Qwen3 32BQ8_0 · 8K~37 Go · 34–46 tok/s estimationExcellent
DeepSeek R1 Distill Qwen 32BQ8_0 · 8K~37 Go · 34–46 tok/s estimationExcellent
Qwen2.5 32B InstructQ8_0 · 8K~37 Go · 34–46 tok/s estimationExcellent
Qwen2.5 Coder 32B InstructQ8_0 · 8K~37 Go · 34–46 tok/s estimationExcellent
QwQ 32BQ8_0 · 8K~37 Go · 34–46 tok/s estimationExcellent
Qwen3 30B-A3BQ8_0 · 8K~33,4 Go · 130–221 tok/s estimationExcellent
Qwen3 Coder 30B-A3B InstructQ8_0 · 8K~33,4 Go · 159–441 tok/s estimationExcellent
Gemma 3 27B ITQ8_0 · 8K~30,2 Go · 40–56 tok/s estimationExcellent
Gemma 2 27B ITQ8_0 · 8K~31,6 Go · 41–56 tok/s estimationExcellent
Mistral Small 3.2 24B InstructQ8_0 · 8K~26,6 Go · 48–65 tok/s estimationExcellent
gpt-oss-20bMXFP4 · 8K~13 Go · 247–301 tok/s mesuréExcellent
Qwen3 14BQ8_0 · 8K~17,5 Go · 70–100 tok/s estimationExcellent
DeepSeek R1 Distill Qwen 14BQ8_0 · 8K~17,8 Go · 68–97 tok/s estimationExcellent
Qwen2.5 14B InstructQ8_0 · 8K~17,8 Go · 68–97 tok/s estimationExcellent
Phi-4 14BQ8_0 · 8K~17,6 Go · 70–99 tok/s estimationExcellent
Mistral Nemo 12B InstructQ8_0 · 8K~14,9 Go · 81–117 tok/s estimationExcellent
Gemma 3 12B ITQ8_0 · 8K~14,1 Go · 82–121 tok/s estimationExcellent
Gemma 2 9B ITQ8_0 · 8K~12,7 Go · 96–143 tok/s estimationExcellent
Qwen3 8BQ8_0 · 8K~10,5 Go · 113–167 tok/s estimationExcellent
Llama 3.1 8B InstructQ8_0 · 8K~10,2 Go · 118–173 tok/s estimationExcellent
DeepSeek R1 Distill Llama 8BQ8_0 · 8K~10,2 Go · 118–173 tok/s estimationExcellent
Qwen2.5 7B InstructQ8_0 · 8K~9,2 Go · 130–190 tok/s estimationExcellent
Mistral 7B Instruct v0.3Q8_0 · 8K~9,2 Go · 127–189 tok/s estimationExcellent
Gemma 3 4B ITQ8_0 · 8K~5,4 Go · 195–322 tok/s estimationExcellent
Qwen3 4BQ8_0 · 8K~6,2 Go · 176–287 tok/s estimationExcellent
Phi-4 Mini Instruct 3.8BQ8_0 · 8K~6 Go · 190–308 tok/s estimationExcellent
Llama 3.2 3B InstructQ8_0 · 8K~5,1 Go · 223–363 tok/s estimationExcellent
Qwen3 1.7BQ8_0 · 8K~3,7 Go · 299–537 tok/s estimationExcellent
Llama 3.2 1B InstructQ8_0 · 8K~2,5 Go · 497–876 tok/s estimationExcellent
Qwen3 0.6BQ8_0 · 8K~2,5 Go · 403–843 tok/s estimationExcellent
Llama 4 Scout 17B-16E InstructQ6_K · 8K~89 Go · 59–86 tok/s estimationCompatible
Qwen2.5 72B InstructQ8_0 · 8K~79,3 Go · 16–22 tok/s estimationCompatible
Qwen3 235B-A22BQ3_K_M · 8K~112 Go · 8,5–17 tok/s estimationOffload CPU/GPU
DeepSeek R1 (671B)Q8_0 · 8K~699 Go · Pas de donnéesIncompatible

Pour chaque modèle, la quantification la plus précise qui tient entièrement en mémoire rapide ; sinon celle au meilleur résultat. Vitesses en plages ; « estimation » sauf benchmark sur ce matériel exact.

EstimationDonnées mises à jour il y a 24 joursSource: moteur Run LLM Locally

Les limites en clair

96 Go de VRAM contiennent les poids et le cache KV de modèles jusqu'à environ gpt-oss-120b en Q4_K_M. Au-delà, le modèle déborde en RAM système et ralentit fortement : la vitesse dépend alors de la bande passante de la RAM, pas du GPU.

Où acheter une RTX PRO 6000 Blackwell

Les prix et les liens suivent le marché choisi.

RTX PRO 6000 Blackwell Workstation Edition

96 Go GDDR7 ECC · 1 792 Go/s · 600 W

RTX PRO 6000 Blackwell 96 Go · 64 Go RAM → gpt-oss-120b

Prix indisponible

Disponibilité inconnue

Voir sur amazon.fr

Lien affilié

Aucune offre importée pour ce marché : le lien ouvre une recherche sur la boutique.

Questions fréquentes

Quels LLM la RTX PRO 6000 Blackwell peut-elle faire tourner ?
Entièrement sur le GPU : gpt-oss-120b (MXFP4), Llama 4 Scout 17B-16E Instruct (Q6_K), Qwen2.5 72B Instruct (Q8_0), Llama 3.3 70B Instruct (Q8_0), DeepSeek R1 Distill Llama 70B (Q8_0), Mixtral 8x7B Instruct (Q8_0), Qwen3 32B (Q8_0), DeepSeek R1 Distill Qwen 32B (Q8_0). Les modèles plus gros demandent un offload CPU/GPU.
La RTX PRO 6000 Blackwell peut-elle faire tourner un modèle 70B ?
Excellent : un modèle 70B en Q4_K_M demande environ 45,1 Go ; la RTX PRO 6000 Blackwell dispose de 96 Go.
Comment la vitesse est-elle estimée ?
La génération lit chaque poids actif une fois par token : elle est limitée par la bande passante mémoire (1792 Go/s ici). Nous appliquons une plage d'efficacité par backend et présentons le résultat comme une estimation tant qu'il n'y a pas de benchmark réel.