GPU · NVIDIA

H100 PCIe pour LLM locaux : quels modèles tournent ?

Avec 80 Go de VRAM et 2000 Go/s de bande passante, la H100 PCIe fait tourner des modèles jusqu'à environ gpt-oss-120b entièrement sur le GPU.

VRAM80 Go HBM2e
Bande passante2 000 Go/s
Puissance350 W
ArchitectureHopper

PartagerFacebook X WhatsApp LinkedIn E-mail

Caractéristiques

VRAM: 80 Go
Type de mémoire: HBM2e
Bus mémoire: 5120-bit
Bande passante: 2 000 Go/s
Puissance: 350 W
Backends: CUDA
Interface: PCIe 5.0 x16
Sortie: mars 2023
Segment: Datacenter
Calcul FP16: Non disponible

Spécification officielleDonnées mises à jour il y a 24 joursSource: NVIDIA specifications

Ce que fait tourner la H100 PCIe

Modèles populaires sur H100 PCIe + 64 Go de RAM · contexte 8K

gpt-oss-120bMXFP4 · 8K~63,2 Go · 175–488 tok/s estimation	Excellent	~63,2 Go	175–488 tok/sestimation
Qwen2.5 72B InstructQ6_K · 8K~62,1 Go · 23–31 tok/s estimation	Excellent	~62,1 Go	23–31 tok/sestimation
Llama 3.3 70B InstructQ6_K · 8K~60,1 Go · 23–32 tok/s estimation	Excellent	~60,1 Go	23–32 tok/sestimation
DeepSeek R1 Distill Llama 70BQ6_K · 8K~60,1 Go · 23–32 tok/s estimation	Excellent	~60,1 Go	23–32 tok/sestimation
Mixtral 8x7B InstructQ8_0 · 8K~50,2 Go · 72–102 tok/s estimation	Excellent	~50,2 Go	72–102 tok/sestimation
Qwen3 32BQ8_0 · 8K~37 Go · 37–51 tok/s estimation	Excellent	~37 Go	37–51 tok/sestimation
DeepSeek R1 Distill Qwen 32BQ8_0 · 8K~37 Go · 37–51 tok/s estimation	Excellent	~37 Go	37–51 tok/sestimation
Qwen2.5 32B InstructQ8_0 · 8K~37 Go · 37–51 tok/s estimation	Excellent	~37 Go	37–51 tok/sestimation
Qwen2.5 Coder 32B InstructQ8_0 · 8K~37 Go · 37–51 tok/s estimation	Excellent	~37 Go	37–51 tok/sestimation
QwQ 32BQ8_0 · 8K~37 Go · 37–51 tok/s estimation	Excellent	~37 Go	37–51 tok/sestimation
Qwen3 30B-A3BQ8_0 · 8K~33,4 Go · 136–235 tok/s estimation	Excellent	~33,4 Go	136–235 tok/sestimation
Qwen3 Coder 30B-A3B InstructQ8_0 · 8K~33,4 Go · 177–492 tok/s estimation	Excellent	~33,4 Go	177–492 tok/sestimation
Gemma 3 27B ITQ8_0 · 8K~30,2 Go · 44–62 tok/s estimation	Excellent	~30,2 Go	44–62 tok/sestimation
Gemma 2 27B ITQ8_0 · 8K~31,6 Go · 45–62 tok/s estimation	Excellent	~31,6 Go	45–62 tok/sestimation
Mistral Small 3.2 24B InstructQ8_0 · 8K~26,6 Go · 53–72 tok/s estimation	Excellent	~26,6 Go	53–72 tok/sestimation
gpt-oss-20bMXFP4 · 8K~13 Go · 252–695 tok/s estimation	Excellent	~13 Go	252–695 tok/sestimation
Qwen3 14BQ8_0 · 8K~17,5 Go · 77–110 tok/s estimation	Excellent	~17,5 Go	77–110 tok/sestimation
DeepSeek R1 Distill Qwen 14BQ8_0 · 8K~17,8 Go · 74–107 tok/s estimation	Excellent	~17,8 Go	74–107 tok/sestimation
Qwen2.5 14B InstructQ8_0 · 8K~17,8 Go · 74–107 tok/s estimation	Excellent	~17,8 Go	74–107 tok/sestimation
Phi-4 14BQ8_0 · 8K~17,6 Go · 77–110 tok/s estimation	Excellent	~17,6 Go	77–110 tok/sestimation
Mistral Nemo 12B InstructQ8_0 · 8K~14,9 Go · 89–129 tok/s estimation	Excellent	~14,9 Go	89–129 tok/sestimation
Gemma 3 12B ITQ8_0 · 8K~14,1 Go · 89–133 tok/s estimation	Excellent	~14,1 Go	89–133 tok/sestimation
Gemma 2 9B ITQ8_0 · 8K~12,7 Go · 105–158 tok/s estimation	Excellent	~12,7 Go	105–158 tok/sestimation
Qwen3 8BQ8_0 · 8K~10,5 Go · 122–184 tok/s estimation	Excellent	~10,5 Go	122–184 tok/sestimation
Llama 3.1 8B InstructQ8_0 · 8K~10,2 Go · 128–191 tok/s estimation	Excellent	~10,2 Go	128–191 tok/sestimation
DeepSeek R1 Distill Llama 8BQ8_0 · 8K~10,2 Go · 128–191 tok/s estimation	Excellent	~10,2 Go	128–191 tok/sestimation
Qwen2.5 7B InstructQ8_0 · 8K~9,2 Go · 141–209 tok/s estimation	Excellent	~9,2 Go	141–209 tok/sestimation
Mistral 7B Instruct v0.3Q8_0 · 8K~9,2 Go · 138–208 tok/s estimation	Excellent	~9,2 Go	138–208 tok/sestimation
Gemma 3 4B ITQ8_0 · 8K~5,4 Go · 208–351 tok/s estimation	Excellent	~5,4 Go	208–351 tok/sestimation
Qwen3 4BQ8_0 · 8K~6,2 Go · 188–313 tok/s estimation	Excellent	~6,2 Go	188–313 tok/sestimation
Phi-4 Mini Instruct 3.8BQ8_0 · 8K~6 Go · 204–336 tok/s estimation	Excellent	~6 Go	204–336 tok/sestimation
Llama 3.2 3B InstructQ8_0 · 8K~5,1 Go · 238–395 tok/s estimation	Excellent	~5,1 Go	238–395 tok/sestimation
Qwen3 1.7BQ8_0 · 8K~3,7 Go · 315–579 tok/s estimation	Excellent	~3,7 Go	315–579 tok/sestimation
Llama 3.2 1B InstructQ8_0 · 8K~2,5 Go · 526–946 tok/s estimation	Excellent	~2,5 Go	526–946 tok/sestimation
Qwen3 0.6BQ8_0 · 8K~2,5 Go · 417–892 tok/s estimation	Excellent	~2,5 Go	417–892 tok/sestimation
Llama 4 Scout 17B-16E InstructQ4_K_M · 8K~68,6 Go · 76–115 tok/s estimation	Compatible	~68,6 Go	76–115 tok/sestimation
Qwen3 235B-A22BQ3_K_M · 8K~112 Go · 5–10 tok/s estimation	Offload CPU/GPU	~112 Go	5–10 tok/sestimation
DeepSeek R1 (671B)Q8_0 · 8K~699 Go · Pas de données	Incompatible	~699 Go	Pas de données

Pour chaque modèle, la quantification la plus précise qui tient entièrement en mémoire rapide ; sinon celle au meilleur résultat. Vitesses en plages ; « estimation » sauf benchmark sur ce matériel exact.

EstimationDonnées mises à jour il y a 24 joursSource: moteur Run LLM Locally

Les limites en clair

80 Go de VRAM contiennent les poids et le cache KV de modèles jusqu'à environ gpt-oss-120b en Q4_K_M. Au-delà, le modèle déborde en RAM système et ralentit fortement : la vitesse dépend alors de la bande passante de la RAM, pas du GPU.

Questions fréquentes

Quels LLM la H100 PCIe peut-elle faire tourner ?

Entièrement sur le GPU : gpt-oss-120b (MXFP4), Llama 4 Scout 17B-16E Instruct (Q4_K_M), Qwen2.5 72B Instruct (Q6_K), Llama 3.3 70B Instruct (Q6_K), DeepSeek R1 Distill Llama 70B (Q6_K), Mixtral 8x7B Instruct (Q8_0), Qwen3 32B (Q8_0), DeepSeek R1 Distill Qwen 32B (Q8_0). Les modèles plus gros demandent un offload CPU/GPU.

La H100 PCIe peut-elle faire tourner un modèle 70B ?

Excellent : un modèle 70B en Q4_K_M demande environ 45,1 Go ; la H100 PCIe dispose de 80 Go.

Comment la vitesse est-elle estimée ?

La génération lit chaque poids actif une fois par token : elle est limitée par la bande passante mémoire (2000 Go/s ici). Nous appliquons une plage d'efficacité par backend et présentons le résultat comme une estimation tant qu'il n'y a pas de benchmark réel.