GPU · NVIDIA

A100 80GB pour LLM locaux : quels modèles tournent ?

Avec 80 Go de VRAM et 1935 Go/s de bande passante, la A100 80GB fait tourner des modèles jusqu'à environ gpt-oss-120b entièrement sur le GPU.

VRAM80 Go HBM2e
Bande passante1 935 Go/s
Puissance300 W
ArchitectureAmpere

PartagerFacebook X WhatsApp LinkedIn E-mail

Caractéristiques

VRAM: 80 Go
Type de mémoire: HBM2e
Bus mémoire: 5120-bit
Bande passante: 1 935 Go/s
Puissance: 300 W
Backends: CUDA
Interface: PCIe 4.0 x16
Sortie: juin 2021
Segment: Datacenter
Calcul FP16: Non disponible

Spécification officielleDonnées mises à jour il y a 24 joursSource: NVIDIA specifications

Ce que fait tourner la A100 80GB

Modèles populaires sur A100 80GB + 64 Go de RAM · contexte 8K

gpt-oss-120bMXFP4 · 8K~63,2 Go · 170–472 tok/s estimation	Excellent	~63,2 Go	170–472 tok/sestimation
Qwen2.5 72B InstructQ6_K · 8K~62,1 Go · 22–30 tok/s estimation	Excellent	~62,1 Go	22–30 tok/sestimation
Llama 3.3 70B InstructQ6_K · 8K~60,1 Go · 23–31 tok/s estimation	Excellent	~60,1 Go	23–31 tok/sestimation
DeepSeek R1 Distill Llama 70BQ6_K · 8K~60,1 Go · 23–31 tok/s estimation	Excellent	~60,1 Go	23–31 tok/sestimation
Mixtral 8x7B InstructQ8_0 · 8K~50,2 Go · 70–99 tok/s estimation	Excellent	~50,2 Go	70–99 tok/sestimation
Qwen3 32BQ8_0 · 8K~37 Go · 36–50 tok/s estimation	Excellent	~37 Go	36–50 tok/sestimation
DeepSeek R1 Distill Qwen 32BQ8_0 · 8K~37 Go · 36–50 tok/s estimation	Excellent	~37 Go	36–50 tok/sestimation
Qwen2.5 32B InstructQ8_0 · 8K~37 Go · 36–50 tok/s estimation	Excellent	~37 Go	36–50 tok/sestimation
Qwen2.5 Coder 32B InstructQ8_0 · 8K~37 Go · 36–50 tok/s estimation	Excellent	~37 Go	36–50 tok/sestimation
QwQ 32BQ8_0 · 8K~37 Go · 36–50 tok/s estimation	Excellent	~37 Go	36–50 tok/sestimation
Qwen3 30B-A3BQ8_0 · 8K~33,4 Go · 134–231 tok/s estimation	Excellent	~33,4 Go	134–231 tok/sestimation
Qwen3 Coder 30B-A3B InstructQ8_0 · 8K~33,4 Go · 171–476 tok/s estimation	Excellent	~33,4 Go	171–476 tok/sestimation
Gemma 3 27B ITQ8_0 · 8K~30,2 Go · 43–60 tok/s estimation	Excellent	~30,2 Go	43–60 tok/sestimation
Gemma 2 27B ITQ8_0 · 8K~31,6 Go · 44–60 tok/s estimation	Excellent	~31,6 Go	44–60 tok/sestimation
Mistral Small 3.2 24B InstructQ8_0 · 8K~26,6 Go · 51–70 tok/s estimation	Excellent	~26,6 Go	51–70 tok/sestimation
gpt-oss-20bMXFP4 · 8K~13 Go · 244–672 tok/s estimation	Excellent	~13 Go	244–672 tok/sestimation
Qwen3 14BQ8_0 · 8K~17,5 Go · 75–107 tok/s estimation	Excellent	~17,5 Go	75–107 tok/sestimation
DeepSeek R1 Distill Qwen 14BQ8_0 · 8K~17,8 Go · 72–104 tok/s estimation	Excellent	~17,8 Go	72–104 tok/sestimation
Qwen2.5 14B InstructQ8_0 · 8K~17,8 Go · 72–104 tok/s estimation	Excellent	~17,8 Go	72–104 tok/sestimation
Phi-4 14BQ8_0 · 8K~17,6 Go · 75–106 tok/s estimation	Excellent	~17,6 Go	75–106 tok/sestimation
Mistral Nemo 12B InstructQ8_0 · 8K~14,9 Go · 87–126 tok/s estimation	Excellent	~14,9 Go	87–126 tok/sestimation
Gemma 3 12B ITQ8_0 · 8K~14,1 Go · 87–129 tok/s estimation	Excellent	~14,1 Go	87–129 tok/sestimation
Gemma 2 9B ITQ8_0 · 8K~12,7 Go · 102–153 tok/s estimation	Excellent	~12,7 Go	102–153 tok/sestimation
Qwen3 8BQ8_0 · 8K~10,5 Go · 119–179 tok/s estimation	Excellent	~10,5 Go	119–179 tok/sestimation
Llama 3.1 8B InstructQ8_0 · 8K~10,2 Go · 125–186 tok/s estimation	Excellent	~10,2 Go	125–186 tok/sestimation
DeepSeek R1 Distill Llama 8BQ8_0 · 8K~10,2 Go · 125–186 tok/s estimation	Excellent	~10,2 Go	125–186 tok/sestimation
Qwen2.5 7B InstructQ8_0 · 8K~9,2 Go · 138–203 tok/s estimation	Excellent	~9,2 Go	138–203 tok/sestimation
Mistral 7B Instruct v0.3Q8_0 · 8K~9,2 Go · 135–202 tok/s estimation	Excellent	~9,2 Go	135–202 tok/sestimation
Gemma 3 4B ITQ8_0 · 8K~5,4 Go · 204–342 tok/s estimation	Excellent	~5,4 Go	204–342 tok/sestimation
Qwen3 4BQ8_0 · 8K~6,2 Go · 184–305 tok/s estimation	Excellent	~6,2 Go	184–305 tok/sestimation
Phi-4 Mini Instruct 3.8BQ8_0 · 8K~6 Go · 200–327 tok/s estimation	Excellent	~6 Go	200–327 tok/sestimation
Llama 3.2 3B InstructQ8_0 · 8K~5,1 Go · 234–385 tok/s estimation	Excellent	~5,1 Go	234–385 tok/sestimation
Qwen3 1.7BQ8_0 · 8K~3,7 Go · 311–566 tok/s estimation	Excellent	~3,7 Go	311–566 tok/sestimation
Llama 3.2 1B InstructQ8_0 · 8K~2,5 Go · 517–925 tok/s estimation	Excellent	~2,5 Go	517–925 tok/sestimation
Qwen3 0.6BQ8_0 · 8K~2,5 Go · 413–877 tok/s estimation	Excellent	~2,5 Go	413–877 tok/sestimation
Llama 4 Scout 17B-16E InstructQ4_K_M · 8K~68,6 Go · 75–112 tok/s estimation	Compatible	~68,6 Go	75–112 tok/sestimation
Qwen3 235B-A22BQ3_K_M · 8K~112 Go · 5–10 tok/s estimation	Offload CPU/GPU	~112 Go	5–10 tok/sestimation
DeepSeek R1 (671B)Q8_0 · 8K~699 Go · Pas de données	Incompatible	~699 Go	Pas de données

Pour chaque modèle, la quantification la plus précise qui tient entièrement en mémoire rapide ; sinon celle au meilleur résultat. Vitesses en plages ; « estimation » sauf benchmark sur ce matériel exact.

EstimationDonnées mises à jour il y a 24 joursSource: moteur Run LLM Locally

Les limites en clair

80 Go de VRAM contiennent les poids et le cache KV de modèles jusqu'à environ gpt-oss-120b en Q4_K_M. Au-delà, le modèle déborde en RAM système et ralentit fortement : la vitesse dépend alors de la bande passante de la RAM, pas du GPU.

Questions fréquentes

Quels LLM la A100 80GB peut-elle faire tourner ?

Entièrement sur le GPU : gpt-oss-120b (MXFP4), Llama 4 Scout 17B-16E Instruct (Q4_K_M), Qwen2.5 72B Instruct (Q6_K), Llama 3.3 70B Instruct (Q6_K), DeepSeek R1 Distill Llama 70B (Q6_K), Mixtral 8x7B Instruct (Q8_0), Qwen3 32B (Q8_0), DeepSeek R1 Distill Qwen 32B (Q8_0). Les modèles plus gros demandent un offload CPU/GPU.

La A100 80GB peut-elle faire tourner un modèle 70B ?

Excellent : un modèle 70B en Q4_K_M demande environ 45,1 Go ; la A100 80GB dispose de 80 Go.

Comment la vitesse est-elle estimée ?

La génération lit chaque poids actif une fois par token : elle est limitée par la bande passante mémoire (1935 Go/s ici). Nous appliquons une plage d'efficacité par backend et présentons le résultat comme une estimation tant qu'il n'y a pas de benchmark réel.