GPU · NVIDIA

Tesla P40 pour LLM locaux : quels modèles tournent ?

Avec 24 Go de VRAM et 346 Go/s de bande passante, la Tesla P40 fait tourner des modèles jusqu'à environ Qwen3 32B entièrement sur le GPU.

VRAM24 Go GDDR5
Bande passante346 Go/s
Puissance250 W
ArchitecturePascal

PartagerFacebook X WhatsApp LinkedIn E-mail

Caractéristiques

VRAM: 24 Go
Type de mémoire: GDDR5
Bus mémoire: 384-bit
Bande passante: 346 Go/s
Puissance: 250 W
Backends: CUDA
Interface: PCIe 3.0 x16
Sortie: septembre 2016
Segment: Datacenter
Calcul FP16: Non disponible

Spécification officielleDonnées mises à jour il y a 24 joursSource: NVIDIA specifications

Ce que fait tourner la Tesla P40

Modèles populaires sur Tesla P40 + 64 Go de RAM · contexte 8K

Qwen3 30B-A3BQ4_K_M · 8K~19,7 Go · 66–98 tok/s estimation	Excellent	~19,7 Go	66–98 tok/sestimation
Qwen3 Coder 30B-A3B InstructQ4_K_M · 8K~19,7 Go · 66–98 tok/s estimation	Excellent	~19,7 Go	66–98 tok/sestimation
gpt-oss-20bMXFP4 · 8K~13 Go · 44–120 tok/s estimation	Excellent	~13 Go	44–120 tok/sestimation
Qwen3 14BQ8_0 · 8K~17,5 Go · 16–21 tok/s estimation	Excellent	~17,5 Go	16–21 tok/sestimation
DeepSeek R1 Distill Qwen 14BQ8_0 · 8K~17,8 Go · 16–20 tok/s estimation	Excellent	~17,8 Go	16–20 tok/sestimation
Qwen2.5 14B InstructQ8_0 · 8K~17,8 Go · 16–20 tok/s estimation	Excellent	~17,8 Go	16–20 tok/sestimation
Phi-4 14BQ8_0 · 8K~17,6 Go · 16–20 tok/s estimation	Excellent	~17,6 Go	16–20 tok/sestimation
Mistral Nemo 12B InstructQ8_0 · 8K~14,9 Go · 19–24 tok/s estimation	Excellent	~14,9 Go	19–24 tok/sestimation
Gemma 3 12B ITQ8_0 · 8K~14,1 Go · 20–26 tok/s estimation	Excellent	~14,1 Go	20–26 tok/sestimation
Gemma 2 9B ITQ8_0 · 8K~12,7 Go · 23–31 tok/s estimation	Excellent	~12,7 Go	23–31 tok/sestimation
Qwen3 8BQ8_0 · 8K~10,5 Go · 27–36 tok/s estimation	Excellent	~10,5 Go	27–36 tok/sestimation
Llama 3.1 8B InstructQ8_0 · 8K~10,2 Go · 28–37 tok/s estimation	Excellent	~10,2 Go	28–37 tok/sestimation
DeepSeek R1 Distill Llama 8BQ8_0 · 8K~10,2 Go · 28–37 tok/s estimation	Excellent	~10,2 Go	28–37 tok/sestimation
Qwen2.5 7B InstructQ8_0 · 8K~9,2 Go · 30–40 tok/s estimation	Excellent	~9,2 Go	30–40 tok/sestimation
Mistral 7B Instruct v0.3Q8_0 · 8K~9,2 Go · 31–40 tok/s estimation	Excellent	~9,2 Go	31–40 tok/sestimation
Gemma 3 4B ITQ8_0 · 8K~5,4 Go · 55–76 tok/s estimation	Excellent	~5,4 Go	55–76 tok/sestimation
Qwen3 4BQ8_0 · 8K~6,2 Go · 49–67 tok/s estimation	Excellent	~6,2 Go	49–67 tok/sestimation
Phi-4 Mini Instruct 3.8BQ8_0 · 8K~6 Go · 52–71 tok/s estimation	Excellent	~6 Go	52–71 tok/sestimation
Llama 3.2 3B InstructQ8_0 · 8K~5,1 Go · 62–84 tok/s estimation	Excellent	~5,1 Go	62–84 tok/sestimation
Qwen3 1.7BQ8_0 · 8K~3,7 Go · 97–137 tok/s estimation	Excellent	~3,7 Go	97–137 tok/sestimation
Llama 3.2 1B InstructQ8_0 · 8K~2,5 Go · 156–218 tok/s estimation	Excellent	~2,5 Go	156–218 tok/sestimation
Qwen3 0.6BQ8_0 · 8K~2,5 Go · 172–263 tok/s estimation	Excellent	~2,5 Go	172–263 tok/sestimation
Mixtral 8x7B InstructQ3_K_M · 8K~21,6 Go · 33–44 tok/s estimation	Compatible	~21,6 Go	33–44 tok/sestimation
Qwen3 32BQ4_K_M · 8K~22,3 Go · 12–16 tok/s estimation	Compatible	~22,3 Go	12–16 tok/sestimation
DeepSeek R1 Distill Qwen 32BQ4_K_M · 8K~22,4 Go · 12–16 tok/s estimation	Compatible	~22,4 Go	12–16 tok/sestimation
Qwen2.5 32B InstructQ4_K_M · 8K~22,4 Go · 12–16 tok/s estimation	Compatible	~22,4 Go	12–16 tok/sestimation
Qwen2.5 Coder 32B InstructQ4_K_M · 8K~22,4 Go · 12–16 tok/s estimation	Compatible	~22,4 Go	12–16 tok/sestimation
QwQ 32BQ4_K_M · 8K~22,4 Go · 12–16 tok/s estimation	Compatible	~22,4 Go	12–16 tok/sestimation
Gemma 3 27B ITQ5_K_M · 8K~21 Go · 13–17 tok/s estimation	Compatible	~21 Go	13–17 tok/sestimation
Gemma 2 27B ITQ5_K_M · 8K~22,3 Go · 13–17 tok/s estimation	Compatible	~22,3 Go	13–17 tok/sestimation
Mistral Small 3.2 24B InstructQ6_K · 8K~21 Go · 13–17 tok/s estimation	Compatible	~21 Go	13–17 tok/sestimation
gpt-oss-120bMXFP4 · 8K~63,2 Go · 9,5–19 tok/s estimation	Possible mais lent	~63,2 Go	9,5–19 tok/sestimation
Llama 4 Scout 17B-16E InstructQ3_K_M · 8K~55,7 Go · 3,5–6,5 tok/s estimation	Possible mais lent	~55,7 Go	3,5–6,5 tok/sestimation
Qwen2.5 72B InstructQ3_K_M · 8K~38,2 Go · 1,2–2,5 tok/s estimation	Possible mais lent	~38,2 Go	1,2–2,5 tok/sestimation
Llama 3.3 70B InstructQ3_K_M · 8K~37 Go · 1,3–2,5 tok/s estimation	Possible mais lent	~37 Go	1,3–2,5 tok/sestimation
DeepSeek R1 Distill Llama 70BQ3_K_M · 8K~37 Go · 1,3–2,5 tok/s estimation	Possible mais lent	~37 Go	1,3–2,5 tok/sestimation
DeepSeek R1 (671B)Q8_0 · 8K~699 Go · Pas de données	Incompatible	~699 Go	Pas de données
Qwen3 235B-A22BQ8_0 · 8K~247 Go · Pas de données	Incompatible	~247 Go	Pas de données

Pour chaque modèle, la quantification la plus précise qui tient entièrement en mémoire rapide ; sinon celle au meilleur résultat. Vitesses en plages ; « estimation » sauf benchmark sur ce matériel exact.

EstimationDonnées mises à jour il y a 24 joursSource: moteur Run LLM Locally

Les limites en clair

24 Go de VRAM contiennent les poids et le cache KV de modèles jusqu'à environ Qwen3 32B en Q4_K_M. Au-delà, le modèle déborde en RAM système et ralentit fortement : la vitesse dépend alors de la bande passante de la RAM, pas du GPU.

Questions fréquentes

Quels LLM la Tesla P40 peut-elle faire tourner ?

Entièrement sur le GPU : Mixtral 8x7B Instruct (Q3_K_M), Qwen3 32B (Q4_K_M), DeepSeek R1 Distill Qwen 32B (Q4_K_M), Qwen2.5 32B Instruct (Q4_K_M), Qwen2.5 Coder 32B Instruct (Q4_K_M), QwQ 32B (Q4_K_M), Qwen3 30B-A3B (Q4_K_M), Qwen3 Coder 30B-A3B Instruct (Q4_K_M). Les modèles plus gros demandent un offload CPU/GPU.

La Tesla P40 peut-elle faire tourner un modèle 70B ?

Déconseillé : un modèle 70B en Q4_K_M demande environ 45,1 Go ; la Tesla P40 dispose de 24 Go.

Comment la vitesse est-elle estimée ?

La génération lit chaque poids actif une fois par token : elle est limitée par la bande passante mémoire (346 Go/s ici). Nous appliquons une plage d'efficacité par backend et présentons le résultat comme une estimation tant qu'il n'y a pas de benchmark réel.