Aller au contenu
Run LLM Locally

GPU · NVIDIA

RTX 3080 pour LLM locaux : quels modèles tournent ?

Avec 10 Go de VRAM et 760 Go/s de bande passante, la RTX 3080 fait tourner des modèles jusqu'à environ Mistral Nemo 12B Instruct entièrement sur le GPU.

  • VRAM10 Go GDDR6X
  • Bande passante760 Go/s
  • Puissance320 W
  • ArchitectureAmpere
PartagerFacebookXWhatsAppLinkedInE-mail

Caractéristiques

VRAM
10 Go
Type de mémoire
GDDR6X
Bus mémoire
320-bit
Bande passante
760 Go/s
Puissance
320 W
Backends
CUDA, Vulkan
Interface
PCIe 4.0 x16
Sortie
septembre 2020
Segment
Grand public
Calcul FP16
Non disponible

Spécification officielleDonnées mises à jour il y a 24 joursSource: NVIDIA specifications

Ce que fait tourner la RTX 3080

Modèles populaires sur RTX 3080 + 64 Go de RAM · contexte 8K
Qwen2.5 7B InstructQ6_K · 8K~7,4 Go · 79–109 tok/s estimationExcellent
Gemma 3 4B ITQ8_0 · 8K~5,4 Go · 107–156 tok/s estimationExcellent
Qwen3 4BQ8_0 · 8K~6,2 Go · 95–138 tok/s estimationExcellent
Phi-4 Mini Instruct 3.8BQ8_0 · 8K~6 Go · 102–147 tok/s estimationExcellent
Llama 3.2 3B InstructQ8_0 · 8K~5,1 Go · 120–174 tok/s estimationExcellent
Qwen3 1.7BQ8_0 · 8K~3,7 Go · 179–276 tok/s estimationExcellent
Llama 3.2 1B InstructQ8_0 · 8K~2,5 Go · 291–443 tok/s estimationExcellent
Qwen3 0.6BQ8_0 · 8K~2,5 Go · 280–491 tok/s estimationExcellent
Mistral Nemo 12B InstructIQ4_XS · 8K~8,7 Go · 67–94 tok/s estimationCompatible
Gemma 3 12B ITQ4_K_M · 8K~9,1 Go · 62–89 tok/s estimationCompatible
Gemma 2 9B ITQ4_K_M · 8K~8,7 Go · 71–101 tok/s estimationCompatible
Qwen3 8BQ6_K · 8K~8,6 Go · 68–95 tok/s estimationCompatible
Llama 3.1 8B InstructQ6_K · 8K~8,3 Go · 71–99 tok/s estimationCompatible
DeepSeek R1 Distill Llama 8BQ6_K · 8K~8,3 Go · 71–99 tok/s estimationCompatible
Mistral 7B Instruct v0.3Q8_0 · 8K~9,2 Go · 63–86 tok/s estimationCompatible
Qwen3 14BQ3_K_M · 8K~9,3 Go · 62–87 tok/s estimationCompatible avec limites
DeepSeek R1 Distill Qwen 14BQ3_K_M · 8K~9,6 Go · 60–85 tok/s estimationCompatible avec limites
Qwen2.5 14B InstructQ3_K_M · 8K~9,6 Go · 60–85 tok/s estimationCompatible avec limites
Phi-4 14BQ3_K_M · 8K~9,6 Go · 61–85 tok/s estimationCompatible avec limites
Qwen3 30B-A3BQ3_K_M · 8K~15,4 Go · 22–45 tok/s estimationOffload CPU/GPU
Qwen3 Coder 30B-A3B InstructQ3_K_M · 8K~16 Go · 21–41 tok/s estimationOffload CPU/GPU
Gemma 3 27B ITQ3_K_M · 8K~15,3 Go · 3,5–7 tok/s estimationOffload CPU/GPU
Gemma 2 27B ITQ3_K_M · 8K~16,5 Go · 3–6 tok/s estimationOffload CPU/GPU
Mistral Small 3.2 24B InstructQ3_K_M · 8K~13,3 Go · 5–10 tok/s estimationOffload CPU/GPU
gpt-oss-20bMXFP4 · 8K~13 Go · 28–55 tok/s estimationOffload CPU/GPU
Llama 4 Scout 17B-16E InstructQ3_K_M · 8K~55,7 Go · 2,5–5 tok/s estimationPossible mais lent
Mixtral 8x7B InstructQ3_K_M · 8K~21,6 Go · 5,5–11 tok/s estimationPossible mais lent
Qwen3 32BQ3_K_M · 8K~18,6 Go · 2,5–4,5 tok/s estimationPossible mais lent
DeepSeek R1 Distill Qwen 32BQ3_K_M · 8K~18,5 Go · 2,5–4,5 tok/s estimationPossible mais lent
Qwen2.5 32B InstructQ3_K_M · 8K~18,5 Go · 2,5–4,5 tok/s estimationPossible mais lent
Qwen2.5 Coder 32B InstructQ3_K_M · 8K~18,5 Go · 2,5–4,5 tok/s estimationPossible mais lent
QwQ 32BQ3_K_M · 8K~18,5 Go · 2,5–4,5 tok/s estimationPossible mais lent
Qwen2.5 72B InstructQ3_K_M · 8K~38,2 Go · 0,7–1,4 tok/s estimationDéconseillé
Llama 3.3 70B InstructQ3_K_M · 8K~37 Go · 0,7–1,4 tok/s estimationDéconseillé
DeepSeek R1 Distill Llama 70BQ3_K_M · 8K~37 Go · 0,7–1,4 tok/s estimationDéconseillé
DeepSeek R1 (671B)Q8_0 · 8K~699 Go · Pas de donnéesIncompatible
Qwen3 235B-A22BQ8_0 · 8K~247 Go · Pas de donnéesIncompatible
gpt-oss-120bMXFP4 · 8K~63,2 Go · Pas de donnéesIncompatible

Pour chaque modèle, la quantification la plus précise qui tient entièrement en mémoire rapide ; sinon celle au meilleur résultat. Vitesses en plages ; « estimation » sauf benchmark sur ce matériel exact.

EstimationDonnées mises à jour il y a 24 joursSource: moteur Run LLM Locally

Les limites en clair

10 Go de VRAM contiennent les poids et le cache KV de modèles jusqu'à environ Mistral Nemo 12B Instruct en Q4_K_M. Au-delà, le modèle déborde en RAM système et ralentit fortement : la vitesse dépend alors de la bande passante de la RAM, pas du GPU.

Où acheter une RTX 3080

Les prix et les liens suivent le marché choisi.

GeForce RTX 3080 (10 GB)

10 Go GDDR6X · 760 Go/s · 320 W

RTX 3080 10 Go · 64 Go RAM → Mistral Nemo 12B Instruct

Prix indisponible

Disponibilité inconnue

Voir sur amazon.fr

Lien affilié

Aucune offre importée pour ce marché : le lien ouvre une recherche sur la boutique.

Questions fréquentes

Quels LLM la RTX 3080 peut-elle faire tourner ?
Entièrement sur le GPU : Qwen3 14B (Q3_K_M), DeepSeek R1 Distill Qwen 14B (Q3_K_M), Qwen2.5 14B Instruct (Q3_K_M), Phi-4 14B (Q3_K_M), Mistral Nemo 12B Instruct (IQ4_XS), Gemma 3 12B IT (Q4_K_M), Gemma 2 9B IT (Q4_K_M), Qwen3 8B (Q6_K). Les modèles plus gros demandent un offload CPU/GPU.
La RTX 3080 peut-elle faire tourner un modèle 70B ?
Déconseillé : un modèle 70B en Q4_K_M demande environ 45,1 Go ; la RTX 3080 dispose de 10 Go.
Comment la vitesse est-elle estimée ?
La génération lit chaque poids actif une fois par token : elle est limitée par la bande passante mémoire (760 Go/s ici). Nous appliquons une plage d'efficacité par backend et présentons le résultat comme une estimation tant qu'il n'y a pas de benchmark réel.