Modèle · DeepSeek

DeepSeek R1 Distill Llama 8B : VRAM et matériel nécessaires

En Q4_K_M avec un contexte de 8K, DeepSeek R1 Distill Llama 8B demande environ 6,7 Go : un GPU de 8 Go ou plus le fait tourner entièrement en VRAM.

Paramètres8,03B
Contexte max128K
LicenceMIT (Llama 3.1 base)

PartagerFacebook X WhatsApp LinkedIn E-mail

Caractéristiques

Organisation: DeepSeek
Architecture: llama
Sortie: janvier 2025
Couches: 32
Dimension cachée: 4096
Têtes d'attention: 32
Têtes KV: 8
Dimension par tête: 128
Vocabulaire: 128 256
Cache KV pour 1K tokens (f16): 0,125 Go
Dépôt: deepseek-ai/DeepSeek-R1-Distill-Llama-8B

Spécification officielleDonnées mises à jour il y a 24 joursSource: Hugging Face config.json + model card

Quantifications et mémoire

DeepSeek R1 Distill Llama 8B : mémoire par quantification, contexte 8K
Quantification	Taille du fichier	Mémoire nécessaire	Mémoire GPU minimale	Qualité
BF16	15 Go	~17,5 Go	20 Go	Référence (non quantifié)
Q8_0	8 Go	~10,2 Go	11 Go	Quasi sans perte
Q6_K	6,1 Go	~8,3 Go	10 Go	Quasi sans perte
Q5_K_M	5,3 Go	~7,4 Go	8 Go	Très bonne
Q4_K_MLa plus utilisée	4,6 Go	~6,7 Go	8 Go	Bonne — le choix courant
IQ4_XS	4,1 Go	~6,2 Go	8 Go	Bonne — le choix courant
Q3_K_M	3,7 Go	~5,8 Go	8 Go	Perte perceptible
Q2_K	3 Go	~5 Go	8 Go	Perte importante

Tailles de fichier : non disponibles tant qu'elles ne sont pas importées du dépôt du modèle. Mémoire = poids (estimés d'après les bits par poids) + cache KV + surcoût runtime + marge de sécurité. (BF16 ≈ 16 bpw, Q8_0 ≈ 8,5 bpw, Q6_K ≈ 6,57 bpw, Q5_K_M ≈ 5,7 bpw, Q4_K_M ≈ 4,9 bpw, IQ4_XS ≈ 4,46 bpw, Q3_K_M ≈ 4 bpw, Q2_K ≈ 3,17 bpw)

Q4, Q5 ou Q8 : comment choisir sa quantification

Les GPU qui font tourner DeepSeek R1 Distill Llama 8B

DeepSeek R1 Distill Llama 8B Q4_K_M · contexte 8K, un GPU

RTX 509032 Go · 64 Go RAM~6,7 Go · 171–269 tok/s estimation	Excellent	~6,7 Go	171–269 tok/sestimation
RTX 409024 Go · 64 Go RAM~6,7 Go · 112–163 tok/s estimation	Excellent	~6,7 Go	112–163 tok/sestimation
RTX 309024 Go · 64 Go RAM~6,7 Go · 106–153 tok/s estimation	Excellent	~6,7 Go	106–153 tok/sestimation
RX 7900 XTX24 Go · 64 Go RAM~6,7 Go · 89–137 tok/s estimation	Excellent	~6,7 Go	89–137 tok/sestimation
RTX 5060 Ti 16 GB16 Go · 64 Go RAM~6,7 Go · 57–77 tok/s estimation	Excellent	~6,7 Go	57–77 tok/sestimation
RTX 5070 Ti16 Go · 64 Go RAM~6,7 Go · 102–147 tok/s estimation	Excellent	~6,7 Go	102–147 tok/sestimation
RTX 508016 Go · 64 Go RAM~6,7 Go · 108–156 tok/s estimation	Excellent	~6,7 Go	108–156 tok/sestimation
RTX 4060 Ti 16 GB16 Go · 64 Go RAM~6,7 Go · 38–50 tok/s estimation	Excellent	~6,7 Go	38–50 tok/sestimation
RTX 4070 Ti SUPER16 Go · 64 Go RAM~6,7 Go · 80–113 tok/s estimation	Excellent	~6,7 Go	80–113 tok/sestimation
RX 9070 XT16 Go · 64 Go RAM~6,7 Go · 66–97 tok/s estimation	Excellent	~6,7 Go	66–97 tok/sestimation
RTX 3060 12 GB12 Go · 64 Go RAM~6,7 Go · 46–63 tok/s estimation	Excellent	~6,7 Go	46–63 tok/sestimation
RTX 407012 Go · 64 Go RAM~6,7 Go · 63–86 tok/s estimation	Excellent	~6,7 Go	63–86 tok/sestimation
RTX 507012 Go · 64 Go RAM~6,7 Go · 80–113 tok/s estimation	Excellent	~6,7 Go	80–113 tok/sestimation
RTX 40608 Go · 64 Go RAM~6,7 Go · 36–48 tok/s estimation	Compatible	~6,7 Go	36–48 tok/sestimation

Les Mac qui font tourner DeepSeek R1 Distill Llama 8B

DeepSeek R1 Distill Llama 8B Q4_K_M · contexte 8K

M3 Ultra (80-core GPU) · 512 GoMac Studio~6,4 Go · 76–139 tok/s estimation	Excellent	~6,4 Go	76–139 tok/sestimation
M4 Max (40-core GPU) · 128 GoMacBook Pro 14, MacBook Pro 16~6,4 Go · 55–92 tok/s estimation	Excellent	~6,4 Go	55–92 tok/sestimation
M3 Max (40-core GPU) · 128 GoMacBook Pro 14, MacBook Pro 16~6,4 Go · 42–68 tok/s estimation	Excellent	~6,4 Go	42–68 tok/sestimation
M4 Pro (20-core GPU) · 64 GoMac mini, MacBook Pro 14~6,4 Go · 30–46 tok/s estimation	Excellent	~6,4 Go	30–46 tok/sestimation
M4 Max (32-core GPU) · 36 GoMacBook Pro 14, MacBook Pro 16~6,4 Go · 43–69 tok/s estimation	Excellent	~6,4 Go	43–69 tok/sestimation
M4 · 32 GoMacBook Air, MacBook Pro 14~6,4 Go · 14–20 tok/s estimation	Excellent	~6,4 Go	14–20 tok/sestimation
M5 · 32 GoMacBook Pro 14~6,4 Go · 18–26 tok/s estimation	Excellent	~6,4 Go	18–26 tok/sestimation
M3 · 24 GoMacBook Air, MacBook Pro 14~6,4 Go · 12–17 tok/s estimation	Excellent	~6,4 Go	12–17 tok/sestimation

EstimationDonnées mises à jour il y a 24 joursSource: moteur Run LLM Locally

Les limites en clair

Le cache KV grandit avec le contexte : à 32K, il ajoute environ 4 Go aux poids.

Avec moins de 8 Go de VRAM, choisissez une quantification plus petite ou un modèle plus petit de la même famille.

Où acheter

Votre marché

Les prix et les liens suivent le marché choisi.

GeForce RTX 4060

NVIDIA

CompatibleFait tourner DeepSeek R1 Distill Llama 8B Q4_K_M entièrement en mémoire

Prix indisponible

Disponibilité inconnue

Voir sur amazon.fr

Lien affilié

Radeon RX 7600 XT

AMD

ExcellentFait tourner DeepSeek R1 Distill Llama 8B Q4_K_M entièrement en mémoire

Prix indisponible

Disponibilité inconnue

Voir sur amazon.fr

Lien affilié

AMD Ryzen AI Max+ 395

PC à mémoire unifiée

ExcellentFait tourner DeepSeek R1 Distill Llama 8B Q4_K_M entièrement en mémoire

Prix indisponible

Disponibilité inconnue

Voir sur amazon.fr

Lien affilié

Aucune offre importée pour ce marché : le lien ouvre une recherche sur la boutique.

Questions fréquentes

Combien de VRAM faut-il pour DeepSeek R1 Distill Llama 8B ?

Environ 6,7 Go en Q4_K_M avec un contexte de 8K, cache KV et surcoût compris. En Q8_0, il faut environ 10,2 Go. Un contexte plus long ajoute davantage : environ 4 Go de cache KV à 32K.

DeepSeek R1 Distill Llama 8B tourne-t-il sur Mac ?

Oui, sur un Mac dont le GPU peut utiliser au moins 6,4 Go, par exemple M3 24 Go. Par défaut, macOS laisse le GPU utiliser environ deux tiers à trois quarts de la mémoire unifiée.

À quelle vitesse tourne DeepSeek R1 Distill Llama 8B ?

Sur une RTX 4090, nous estimons 112–163 tok/s en Q4_K_M. C'est une estimation fondée sur la bande passante mémoire (confiance faible) tant que des benchmarks ne sont pas importés.