Modèle · Meta

Llama 3.2 3B Instruct : VRAM et matériel nécessaires

En Q4_K_M avec un contexte de 8K, Llama 3.2 3B Instruct demande environ 3,7 Go : un GPU de 8 Go ou plus le fait tourner entièrement en VRAM.

Paramètres3,21B
Contexte max128K
LicenceLlama 3.2 Community License

PartagerFacebook X WhatsApp LinkedIn E-mail

Caractéristiques

Organisation: Meta
Architecture: llama
Sortie: septembre 2024
Couches: 28
Dimension cachée: 3072
Têtes d'attention: 24
Têtes KV: 8
Dimension par tête: 128
Vocabulaire: 128 256
Cache KV pour 1K tokens (f16): 0,109 Go
Dépôt: meta-llama/Llama-3.2-3B-Instruct

Spécification officielleDonnées mises à jour il y a 24 joursSource: Hugging Face config.json + model card

Quantifications et mémoire

Llama 3.2 3B Instruct : mémoire par quantification, contexte 8K
Quantification	Taille du fichier	Mémoire nécessaire	Mémoire GPU minimale	Qualité
BF16	6 Go	~8 Go	10 Go	Référence (non quantifié)
Q8_0	3,2 Go	~5,1 Go	8 Go	Quasi sans perte
Q6_K	2,5 Go	~4,4 Go	8 Go	Quasi sans perte
Q5_K_M	2,2 Go	~4 Go	8 Go	Très bonne
Q4_K_MLa plus utilisée	1,9 Go	~3,7 Go	8 Go	Bonne — le choix courant
IQ4_XS	1,7 Go	~3,6 Go	8 Go	Bonne — le choix courant
Q3_K_M	1,6 Go	~3,4 Go	8 Go	Perte perceptible
Q2_K	1,3 Go	~3,1 Go	8 Go	Perte importante

Tailles de fichier : non disponibles tant qu'elles ne sont pas importées du dépôt du modèle. Mémoire = poids (estimés d'après les bits par poids) + cache KV + surcoût runtime + marge de sécurité. (BF16 ≈ 16 bpw, Q8_0 ≈ 8,5 bpw, Q6_K ≈ 6,57 bpw, Q5_K_M ≈ 5,7 bpw, Q4_K_M ≈ 4,9 bpw, IQ4_XS ≈ 4,46 bpw, Q3_K_M ≈ 4 bpw, Q2_K ≈ 3,17 bpw)

Q4, Q5 ou Q8 : comment choisir sa quantification

Les GPU qui font tourner Llama 3.2 3B Instruct

Llama 3.2 3B Instruct Q4_K_M · contexte 8K, un GPU

RTX 509032 Go · 64 Go RAM~3,8 Go · 288–509 tok/s estimation	Excellent	~3,8 Go	288–509 tok/sestimation
RTX 409024 Go · 64 Go RAM~3,8 Go · 205–327 tok/s estimation	Excellent	~3,8 Go	205–327 tok/sestimation
RTX 309024 Go · 64 Go RAM~3,8 Go · 195–307 tok/s estimation	Excellent	~3,8 Go	195–307 tok/sestimation
RX 7900 XTX24 Go · 64 Go RAM~3,8 Go · 155–259 tok/s estimation	Excellent	~3,8 Go	155–259 tok/sestimation
RTX 5060 Ti 16 GB16 Go · 64 Go RAM~3,8 Go · 113–162 tok/s estimation	Excellent	~3,8 Go	113–162 tok/sestimation
RTX 5070 Ti16 Go · 64 Go RAM~3,8 Go · 190–297 tok/s estimation	Excellent	~3,8 Go	190–297 tok/sestimation
RTX 508016 Go · 64 Go RAM~3,8 Go · 199–314 tok/s estimation	Excellent	~3,8 Go	199–314 tok/sestimation
RTX 4060 Ti 16 GB16 Go · 64 Go RAM~3,8 Go · 78–107 tok/s estimation	Excellent	~3,8 Go	78–107 tok/sestimation
RTX 4070 Ti SUPER16 Go · 64 Go RAM~3,8 Go · 155–232 tok/s estimation	Excellent	~3,8 Go	155–232 tok/sestimation
RX 9070 XT16 Go · 64 Go RAM~3,8 Go · 121–191 tok/s estimation	Excellent	~3,8 Go	121–191 tok/sestimation
RTX 3060 12 GB12 Go · 64 Go RAM~3,8 Go · 94–132 tok/s estimation	Excellent	~3,8 Go	94–132 tok/sestimation
RTX 407012 Go · 64 Go RAM~3,8 Go · 124–180 tok/s estimation	Excellent	~3,8 Go	124–180 tok/sestimation
RTX 507012 Go · 64 Go RAM~3,8 Go · 155–232 tok/s estimation	Excellent	~3,8 Go	155–232 tok/sestimation
RTX 40608 Go · 64 Go RAM~3,8 Go · 74–102 tok/s estimation	Excellent	~3,8 Go	74–102 tok/sestimation

Les Mac qui font tourner Llama 3.2 3B Instruct

Llama 3.2 3B Instruct Q4_K_M · contexte 8K

M3 Ultra (80-core GPU) · 512 GoMac Studio~3,6 Go · 136–304 tok/s estimation	Excellent	~3,6 Go	136–304 tok/sestimation
M4 Max (40-core GPU) · 128 GoMacBook Pro 14, MacBook Pro 16~3,6 Go · 104–203 tok/s estimation	Excellent	~3,6 Go	104–203 tok/sestimation
M3 Max (40-core GPU) · 128 GoMacBook Pro 14, MacBook Pro 16~3,6 Go · 82–148 tok/s estimation	Excellent	~3,6 Go	82–148 tok/sestimation
M4 Pro (20-core GPU) · 64 GoMac mini, MacBook Pro 14~3,6 Go · 61–101 tok/s estimation	Excellent	~3,6 Go	61–101 tok/sestimation
M4 Max (32-core GPU) · 36 GoMacBook Pro 14, MacBook Pro 16~3,6 Go · 84–152 tok/s estimation	Excellent	~3,6 Go	84–152 tok/sestimation
M4 · 32 GoMacBook Air, MacBook Pro 14~3,6 Go · 29–45 tok/s estimation	Excellent	~3,6 Go	29–45 tok/sestimation
M5 · 32 GoMacBook Pro 14~3,6 Go · 37–57 tok/s estimation	Excellent	~3,6 Go	37–57 tok/sestimation
M3 · 24 GoMacBook Air, MacBook Pro 14~3,6 Go · 25–37 tok/s estimation	Excellent	~3,6 Go	25–37 tok/sestimation

EstimationDonnées mises à jour il y a 24 joursSource: moteur Run LLM Locally

Les limites en clair

Le cache KV grandit avec le contexte : à 32K, il ajoute environ 3,5 Go aux poids.

Où acheter

Votre marché

Les prix et les liens suivent le marché choisi.

GeForce RTX 4060

NVIDIA

ExcellentFait tourner Llama 3.2 3B Instruct Q4_K_M entièrement en mémoire

Prix indisponible

Disponibilité inconnue

Voir sur amazon.fr

Lien affilié

Radeon RX 7600 XT

AMD

ExcellentFait tourner Llama 3.2 3B Instruct Q4_K_M entièrement en mémoire

Prix indisponible

Disponibilité inconnue

Voir sur amazon.fr

Lien affilié

AMD Ryzen AI Max+ 395

PC à mémoire unifiée

ExcellentFait tourner Llama 3.2 3B Instruct Q4_K_M entièrement en mémoire

Prix indisponible

Disponibilité inconnue

Voir sur amazon.fr

Lien affilié

Aucune offre importée pour ce marché : le lien ouvre une recherche sur la boutique.

Questions fréquentes

Combien de VRAM faut-il pour Llama 3.2 3B Instruct ?

Environ 3,7 Go en Q4_K_M avec un contexte de 8K, cache KV et surcoût compris. En Q8_0, il faut environ 5,1 Go. Un contexte plus long ajoute davantage : environ 3,5 Go de cache KV à 32K.

Llama 3.2 3B Instruct tourne-t-il sur Mac ?

Oui, sur un Mac dont le GPU peut utiliser au moins 3,6 Go, par exemple M3 24 Go. Par défaut, macOS laisse le GPU utiliser environ deux tiers à trois quarts de la mémoire unifiée.

À quelle vitesse tourne Llama 3.2 3B Instruct ?

Sur une RTX 4090, nous estimons 205–327 tok/s en Q4_K_M. C'est une estimation fondée sur la bande passante mémoire (confiance faible) tant que des benchmarks ne sont pas importés.