RTX 6000 Ada Generation
NVIDIA
CompatibleFait tourner Llama 3.3 70B Instruct Q4_K_M entièrement en mémoire
Modèle · Meta
Llama 3.3 70B Instruct : VRAM et matériel nécessaires
En Q4_K_M avec un contexte de 8K, Llama 3.3 70B Instruct demande environ 45,8 Go : un GPU de 48 Go ou plus le fait tourner entièrement en VRAM.
- Paramètres70,6B
- Contexte max128K
- LicenceLlama 3.3 Community License
Caractéristiques
- Organisation
- Meta
- Architecture
- llama
- Sortie
- décembre 2024
- Couches
- 80
- Dimension cachée
- 8192
- Têtes d'attention
- 64
- Têtes KV
- 8
- Dimension par tête
- 128
- Vocabulaire
- 128 256
- Cache KV pour 1K tokens (f16)
- 0,313 Go
Spécification officielleDonnées mises à jour il y a 24 joursSource: Hugging Face config.json + model card
Quantifications et mémoire
| Quantification | Taille du fichier | Mémoire nécessaire | Mémoire GPU minimale | Qualité |
|---|---|---|---|---|
| BF16 | 131 Go | ~142 Go | – | Référence (non quantifié) |
| Q8_0 | 69,8 Go | ~76,8 Go | 80 Go | Quasi sans perte |
| Q6_K | 53,9 Go | ~60,2 Go | 80 Go | Quasi sans perte |
| Q5_K_M | 46,5 Go | ~52,7 Go | 80 Go | Très bonne |
| Q4_K_MLa plus utilisée | 39,6 Go | ~45,8 Go | 48 Go | Bonne — le choix courant |
| IQ4_XS | 35,3 Go | ~42 Go | 48 Go | Bonne — le choix courant |
| Q3_K_M | 31,9 Go | ~38 Go | 48 Go | Perte perceptible |
| Q2_K | 24,6 Go | ~30,8 Go | 32 Go | Perte importante |
Tailles de fichier : non disponibles tant qu'elles ne sont pas importées du dépôt du modèle. Mémoire = poids (estimés d'après les bits par poids) + cache KV + surcoût runtime + marge de sécurité. (BF16 ≈ 16 bpw, Q8_0 ≈ 8,5 bpw, Q6_K ≈ 6,57 bpw, Q5_K_M ≈ 5,7 bpw, Q4_K_M ≈ 4,9 bpw, IQ4_XS ≈ 4,46 bpw, Q3_K_M ≈ 4 bpw, Q2_K ≈ 3,17 bpw)
Q4, Q5 ou Q8 : comment choisir sa quantification
Les GPU qui font tourner Llama 3.3 70B Instruct
| RTX 509032 Go · 64 Go RAM~45,1 Go · 1,4–2,5 tok/s estimation | Possible mais lent |
|---|---|
| RTX 409024 Go · 64 Go RAM~45,1 Go · 0,9–1,7 tok/s estimation | Déconseillé |
| RTX 309024 Go · 64 Go RAM~45,1 Go · 0,9–1,7 tok/s estimation | Déconseillé |
| RX 7900 XTX24 Go · 64 Go RAM~45,1 Go · 0,9–1,7 tok/s estimation | Déconseillé |
| RTX 5060 Ti 16 GB16 Go · 64 Go RAM~45,1 Go · 0,7–1,3 tok/s estimation | Déconseillé |
| RTX 5070 Ti16 Go · 64 Go RAM~45,1 Go · 0,7–1,3 tok/s estimation | Déconseillé |
| RTX 508016 Go · 64 Go RAM~45,1 Go · 0,7–1,3 tok/s estimation | Déconseillé |
| RTX 4060 Ti 16 GB16 Go · 64 Go RAM~45,1 Go · 0,6–1,2 tok/s estimation | Déconseillé |
| RTX 4070 Ti SUPER16 Go · 64 Go RAM~45,1 Go · 0,7–1,3 tok/s estimation | Déconseillé |
| RX 9070 XT16 Go · 64 Go RAM~45,1 Go · 0,7–1,3 tok/s estimation | Déconseillé |
| RTX 3060 12 GB12 Go · 64 Go RAM~45,1 Go · 0,6–1,1 tok/s estimation | Déconseillé |
| RTX 407012 Go · 64 Go RAM~45,1 Go · 0,6–1,1 tok/s estimation | Déconseillé |
| RTX 507012 Go · 64 Go RAM~45,1 Go · 0,6–1,2 tok/s estimation | Déconseillé |
| RTX 40608 Go · 64 Go RAM~45,1 Go · 0,5–1 tok/s estimation | Déconseillé |
Les Mac qui font tourner Llama 3.3 70B Instruct
| M3 Ultra (80-core GPU) · 512 GoMac Studio~44,9 Go · 12–17 tok/s estimation | Excellent |
|---|---|
| M4 Max (40-core GPU) · 128 GoMacBook Pro 14, MacBook Pro 16~44,9 Go · 8–12 tok/s estimation | Compatible |
| M3 Max (40-core GPU) · 128 GoMacBook Pro 14, MacBook Pro 16~44,9 Go · 6–8,5 tok/s estimation | Compatible |
| M4 Pro (20-core GPU) · 64 GoMac mini, MacBook Pro 14~44,9 Go · 4–5,5 tok/s estimation | Compatible |
| M4 Max (32-core GPU) · 36 GoMacBook Pro 14, MacBook Pro 16~44,9 Go · Pas de données | Incompatible |
| M4 · 32 GoMacBook Air, MacBook Pro 14~44,9 Go · Pas de données | Incompatible |
| M5 · 32 GoMacBook Pro 14~44,9 Go · Pas de données | Incompatible |
| M3 · 24 GoMacBook Air, MacBook Pro 14~44,9 Go · Pas de données | Incompatible |
EstimationDonnées mises à jour il y a 24 joursSource: moteur Run LLM Locally
Les limites en clair
Le cache KV grandit avec le contexte : à 32K, il ajoute environ 10 Go aux poids.
Avec moins de 8 Go de VRAM, choisissez une quantification plus petite ou un modèle plus petit de la même famille.
Où acheter
Les prix et les liens suivent le marché choisi.
Radeon PRO W7900
AMD
CompatibleFait tourner Llama 3.3 70B Instruct Q4_K_M entièrement en mémoire
AMD Ryzen AI Max+ 395
PC à mémoire unifiée
CompatibleFait tourner Llama 3.3 70B Instruct Q4_K_M entièrement en mémoire
Aucune offre importée pour ce marché : le lien ouvre une recherche sur la boutique.
Questions fréquentes
Combien de VRAM faut-il pour Llama 3.3 70B Instruct ?
Environ 45,8 Go en Q4_K_M avec un contexte de 8K, cache KV et surcoût compris. En Q8_0, il faut environ 76,8 Go. Un contexte plus long ajoute davantage : environ 10 Go de cache KV à 32K.
Llama 3.3 70B Instruct tourne-t-il sur Mac ?
Oui, sur un Mac dont le GPU peut utiliser au moins 44,9 Go, par exemple M4 Pro (20-core GPU) 64 Go. Par défaut, macOS laisse le GPU utiliser environ deux tiers à trois quarts de la mémoire unifiée.
À quelle vitesse tourne Llama 3.3 70B Instruct ?
Sur une RTX 4090, nous estimons 0,9–1,7 tok/s en Q4_K_M. C'est une estimation fondée sur la bande passante mémoire (confiance faible) tant que des benchmarks ne sont pas importés.