GeForce RTX 5090
NVIDIA
ExcellentFait tourner Qwen3.6 35B-A3B Q4_K_M entièrement en mémoire
Modèle · Alibaba Qwen
Qwen3.6 35B-A3B : VRAM et matériel nécessaires
En Q4_K_M avec un contexte de 8K, Qwen3.6 35B-A3B demande environ 22,8 Go : un GPU de 24 Go ou plus le fait tourner entièrement en VRAM.
- Paramètres36B
- Actifs3B
- Contexte max256K
- LicenceApache-2.0
Caractéristiques
- Organisation
- Alibaba Qwen
- Architecture
- qwen3_5_moe
- Sortie
- avril 2026
- Couches
- 40
- Dimension cachée
- 2048
- Têtes d'attention
- 16
- Têtes KV
- 2
- Dimension par tête
- 256
- Vocabulaire
- 248 320
- Cache KV pour 1K tokens (f16)
- 0,081 Go
- Dépôt
- Qwen/Qwen3.6-35B-A3B
Spécification officielleDonnées mises à jour aujourd’huiSource: Hugging Face config.json + model card
Quantifications et mémoire
| Quantification | Taille du fichier | Mémoire nécessaire | Mémoire GPU minimale | Qualité |
|---|---|---|---|---|
| BF16 | 66,2 Go | ~71,5 Go | 80 Go | Référence (non quantifié) |
| Q8_0 | 35,2 Go | ~38,6 Go | 48 Go | Quasi sans perte |
| Q6_K | 28,8 Go | ~30,1 Go | 48 Go | Quasi sans perte |
| Q5_K_M | 24,1 Go | ~26,3 Go | 32 Go | Très bonne |
| Q4_K_MLa plus utilisée | 20,8 Go | ~22,8 Go | 24 Go | Bonne — le choix courant |
| IQ4_XS | 18,3 Go | ~20,8 Go | 24 Go | Bonne — le choix courant |
| Q3_K_M | 15,9 Go | ~18,8 Go | 20 Go | Perte perceptible |
| Q2_K | 12,6 Go | ~15,2 Go | 16 Go | Perte importante |
Tailles de fichier : non disponibles tant qu'elles ne sont pas importées du dépôt du modèle. Mémoire = poids (estimés d'après les bits par poids) + cache KV + surcoût runtime + marge de sécurité. (BF16 ≈ 16 bpw, Q8_0 ≈ 8,5 bpw, Q6_K ≈ 6,57 bpw, Q5_K_M ≈ 5,7 bpw, Q4_K_M ≈ 4,9 bpw, IQ4_XS ≈ 4,46 bpw, Q3_K_M ≈ 4 bpw, Q2_K ≈ 3,17 bpw)
Q4, Q5 ou Q8 : comment choisir sa quantification
Les GPU qui font tourner Qwen3.6 35B-A3B
| RTX 509032 Go · 64 Go RAM~23 Go · 188–343 tok/s estimation | Excellent |
|---|---|
| RTX 409024 Go · 64 Go RAM~23 Go · 151–254 tok/s estimation | Compatible avec limites |
| RTX 309024 Go · 64 Go RAM~23 Go · 145–243 tok/s estimation | Compatible avec limites |
| RX 7900 XTX24 Go · 64 Go RAM~23,1 Go · 98–181 tok/s estimation | Compatible avec limites |
| RTX 5060 Ti 16 GB16 Go · 64 Go RAM~23 Go · 23–46 tok/s estimation | Offload CPU/GPU |
| RTX 5070 Ti16 Go · 64 Go RAM~23 Go · 25–50 tok/s estimation | Offload CPU/GPU |
| RTX 508016 Go · 64 Go RAM~23 Go · 25–50 tok/s estimation | Offload CPU/GPU |
| RTX 4060 Ti 16 GB16 Go · 64 Go RAM~23 Go · 22–42 tok/s estimation | Offload CPU/GPU |
| RTX 4070 Ti SUPER16 Go · 64 Go RAM~23 Go · 24–48 tok/s estimation | Offload CPU/GPU |
| RX 9070 XT16 Go · 64 Go RAM~23,1 Go · 22–45 tok/s estimation | Offload CPU/GPU |
| RTX 3060 12 GB12 Go · 64 Go RAM~23 Go · 17–33 tok/s estimation | Offload CPU/GPU |
| RTX 407012 Go · 64 Go RAM~23 Go · 18–34 tok/s estimation | Offload CPU/GPU |
| RTX 507012 Go · 64 Go RAM~23 Go · 18–35 tok/s estimation | Offload CPU/GPU |
| RTX 40608 Go · 64 Go RAM~23 Go · 13–26 tok/s estimation | Possible mais lent |
Les Mac qui font tourner Qwen3.6 35B-A3B
| M3 Ultra (80-core GPU) · 512 GoMac Studio~22,8 Go · 73–135 tok/s estimation | Excellent |
|---|---|
| M4 Max (40-core GPU) · 128 GoMacBook Pro 14, MacBook Pro 16~22,8 Go · 64–112 tok/s estimation | Excellent |
| M3 Max (40-core GPU) · 128 GoMacBook Pro 14, MacBook Pro 16~22,8 Go · 56–95 tok/s estimation | Excellent |
| M4 Pro (20-core GPU) · 64 GoMac mini, MacBook Pro 14~22,8 Go · 46–75 tok/s estimation | Excellent |
| M4 Max (32-core GPU) · 36 GoMacBook Pro 14, MacBook Pro 16~22,8 Go · 56–96 tok/s estimation | Compatible |
| M4 · 32 GoMacBook Air, MacBook Pro 14~22,8 Go · Pas de données | Compatible avec limites |
| M5 · 32 GoMacBook Pro 14~22,8 Go · Pas de données | Compatible avec limites |
| M3 · 24 GoMacBook Air, MacBook Pro 14~22,8 Go · Pas de données | Incompatible |
EstimationDonnées mises à jour il y a 40 joursSource: moteur Run LLM Locally
Les limites en clair
Qwen3.6 35B-A3B est un modèle à mélange d'experts : ses 36 Md de paramètres doivent tous être en mémoire, mais seuls 3 Md sont lus par token ; il génère donc bien plus vite qu'un modèle dense de même taille.
Le cache KV grandit avec le contexte : à 32K, il ajoute environ 0,7 Go aux poids.
Avec moins de 8 Go de VRAM, choisissez une quantification plus petite ou un modèle plus petit de la même famille.
Où acheter
Les prix et les liens suivent le marché choisi.
Radeon PRO W7900
AMD
ExcellentFait tourner Qwen3.6 35B-A3B Q4_K_M entièrement en mémoire
MacBook Pro 14 M3 Pro
Apple Silicon
CompatibleFait tourner Qwen3.6 35B-A3B Q4_K_M entièrement en mémoire
AMD Ryzen AI Max+ 395
PC à mémoire unifiée
CompatibleFait tourner Qwen3.6 35B-A3B Q4_K_M entièrement en mémoire
Aucune offre importée pour ce marché : le lien ouvre une recherche sur la boutique.
Questions fréquentes
Combien de VRAM faut-il pour Qwen3.6 35B-A3B ?
Environ 22,8 Go en Q4_K_M avec un contexte de 8K, cache KV et surcoût compris. En Q8_0, il faut environ 38,6 Go. Un contexte plus long ajoute davantage : environ 0,7 Go de cache KV à 32K.
Qwen3.6 35B-A3B tourne-t-il sur Mac ?
Oui, sur un Mac dont le GPU peut utiliser au moins 22,8 Go, par exemple M4 32 Go. Par défaut, macOS laisse le GPU utiliser environ deux tiers à trois quarts de la mémoire unifiée.
À quelle vitesse tourne Qwen3.6 35B-A3B ?
Sur une RTX 4090, nous estimons 151–254 tok/s en Q4_K_M. C'est une estimation fondée sur la bande passante mémoire (confiance faible) tant que des benchmarks ne sont pas importés.