GeForce RTX 3060 12 GB
NVIDIA
CompatibleFait tourner Qwen3 14B Q4_K_M entièrement en mémoire
Modèle · Alibaba Qwen
En Q4_K_M avec un contexte de 8K, Qwen3 14B demande environ 11 Go : un GPU de 12 Go ou plus le fait tourner entièrement en VRAM.
Spécification officielleDonnées mises à jour il y a 24 joursSource: Hugging Face config.json + model card
| Quantification | Taille du fichier | Mémoire nécessaire | Mémoire GPU minimale | Qualité |
|---|---|---|---|---|
| BF16 | 27,5 Go | ~31,1 Go | 48 Go | Référence (non quantifié) |
| Q8_0 | 14,6 Go | ~17,5 Go | 20 Go | Quasi sans perte |
| Q6_K | 11,3 Go | ~14,1 Go | 16 Go | Quasi sans perte |
| Q5_K_M | 9,8 Go | ~12,5 Go | 16 Go | Très bonne |
| Q4_K_MLa plus utilisée | 8,4 Go | ~11 Go | 12 Go | Bonne — le choix courant |
| IQ4_XS | 7,6 Go | ~10,2 Go | 11 Go | Bonne — le choix courant |
| Q3_K_M | 6,8 Go | ~9,4 Go | 10 Go | Perte perceptible |
| Q2_K | 5,4 Go | ~7,9 Go | 10 Go | Perte importante |
Tailles de fichier : non disponibles tant qu'elles ne sont pas importées du dépôt du modèle. Mémoire = poids (estimés d'après les bits par poids) + cache KV + surcoût runtime + marge de sécurité. (BF16 ≈ 16 bpw, Q8_0 ≈ 8,5 bpw, Q6_K ≈ 6,57 bpw, Q5_K_M ≈ 5,7 bpw, Q4_K_M ≈ 4,9 bpw, IQ4_XS ≈ 4,46 bpw, Q3_K_M ≈ 4 bpw, Q2_K ≈ 3,17 bpw)
Q4, Q5 ou Q8 : comment choisir sa quantification
| RTX 509032 Go · 64 Go RAM~11 Go · 107–160 tok/s estimation | Excellent |
|---|---|
| RTX 409024 Go · 64 Go RAM~11 Go · 68–95 tok/s estimation | Excellent |
| RTX 309024 Go · 64 Go RAM~11 Go · 63–89 tok/s estimation | Excellent |
| RX 7900 XTX24 Go · 64 Go RAM~11 Go · 55–82 tok/s estimation | Excellent |
| RTX 5060 Ti 16 GB16 Go · 64 Go RAM~11 Go · 33–44 tok/s estimation | Excellent |
| RTX 5070 Ti16 Go · 64 Go RAM~11 Go · 61–85 tok/s estimation | Excellent |
| RTX 508016 Go · 64 Go RAM~11 Go · 65–91 tok/s estimation | Excellent |
| RTX 4060 Ti 16 GB16 Go · 64 Go RAM~11 Go · 22–29 tok/s estimation | Excellent |
| RTX 4070 Ti SUPER16 Go · 64 Go RAM~11 Go · 48–65 tok/s estimation | Excellent |
| RX 9070 XT16 Go · 64 Go RAM~11 Go · 39–57 tok/s estimation | Excellent |
| RTX 3060 12 GB12 Go · 64 Go RAM~11 Go · 27–36 tok/s estimation | Compatible |
| RTX 407012 Go · 64 Go RAM~11 Go · 37–49 tok/s estimation | Compatible |
| RTX 507012 Go · 64 Go RAM~11 Go · 48–65 tok/s estimation | Compatible |
| RTX 40608 Go · 64 Go RAM~11 Go · 5–10 tok/s estimation | Offload CPU/GPU |
| M3 Ultra (80-core GPU) · 512 GoMac Studio~10,8 Go · 46–78 tok/s estimation | Excellent |
|---|---|
| M4 Max (40-core GPU) · 128 GoMacBook Pro 14, MacBook Pro 16~10,8 Go · 33–52 tok/s estimation | Excellent |
| M3 Max (40-core GPU) · 128 GoMacBook Pro 14, MacBook Pro 16~10,8 Go · 25–38 tok/s estimation | Excellent |
| M4 Pro (20-core GPU) · 64 GoMac mini, MacBook Pro 14~10,8 Go · 18–26 tok/s estimation | Excellent |
| M4 Max (32-core GPU) · 36 GoMacBook Pro 14, MacBook Pro 16~10,8 Go · 25–39 tok/s estimation | Excellent |
| M5 · 32 GoMacBook Pro 14~10,8 Go · 10–15 tok/s estimation | Excellent |
| M4 · 32 GoMacBook Air, MacBook Pro 14~10,8 Go · 8–12 tok/s estimation | Compatible |
| M3 · 24 GoMacBook Air, MacBook Pro 14~10,8 Go · 6,5–9,5 tok/s estimation | Compatible |
EstimationDonnées mises à jour il y a 24 joursSource: moteur Run LLM Locally
Le cache KV grandit avec le contexte : à 32K, il ajoute environ 5 Go aux poids.
Avec moins de 8 Go de VRAM, choisissez une quantification plus petite ou un modèle plus petit de la même famille.
Les prix et les liens suivent le marché choisi.
NVIDIA
CompatibleFait tourner Qwen3 14B Q4_K_M entièrement en mémoire
AMD
ExcellentFait tourner Qwen3 14B Q4_K_M entièrement en mémoire
Apple Silicon
CompatibleFait tourner Qwen3 14B Q4_K_M entièrement en mémoire
PC à mémoire unifiée
ExcellentFait tourner Qwen3 14B Q4_K_M entièrement en mémoire
Aucune offre importée pour ce marché : le lien ouvre une recherche sur la boutique.