Aller au contenu
Run LLM Locally

Modèle · Alibaba Qwen

Qwen3 4B : VRAM et matériel nécessaires

En Q4_K_M avec un contexte de 8K, Qwen3 4B demande environ 4,5 Go : un GPU de 8 Go ou plus le fait tourner entièrement en VRAM.

  • Paramètres4B
  • Contexte max128K
  • LicenceApache-2.0

Caractéristiques

Organisation
Alibaba Qwen
Architecture
qwen3
Sortie
avril 2025
Couches
36
Dimension cachée
2560
Têtes d'attention
32
Têtes KV
8
Dimension par tête
128
Vocabulaire
151 936
Cache KV pour 1K tokens (f16)
0,141 Go

Spécification officielleDonnées mises à jour il y a 24 joursSource: Hugging Face config.json + model card

Quantifications et mémoire

Qwen3 4B : mémoire par quantification, contexte 8K
QuantificationTaille du fichierMémoire nécessaireMémoire GPU minimaleQualité
BF167,5 Go~9,8 Go11 GoRéférence (non quantifié)
Q8_04 Go~6,2 Go8 GoQuasi sans perte
Q6_K3,1 Go~5,3 Go8 GoQuasi sans perte
Q5_K_M2,7 Go~4,9 Go8 GoTrès bonne
Q4_K_MLa plus utilisée2,3 Go~4,5 Go8 GoBonne — le choix courant
IQ4_XS2,1 Go~4,3 Go8 GoBonne — le choix courant
Q3_K_M1,9 Go~4,1 Go8 GoPerte perceptible
Q2_K1,6 Go~3,7 Go8 GoPerte importante

Tailles de fichier : non disponibles tant qu'elles ne sont pas importées du dépôt du modèle. Mémoire = poids (estimés d'après les bits par poids) + cache KV + surcoût runtime + marge de sécurité. (BF16 ≈ 16 bpw, Q8_0 ≈ 8,5 bpw, Q6_K ≈ 6,57 bpw, Q5_K_M ≈ 5,7 bpw, Q4_K_M ≈ 4,9 bpw, IQ4_XS ≈ 4,46 bpw, Q3_K_M ≈ 4 bpw, Q2_K ≈ 3,17 bpw)

Q4, Q5 ou Q8 : comment choisir sa quantification

Les GPU qui font tourner Qwen3 4B

Qwen3 4B Q4_K_M · contexte 8K, un GPU
RTX 509032 Go · 64 Go RAM~4,5 Go · 227–405 tok/s estimationExcellent
RTX 409024 Go · 64 Go RAM~4,5 Go · 163–261 tok/s estimationExcellent
RTX 309024 Go · 64 Go RAM~4,5 Go · 155–245 tok/s estimationExcellent
RX 7900 XTX24 Go · 64 Go RAM~4,6 Go · 123–206 tok/s estimationExcellent
RTX 5060 Ti 16 GB16 Go · 64 Go RAM~4,5 Go · 90–129 tok/s estimationExcellent
RTX 5070 Ti16 Go · 64 Go RAM~4,5 Go · 151–237 tok/s estimationExcellent
RTX 508016 Go · 64 Go RAM~4,5 Go · 158–251 tok/s estimationExcellent
RTX 4060 Ti 16 GB16 Go · 64 Go RAM~4,5 Go · 62–86 tok/s estimationExcellent
RTX 4070 Ti SUPER16 Go · 64 Go RAM~4,5 Go · 123–185 tok/s estimationExcellent
RX 9070 XT16 Go · 64 Go RAM~4,6 Go · 96–152 tok/s estimationExcellent
RTX 3060 12 GB12 Go · 64 Go RAM~4,5 Go · 75–106 tok/s estimationExcellent
RTX 407012 Go · 64 Go RAM~4,5 Go · 99–144 tok/s estimationExcellent
RTX 507012 Go · 64 Go RAM~4,5 Go · 123–185 tok/s estimationExcellent
RTX 40608 Go · 64 Go RAM~4,5 Go · 59–82 tok/s estimationExcellent

Les Mac qui font tourner Qwen3 4B

Qwen3 4B Q4_K_M · contexte 8K
M3 Ultra (80-core GPU) · 512 GoMac Studio~4,3 Go · 108–244 tok/s estimationExcellent
M4 Max (40-core GPU) · 128 GoMacBook Pro 14, MacBook Pro 16~4,3 Go · 82–163 tok/s estimationExcellent
M3 Max (40-core GPU) · 128 GoMacBook Pro 14, MacBook Pro 16~4,3 Go · 66–119 tok/s estimationExcellent
M4 Pro (20-core GPU) · 64 GoMac mini, MacBook Pro 14~4,3 Go · 48–81 tok/s estimationExcellent
M4 Max (32-core GPU) · 36 GoMacBook Pro 14, MacBook Pro 16~4,3 Go · 67–122 tok/s estimationExcellent
M4 · 32 GoMacBook Air, MacBook Pro 14~4,3 Go · 24–36 tok/s estimationExcellent
M5 · 32 GoMacBook Pro 14~4,3 Go · 29–46 tok/s estimationExcellent
M3 · 24 GoMacBook Air, MacBook Pro 14~4,3 Go · 20–30 tok/s estimationExcellent

EstimationDonnées mises à jour il y a 24 joursSource: moteur Run LLM Locally

Les limites en clair

Le cache KV grandit avec le contexte : à 32K, il ajoute environ 4,5 Go aux poids.

Où acheter

Les prix et les liens suivent le marché choisi.

GeForce RTX 4060

NVIDIA

ExcellentFait tourner Qwen3 4B Q4_K_M entièrement en mémoire

Prix indisponible

Disponibilité inconnue

Voir sur amazon.fr

Lien affilié

Radeon RX 7600 XT

AMD

ExcellentFait tourner Qwen3 4B Q4_K_M entièrement en mémoire

Prix indisponible

Disponibilité inconnue

Voir sur amazon.fr

Lien affilié

AMD Ryzen AI Max+ 395

PC à mémoire unifiée

ExcellentFait tourner Qwen3 4B Q4_K_M entièrement en mémoire

Prix indisponible

Disponibilité inconnue

Voir sur amazon.fr

Lien affilié

Aucune offre importée pour ce marché : le lien ouvre une recherche sur la boutique.

Questions fréquentes

Combien de VRAM faut-il pour Qwen3 4B ?
Environ 4,5 Go en Q4_K_M avec un contexte de 8K, cache KV et surcoût compris. En Q8_0, il faut environ 6,2 Go. Un contexte plus long ajoute davantage : environ 4,5 Go de cache KV à 32K.
Qwen3 4B tourne-t-il sur Mac ?
Oui, sur un Mac dont le GPU peut utiliser au moins 4,3 Go, par exemple M3 24 Go. Par défaut, macOS laisse le GPU utiliser environ deux tiers à trois quarts de la mémoire unifiée.
À quelle vitesse tourne Qwen3 4B ?
Sur une RTX 4090, nous estimons 163–261 tok/s en Q4_K_M. C'est une estimation fondée sur la bande passante mémoire (confiance faible) tant que des benchmarks ne sont pas importés.