Qwen3 1.7B sur une RTX 4060

Avec ses 8 Go de VRAM, la RTX 4060 fait tourner Qwen3 1.7B en Q4_K_M entièrement sur le GPU avec un contexte de 8K (environ 3,1 Go nécessaires). En Q8_0, il tient entièrement.

PartagerFacebook X WhatsApp LinkedIn E-mail

Qwen3 1.7B

Q4_K_M · 8K contexte

Excellent

Le modèle demande environ 3,1 Go et tient dans les 7,7 Go disponibles, avec 4,5 Go de marge.

Votre matériel: RTX 4060 8 Go · 64 Go RAM
Mémoire estimée: ~3,1 Go estimation
VRAM (mémoire utilisable): 7,7 Go
GPU seul: Oui
Offload CPU/GPU: Non nécessaire
Vitesse de génération: 100–141 tok/s estimation
Plus grand contexte en mémoire rapide: 32K tokens

Répartition de la mémoire

~3,1 Go (2,8 Go–3,5 Go) nécessaires · estimation

Tient entièrement en VRAM · 4,5 Go libres

VRAM 8 Go

Poids du modèle1,2 Go
Cache KV0,9 Go
Surcoût runtime0,8 Go
Marge de sécurité0,3 Go

Hypothèses: contexte 8K tokens · cache KV f16 · llama.cpp (CUDA) · flash attention activée · poids = taille réelle du fichier

EstimationDonnées mises à jour il y a 24 joursSource: moteur Run LLM Locally, Hugging Face config.json + model card

Ce qui rend cette estimation moins fiable

pas encore de benchmark pour ce matériel et ce modèle

Les autres quantifications sur la RTX 4060

Qwen3 1.7B sur RTX 4060 + 64 Go de RAM · contexte 8K

Qwen3 1.7B Q8_08K~3,7 Go · 79–109 tok/s estimation	Excellent	~3,7 Go	79–109 tok/sestimation
Qwen3 1.7B Q6_K8K~3,5 Go · 84–117 tok/s estimation	Excellent	~3,5 Go	84–117 tok/sestimation
Qwen3 1.7B Q5_K_M8K~3,3 Go · 92–128 tok/s estimation	Excellent	~3,3 Go	92–128 tok/sestimation
Qwen3 1.7B Q4_K_M8K~3,1 Go · 100–141 tok/s estimation	Excellent	~3,1 Go	100–141 tok/sestimation
Qwen3 1.7B IQ4_XS8K~3 Go · 105–150 tok/s estimation	Excellent	~3 Go	105–150 tok/sestimation
Qwen3 1.7B Q3_K_M8K~2,9 Go · 111–159 tok/s estimation	Excellent	~2,9 Go	111–159 tok/sestimation

Alternatives

Les GPU qui font tourner Qwen3 1.7B Q4_K_M entièrement en VRAM

D'autres modèles adaptés à la RTX 4060

Où acheter une RTX 4060

Votre marché

Les prix et les liens suivent le marché choisi.

GeForce RTX 4060

8 Go GDDR6 · 272 Go/s · 115 W

ExcellentFait tourner Qwen3 1.7B Q4_K_M entièrement en mémoire

Prix indisponible

Disponibilité inconnue

Voir sur amazon.fr

Lien affilié

Aucune offre importée pour ce marché : le lien ouvre une recherche sur la boutique.

Questions fréquentes

La RTX 4060 peut-elle faire tourner Qwen3 1.7B ?

Le modèle demande environ 3,1 Go et tient dans les 7,7 Go disponibles, avec 4,5 Go de marge.

Quelle quantification choisir sur la RTX 4060 ?

Q8_0 est la quantification la plus précise qui tient entièrement en VRAM avec un contexte de 8K. ~3,7 Go / 7,7 Go.

Quel est le plus grand contexte possible sur la RTX 4060 ?

En Q4_K_M, environ 32K tokens tiennent entièrement en VRAM avec un cache KV en f16. Un cache KV en q8_0 double à peu près ce chiffre.

À quelle vitesse tourne Qwen3 1.7B (RTX 4060) ?

Nous estimons 100–141 tok/s (estimation, confiance faible). Basé sur : bande passante mémoire (272 Go/s) et taille du modèle.