Aller au contenu
Run LLM Locally

Qwen3 0.6B sur une RTX 3060 12 GB

Avec ses 12 Go de VRAM, la RTX 3060 12 GB fait tourner Qwen3 0.6B en Q4_K_M entièrement sur le GPU avec un contexte de 8K (environ 2,4 Go nécessaires). En Q8_0, il tient entièrement.

Qwen3 0.6B

Q4_K_M · 8K contexte

Excellent

Le modèle demande environ 2,4 Go et tient dans les 11,6 Go disponibles, avec 9,3 Go de marge.

Votre matériel
RTX 3060 12 GB · 64 Go RAM
Mémoire estimée
~2,4 Go estimation
VRAM (mémoire utilisable)
11,6 Go
GPU seul
Oui
Offload CPU/GPU
Non nécessaire
Vitesse de génération
196–308 tok/s estimation
Plus grand contexte en mémoire rapide
32K tokens
Confiance : faible

Basé sur : bande passante mémoire (360 Go/s) et taille du modèle

Répartition de la mémoire

~2,4 Go (2,1 Go–2,7 Go) nécessaires · estimation

Tient entièrement en VRAM · 9,3 Go libres

  • Poids du modèle0,5 Go
  • Cache KV0,9 Go
  • Surcoût runtime0,8 Go
  • Marge de sécurité0,3 Go
Hypothèses: contexte 8K tokens · cache KV f16 · llama.cpp (CUDA) · flash attention activée · poids = taille réelle du fichier

EstimationDonnées mises à jour il y a 24 joursSource: moteur Run LLM Locally, Hugging Face config.json + model card

Ce qui rend cette estimation moins fiable

  • pas encore de benchmark pour ce matériel et ce modèle

Les autres quantifications sur la RTX 3060 12 GB

Qwen3 0.6B sur RTX 3060 12 GB + 64 Go de RAM · contexte 8K
Qwen3 0.6B Q8_08K~2,5 Go · 177–272 tok/s estimationExcellent
Qwen3 0.6B Q6_K8K~2,5 Go · 178–275 tok/s estimationExcellent
Qwen3 0.6B Q5_K_M8K~2,4 Go · 187–291 tok/s estimationExcellent
Qwen3 0.6B Q4_K_M8K~2,4 Go · 196–308 tok/s estimationExcellent
Qwen3 0.6B IQ4_XS8K~2,3 Go · 201–318 tok/s estimationExcellent
Qwen3 0.6B Q3_K_M8K~2,3 Go · 206–328 tok/s estimationExcellent

Alternatives

Où acheter une RTX 3060 12 GB

Les prix et les liens suivent le marché choisi.

GeForce RTX 3060 12 GB

12 Go GDDR6 · 360 Go/s · 170 W

ExcellentFait tourner Qwen3 0.6B Q4_K_M entièrement en mémoire

Prix indisponible

Disponibilité inconnue

Voir sur amazon.fr

Lien affilié

Aucune offre importée pour ce marché : le lien ouvre une recherche sur la boutique.

Questions fréquentes

La RTX 3060 12 GB peut-elle faire tourner Qwen3 0.6B ?
Le modèle demande environ 2,4 Go et tient dans les 11,6 Go disponibles, avec 9,3 Go de marge.
Quelle quantification choisir sur la RTX 3060 12 GB ?
Q8_0 est la quantification la plus précise qui tient entièrement en VRAM avec un contexte de 8K. ~2,5 Go / 11,6 Go.
Quel est le plus grand contexte possible sur la RTX 3060 12 GB ?
En Q4_K_M, environ 32K tokens tiennent entièrement en VRAM avec un cache KV en f16. Un cache KV en q8_0 double à peu près ce chiffre.
À quelle vitesse tourne Qwen3 0.6B (RTX 3060 12 GB) ?
Nous estimons 196–308 tok/s (estimation, confiance faible). Basé sur : bande passante mémoire (360 Go/s) et taille du modèle.