Qwen3 8B sur une RX 9070 XT

Avec ses 16 Go de VRAM, la RX 9070 XT fait tourner Qwen3 8B en Q4_K_M entièrement sur le GPU avec un contexte de 8K (environ 7 Go nécessaires). En Q8_0, il tient entièrement.

PartagerFacebook X WhatsApp LinkedIn E-mail

Qwen3 8B

Q4_K_M · 8K contexte

Excellent

Le modèle demande environ 7 Go et tient dans les 15,5 Go disponibles, avec 8,5 Go de marge.

Votre matériel: RX 9070 XT 16 Go · 64 Go RAM
Mémoire estimée: ~7 Go estimation
VRAM (mémoire utilisable): 15,5 Go
GPU seul: Oui
Offload CPU/GPU: Non nécessaire
Vitesse de génération: 62–93 tok/s estimation
Plus grand contexte en mémoire rapide: 65K tokens

Répartition de la mémoire

~7 Go (6,5 Go–7,5 Go) nécessaires · estimation

Tient entièrement en VRAM · 8,5 Go libres

VRAM 16 Go

Poids du modèle4,7 Go
Cache KV1,1 Go
Surcoût runtime0,9 Go
Marge de sécurité0,3 Go

Hypothèses: contexte 8K tokens · cache KV f16 · llama.cpp (ROCm) · flash attention activée · poids = taille réelle du fichier

EstimationDonnées mises à jour il y a 24 joursSource: moteur Run LLM Locally, Hugging Face config.json + model card

Ce qui rend cette estimation moins fiable

pas encore de benchmark pour ce matériel et ce modèle

Les autres quantifications sur la RX 9070 XT

Qwen3 8B sur RX 9070 XT + 64 Go de RAM · contexte 8K

Qwen3 8B Q8_08K~10,6 Go · 41–59 tok/s estimation	Excellent	~10,6 Go	41–59 tok/sestimation
Qwen3 8B Q6_K8K~8,7 Go · 51–74 tok/s estimation	Excellent	~8,7 Go	51–74 tok/sestimation
Qwen3 8B Q5_K_M8K~7,8 Go · 56–83 tok/s estimation	Excellent	~7,8 Go	56–83 tok/sestimation
Qwen3 8B Q4_K_M8K~7 Go · 62–93 tok/s estimation	Excellent	~7 Go	62–93 tok/sestimation
Qwen3 8B IQ4_XS8K~6,5 Go · 67–100 tok/s estimation	Excellent	~6,5 Go	67–100 tok/sestimation
Qwen3 8B Q3_K_M8K~6,1 Go · 71–108 tok/s estimation	Excellent	~6,1 Go	71–108 tok/sestimation

Alternatives

Les GPU qui font tourner Qwen3 8B Q4_K_M entièrement en VRAM

D'autres modèles adaptés à la RX 9070 XT

Où acheter une RX 9070 XT

Votre marché

Les prix et les liens suivent le marché choisi.

Radeon RX 9070 XT

16 Go GDDR6 · 640 Go/s · 304 W

ExcellentFait tourner Qwen3 8B Q4_K_M entièrement en mémoire

Prix indisponible

Disponibilité inconnue

Voir sur amazon.fr

Lien affilié

Aucune offre importée pour ce marché : le lien ouvre une recherche sur la boutique.

Questions fréquentes

La RX 9070 XT peut-elle faire tourner Qwen3 8B ?

Le modèle demande environ 7 Go et tient dans les 15,5 Go disponibles, avec 8,5 Go de marge.

Quelle quantification choisir sur la RX 9070 XT ?

Q8_0 est la quantification la plus précise qui tient entièrement en VRAM avec un contexte de 8K. ~10,6 Go / 15,5 Go.

Quel est le plus grand contexte possible sur la RX 9070 XT ?

En Q4_K_M, environ 65K tokens tiennent entièrement en VRAM avec un cache KV en f16. Un cache KV en q8_0 double à peu près ce chiffre.

À quelle vitesse tourne Qwen3 8B (RX 9070 XT) ?

Nous estimons 62–93 tok/s (estimation, confiance faible). Basé sur : bande passante mémoire (640 Go/s) et taille du modèle.