Mistral 7B Instruct v0.3 sur une RX 7900 XTX

Avec ses 24 Go de VRAM, la RX 7900 XTX fait tourner Mistral 7B Instruct v0.3 en Q4_K_M entièrement sur le GPU avec un contexte de 8K (environ 6 Go nécessaires). En Q8_0, il tient entièrement.

PartagerFacebook X WhatsApp LinkedIn E-mail

Mistral 7B Instruct v0.3

Q4_K_M · 8K contexte

Excellent

Le modèle demande environ 6 Go et tient dans les 23,3 Go disponibles, avec 17,3 Go de marge.

Votre matériel: RX 7900 XTX 24 Go · 64 Go RAM
Mémoire estimée: ~6 Go estimation
VRAM (mémoire utilisable): 23,3 Go
GPU seul: Oui
Offload CPU/GPU: Non nécessaire
Vitesse de génération: 96–149 tok/s estimation
Plus grand contexte en mémoire rapide: 32K tokens

Répartition de la mémoire

~6 Go (5,7 Go–6,4 Go) nécessaires · estimation

Tient entièrement en VRAM · 17,3 Go libres

VRAM 23 Go

Poids du modèle4,1 Go
Cache KV1 Go
Surcoût runtime0,6 Go
Marge de sécurité0,3 Go

Hypothèses: contexte 8K tokens · cache KV f16 · llama.cpp (ROCm) · flash attention activée · poids = taille réelle du fichier

EstimationDonnées mises à jour il y a 24 joursSource: moteur Run LLM Locally, Hugging Face config.json + model card

Ce qui rend cette estimation moins fiable

pas encore de benchmark pour ce matériel et ce modèle

Les autres quantifications sur la RX 7900 XTX

Mistral 7B Instruct v0.3 sur RX 7900 XTX + 64 Go de RAM · contexte 8K

Mistral 7B Instruct v0.3 Q8_08K~9,2 Go · 65–96 tok/s estimation	Excellent	~9,2 Go	65–96 tok/sestimation
Mistral 7B Instruct v0.3 Q6_K8K~7,5 Go · 79–119 tok/s estimation	Excellent	~7,5 Go	79–119 tok/sestimation
Mistral 7B Instruct v0.3 Q5_K_M8K~6,7 Go · 87–133 tok/s estimation	Excellent	~6,7 Go	87–133 tok/sestimation
Mistral 7B Instruct v0.3 Q4_K_M8K~6 Go · 96–149 tok/s estimation	Excellent	~6 Go	96–149 tok/sestimation
Mistral 7B Instruct v0.3 IQ4_XS8K~5,6 Go · 103–162 tok/s estimation	Excellent	~5,6 Go	103–162 tok/sestimation
Mistral 7B Instruct v0.3 Q3_K_M8K~5,2 Go · 109–174 tok/s estimation	Excellent	~5,2 Go	109–174 tok/sestimation

Alternatives

Les GPU qui font tourner Mistral 7B Instruct v0.3 Q4_K_M entièrement en VRAM

D'autres modèles adaptés à la RX 7900 XTX

Où acheter une RX 7900 XTX

Votre marché

Les prix et les liens suivent le marché choisi.

Radeon RX 7900 XTX

24 Go GDDR6 · 960 Go/s · 355 W

ExcellentFait tourner Mistral 7B Instruct v0.3 Q4_K_M entièrement en mémoire

Prix indisponible

Disponibilité inconnue

Voir sur amazon.fr

Lien affilié

Aucune offre importée pour ce marché : le lien ouvre une recherche sur la boutique.

Questions fréquentes

La RX 7900 XTX peut-elle faire tourner Mistral 7B Instruct v0.3 ?

Le modèle demande environ 6 Go et tient dans les 23,3 Go disponibles, avec 17,3 Go de marge.

Quelle quantification choisir sur la RX 7900 XTX ?

Q8_0 est la quantification la plus précise qui tient entièrement en VRAM avec un contexte de 8K. ~9,2 Go / 23,3 Go.

Quel est le plus grand contexte possible sur la RX 7900 XTX ?

En Q4_K_M, environ 32K tokens tiennent entièrement en VRAM avec un cache KV en f16. Un cache KV en q8_0 double à peu près ce chiffre.

À quelle vitesse tourne Mistral 7B Instruct v0.3 (RX 7900 XTX) ?

Nous estimons 96–149 tok/s (estimation, confiance faible). Basé sur : bande passante mémoire (960 Go/s) et taille du modèle.