Aller au contenu
Run LLM Locally

Olmo 3.1 32B Instruct sur une RX 7900 XTX

Avec ses 24 Go de VRAM, la RX 7900 XTX fait tourner Olmo 3.1 32B Instruct en Q4_K_M entièrement sur le GPU avec un contexte de 8K (environ 21,2 Go nécessaires). En Q8_0, il ne tient pas en VRAM.

PartagerFacebookXWhatsAppLinkedInE-mail

Olmo 3.1 32B Instruct

Q4_K_M · 8K contexte

Compatible

Le modèle demande environ 21,2 Go et tient dans les 23,3 Go disponibles (2,1 Go restants).

Votre matériel
RX 7900 XTX 24 Go · 64 Go RAM
Mémoire estimée
~21,2 Go estimation
VRAM (mémoire utilisable)
23,3 Go
GPU seul
Oui
Offload CPU/GPU
Non nécessaire
Vitesse de génération
28–40 tok/s estimation
Plus grand contexte en mémoire rapide
40K tokens
Confiance : faible

Basé sur : bande passante mémoire (960 Go/s) et taille du modèle

Répartition de la mémoire

~21,2 Go (20,5 Go–21,9 Go) nécessaires · estimation

Tient entièrement en VRAM · 2,1 Go libres

  • Poids du modèle18,1 Go
  • Cache KV1,3 Go
  • Surcoût runtime0,8 Go
  • Marge de sécurité1 Go
Hypothèses: contexte 8K tokens · cache KV f16 · llama.cpp (ROCm) · flash attention activée · poids = taille réelle du fichier · les couches à fenêtre glissante gardent 4 096 tokens

EstimationDonnées mises à jour il y a 40 joursSource: moteur Run LLM Locally, Hugging Face config.json + model card

Ce qui rend cette estimation moins fiable

  • pas encore de benchmark pour ce matériel et ce modèle

Les autres quantifications sur la RX 7900 XTX

Olmo 3.1 32B Instruct sur RX 7900 XTX + 64 Go de RAM · contexte 8K
Olmo 3.1 32B Instruct Q8_08K~35,6 Go · 1,5–3 tok/s estimationPossible mais lent
Olmo 3.1 32B Instruct Q6_K8K~28 Go · 3,5–7 tok/s estimationOffload CPU/GPU
Olmo 3.1 32B Instruct Q5_K_M8K~24,5 Go · 9,5–18 tok/s estimationOffload CPU/GPU
Olmo 3.1 32B Instruct Q4_K_M8K~21,2 Go · 28–40 tok/s estimationCompatible
Olmo 3.1 32B Instruct IQ4_XS8K~19,1 Go · 30–45 tok/s estimationExcellent
Olmo 3.1 32B Instruct Q3_K_M8K~17,4 Go · 33–49 tok/s estimationExcellent

Alternatives

Les GPU qui font tourner Olmo 3.1 32B Instruct Q4_K_M entièrement en VRAM

D'autres modèles adaptés à la RX 7900 XTX

Où acheter une RX 7900 XTX

Les prix et les liens suivent le marché choisi.

Radeon RX 7900 XTX

24 Go GDDR6 · 960 Go/s · 355 W

CompatibleFait tourner Olmo 3.1 32B Instruct Q4_K_M entièrement en mémoire

Prix indisponible

Disponibilité inconnue

Voir sur amazon.fr

Lien affilié

Aucune offre importée pour ce marché : le lien ouvre une recherche sur la boutique.

Questions fréquentes

La RX 7900 XTX peut-elle faire tourner Olmo 3.1 32B Instruct ?
Le modèle demande environ 21,2 Go et tient dans les 23,3 Go disponibles (2,1 Go restants).
Quelle quantification choisir sur la RX 7900 XTX ?
Q4_K_M est la quantification la plus précise qui tient entièrement en VRAM avec un contexte de 8K. ~21,2 Go / 23,3 Go.
Quel est le plus grand contexte possible sur la RX 7900 XTX ?
En Q4_K_M, environ 40K tokens tiennent entièrement en VRAM avec un cache KV en f16. Un cache KV en q8_0 double à peu près ce chiffre.
À quelle vitesse tourne Olmo 3.1 32B Instruct (RX 7900 XTX) ?
Nous estimons 28–40 tok/s (estimation, confiance faible). Basé sur : bande passante mémoire (960 Go/s) et taille du modèle.