Aller au contenu
Run LLM Locally

Llama 2 7B sur une RX 7900 XTX

Avec ses 24 Go de VRAM, la RX 7900 XTX fait tourner Llama 2 7B en Q4_0 entièrement sur le GPU avec un contexte de 8K (environ 6,6 Go nécessaires). En Q8_0, il tient entièrement.

PartagerFacebookXWhatsAppLinkedInE-mail

Llama 2 7B

Q4_0 · 4K contexte

Excellent

Le contexte demandé (8 192 tokens) dépasse celui du modèle ; 4 096 tokens ont été utilisés.

Le modèle demande environ 6,6 Go et tient dans les 23,3 Go disponibles, avec 16,7 Go de marge.

Votre matériel
RX 7900 XTX 24 Go · 64 Go RAM
Mémoire estimée
~6,6 Go estimation
VRAM (mémoire utilisable)
23,3 Go
GPU seul
Oui
Offload CPU/GPU
Non nécessaire
Vitesse de génération
90–133 tok/s estimation
Plus grand contexte en mémoire rapide
4K tokens
Confiance : moyenne

Basé sur : même matériel · même modèle · même quantification · 18 benchmark(s) · ajusté à la longueur de contexte

Répartition de la mémoire

~6,6 Go (6,1 Go–7,1 Go) nécessaires · estimation

Tient entièrement en VRAM · 16,7 Go libres

  • Poids du modèle3,6 Go
  • Cache KV2 Go
  • Surcoût runtime0,6 Go
  • Marge de sécurité0,3 Go
Hypothèses: contexte 4K tokens · cache KV f16 · llama.cpp (ROCm) · flash attention activée · poids estimés à 4,64 bits par poids × 6,74 Md de paramètres (taille réelle du fichier pas encore importée)

EstimationDonnées mises à jour il y a 24 joursSource: moteur Run LLM Locally, GGUF header of TheBloke/Llama-2-7B-GGUF (llama-2-7b.Q4_0.gguf) + Hugging Face API (parameter count)

Les autres quantifications sur la RX 7900 XTX

Llama 2 7B sur RX 7900 XTX + 64 Go de RAM · contexte 8K
Llama 2 7B Q8_04K~9,8 Go · 45–87 tok/s estimationExcellent

Alternatives

Les GPU qui font tourner Llama 2 7B Q4_0 entièrement en VRAM

D'autres modèles adaptés à la RX 7900 XTX

Où acheter une RX 7900 XTX

Les prix et les liens suivent le marché choisi.

Radeon RX 7900 XTX

24 Go GDDR6 · 960 Go/s · 355 W

ExcellentFait tourner Llama 2 7B Q4_0 entièrement en mémoire

Prix indisponible

Disponibilité inconnue

Voir sur amazon.fr

Lien affilié

Aucune offre importée pour ce marché : le lien ouvre une recherche sur la boutique.

Questions fréquentes

La RX 7900 XTX peut-elle faire tourner Llama 2 7B ?
Le contexte demandé (8 192 tokens) dépasse celui du modèle ; 4 096 tokens ont été utilisés. Le modèle demande environ 6,6 Go et tient dans les 23,3 Go disponibles, avec 16,7 Go de marge.
Quelle quantification choisir sur la RX 7900 XTX ?
Q8_0 est la quantification la plus précise qui tient entièrement en VRAM avec un contexte de 8K. ~9,8 Go / 23,3 Go.
Quel est le plus grand contexte possible sur la RX 7900 XTX ?
En Q4_0, environ 4K tokens tiennent entièrement en VRAM avec un cache KV en f16. Un cache KV en q8_0 double à peu près ce chiffre.
À quelle vitesse tourne Llama 2 7B (RX 7900 XTX) ?
Nous estimons 90–133 tok/s (estimation, confiance moyenne). Basé sur : même matériel, même modèle, même quantification, 18 benchmark(s), ajusté à la longueur de contexte.