Aller au contenu
Run LLM Locally

Llama 3.1 8B Instruct sur une RTX 5090

Avec ses 32 Go de VRAM, la RTX 5090 fait tourner Llama 3.1 8B Instruct en Q4_K_M entièrement sur le GPU avec un contexte de 8K (environ 6,7 Go nécessaires). En Q8_0, il tient entièrement.

PartagerFacebookXWhatsAppLinkedInE-mail

Llama 3.1 8B Instruct

Q4_K_M · 8K contexte

Excellent

Le modèle demande environ 6,7 Go et tient dans les 31 Go disponibles, avec 24,4 Go de marge.

Votre matériel
RTX 5090 32 Go · 64 Go RAM
Mémoire estimée
~6,7 Go estimation
VRAM (mémoire utilisable)
31 Go
GPU seul
Oui
Offload CPU/GPU
Non nécessaire
Vitesse de génération
171–269 tok/s estimation
Plus grand contexte en mémoire rapide
128K tokens
Confiance : faible

Basé sur : bande passante mémoire (1 792 Go/s) et taille du modèle

Répartition de la mémoire

~6,7 Go (6,2 Go–7,1 Go) nécessaires · estimation

Tient entièrement en VRAM · 24,4 Go libres

  • Poids du modèle4,6 Go
  • Cache KV1 Go
  • Surcoût runtime0,8 Go
  • Marge de sécurité0,3 Go
Hypothèses: contexte 8K tokens · cache KV f16 · llama.cpp (CUDA) · flash attention activée · poids = taille réelle du fichier

EstimationDonnées mises à jour il y a 24 joursSource: moteur Run LLM Locally, Hugging Face config.json + model card

Ce qui rend cette estimation moins fiable

  • pas encore de benchmark pour ce matériel et ce modèle

Les autres quantifications sur la RTX 5090

Llama 3.1 8B Instruct sur RTX 5090 + 64 Go de RAM · contexte 8K
Llama 3.1 8B Instruct Q8_08K~10,2 Go · 118–173 tok/s estimationExcellent
Llama 3.1 8B Instruct Q6_K8K~8,3 Go · 141–214 tok/s estimationExcellent
Llama 3.1 8B Instruct Q5_K_M8K~7,5 Go · 155–239 tok/s estimationExcellent
Llama 3.1 8B Instruct Q4_K_M8K~6,7 Go · 171–269 tok/s estimationExcellent
Llama 3.1 8B Instruct IQ4_XS8K~6,2 Go · 181–289 tok/s estimationExcellent
Llama 3.1 8B Instruct Q3_K_M8K~5,8 Go · 192–311 tok/s estimationExcellent

Alternatives

Les GPU qui font tourner Llama 3.1 8B Instruct Q4_K_M entièrement en VRAM

D'autres modèles adaptés à la RTX 5090

Où acheter une RTX 5090

Les prix et les liens suivent le marché choisi.

GeForce RTX 5090

32 Go GDDR7 · 1 792 Go/s · 575 W

ExcellentFait tourner Llama 3.1 8B Instruct Q4_K_M entièrement en mémoire

Prix indisponible

Disponibilité inconnue

Voir sur amazon.fr

Lien affilié

Aucune offre importée pour ce marché : le lien ouvre une recherche sur la boutique.

Questions fréquentes

La RTX 5090 peut-elle faire tourner Llama 3.1 8B Instruct ?
Le modèle demande environ 6,7 Go et tient dans les 31 Go disponibles, avec 24,4 Go de marge.
Quelle quantification choisir sur la RTX 5090 ?
Q8_0 est la quantification la plus précise qui tient entièrement en VRAM avec un contexte de 8K. ~10,2 Go / 31 Go.
Quel est le plus grand contexte possible sur la RTX 5090 ?
En Q4_K_M, environ 128K tokens tiennent entièrement en VRAM avec un cache KV en f16. Un cache KV en q8_0 double à peu près ce chiffre.
À quelle vitesse tourne Llama 3.1 8B Instruct (RTX 5090) ?
Nous estimons 171–269 tok/s (estimation, confiance faible). Basé sur : bande passante mémoire (1 792 Go/s) et taille du modèle.