Granite 4.2 8B sur une RTX 4090

Avec ses 24 Go de VRAM, la RTX 4090 fait tourner Granite 4.2 8B en Q4_K_M entièrement sur le GPU avec un contexte de 8K (environ 7,3 Go nécessaires). En Q8_0, il tient entièrement.

PartagerFacebook X WhatsApp LinkedIn E-mail

Granite 4.2 8B

Q4_K_M · 8K contexte

Excellent

Le modèle demande environ 7,3 Go et tient dans les 23,3 Go disponibles, avec 16 Go de marge.

Votre matériel: RTX 4090 24 Go · 64 Go RAM
Mémoire estimée: ~7,3 Go estimation
VRAM (mémoire utilisable): 23,3 Go
GPU seul: Oui
Offload CPU/GPU: Non nécessaire
Vitesse de génération: 99–146 tok/s estimation
Plus grand contexte en mémoire rapide: 105K tokens

Répartition de la mémoire

~7,3 Go (6,9 Go–7,7 Go) nécessaires · estimation

Tient entièrement en VRAM · 16 Go libres

VRAM 23 Go

Poids du modèle5 Go
Cache KV1,3 Go
Surcoût runtime0,7 Go
Marge de sécurité0,3 Go

Hypothèses: contexte 8K tokens · cache KV f16 · llama.cpp (CUDA) · flash attention activée · poids = taille réelle du fichier

EstimationDonnées mises à jour il y a 40 joursSource: moteur Run LLM Locally, Hugging Face config.json + model card

Ce qui rend cette estimation moins fiable

pas encore de benchmark pour ce matériel et ce modèle

Les autres quantifications sur la RTX 4090

Granite 4.2 8B sur RTX 4090 + 64 Go de RAM · contexte 8K

Granite 4.2 8B Q8_08K~11,2 Go · 66–92 tok/s estimation	Excellent	~11,2 Go	66–92 tok/sestimation
Granite 4.2 8B Q6_K8K~9,1 Go · 80–115 tok/s estimation	Excellent	~9,1 Go	80–115 tok/sestimation
Granite 4.2 8B Q5_K_M8K~8,2 Go · 89–129 tok/s estimation	Excellent	~8,2 Go	89–129 tok/sestimation
Granite 4.2 8B Q4_K_M8K~7,3 Go · 99–146 tok/s estimation	Excellent	~7,3 Go	99–146 tok/sestimation
Granite 4.2 8B IQ4_XS8K~6,8 Go · 105–156 tok/s estimation	Excellent	~6,8 Go	105–156 tok/sestimation
Granite 4.2 8B Q3_K_M8K~6,3 Go · 113–171 tok/s estimation	Excellent	~6,3 Go	113–171 tok/sestimation

Alternatives

Les GPU qui font tourner Granite 4.2 8B Q4_K_M entièrement en VRAM

D'autres modèles adaptés à la RTX 4090

Où acheter une RTX 4090

Votre marché

Les prix et les liens suivent le marché choisi.

GeForce RTX 4090

24 Go GDDR6X · 1 008 Go/s · 450 W

ExcellentFait tourner Granite 4.2 8B Q4_K_M entièrement en mémoire

Prix indisponible

Disponibilité inconnue

Voir sur amazon.fr

Lien affilié

Aucune offre importée pour ce marché : le lien ouvre une recherche sur la boutique.

Questions fréquentes

La RTX 4090 peut-elle faire tourner Granite 4.2 8B ?

Le modèle demande environ 7,3 Go et tient dans les 23,3 Go disponibles, avec 16 Go de marge.

Quelle quantification choisir sur la RTX 4090 ?

Q8_0 est la quantification la plus précise qui tient entièrement en VRAM avec un contexte de 8K. ~11,2 Go / 23,3 Go.

Quel est le plus grand contexte possible sur la RTX 4090 ?

En Q4_K_M, environ 105K tokens tiennent entièrement en VRAM avec un cache KV en f16. Un cache KV en q8_0 double à peu près ce chiffre.

À quelle vitesse tourne Granite 4.2 8B (RTX 4090) ?

Nous estimons 99–146 tok/s (estimation, confiance faible). Basé sur : bande passante mémoire (1 008 Go/s) et taille du modèle.