Mistral Small 4 119B en Q4_K_M demande environ 72 Go : la RTX 4070 Ti SUPER (16 Go) ne peut pas le faire tourner correctement, même avec la RAM système. En Q3_K_M, il ne tient pas en VRAM.
Q4_K_M · 8K contexte
Le modèle demande environ 72 Go ; VRAM et RAM utilisable totalisent 66,7 Go. Il manque 5,3 Go.
~72 Go (70,3 Go–73,8 Go) nécessaires · estimation
Ne tient pas · 5,3 Go manquants
EstimationDonnées mises à jour il y a 40 joursSource: moteur Run LLM Locally, Hugging Face config.json + model card
Ce qui rend cette estimation moins fiable
| Mistral Small 4 119B Q8_08K~125 Go · Pas de données | Incompatible |
|---|---|
| Mistral Small 4 119B Q6_K8K~102 Go · Pas de données | Incompatible |
| Mistral Small 4 119B Q5_K_M8K~84,1 Go · Pas de données | Incompatible |
| Mistral Small 4 119B Q4_K_M8K~72 Go · Pas de données | Incompatible |
| Mistral Small 4 119B IQ4_XS8K~63,4 Go · 7–14 tok/s estimation | Possible mais lent |
| Mistral Small 4 119B Q3_K_M8K~54,3 Go · 8,5–17 tok/s estimation | Possible mais lent |
Les prix et les liens suivent le marché choisi.
AMD
ExcellentFait tourner Mistral Small 4 119B Q4_K_M entièrement en mémoire
PC à mémoire unifiée
ExcellentFait tourner Mistral Small 4 119B Q4_K_M entièrement en mémoire
Aucune offre importée pour ce marché : le lien ouvre une recherche sur la boutique.
