Aller au contenu
Run LLM Locally

Mistral Small 3.2 24B Instruct sur une A100 80GB

Avec ses 80 Go de VRAM, la A100 80GB fait tourner Mistral Small 3.2 24B Instruct en Q4_K_M entièrement sur le GPU avec un contexte de 8K (environ 16,1 Go nécessaires). En Q8_0, il tient entièrement.

PartagerFacebookXWhatsAppLinkedInE-mail

Mistral Small 3.2 24B Instruct

Q4_K_M · 8K contexte

Excellent

Le modèle demande environ 16,1 Go et tient dans les 77,6 Go disponibles, avec 61,5 Go de marge.

Votre matériel
A100 80GB · 64 Go RAM
Mémoire estimée
~16,1 Go estimation
VRAM (mémoire utilisable)
77,6 Go
GPU seul
Oui
Offload CPU/GPU
Non nécessaire
Vitesse de génération
80–116 tok/s estimation
Plus grand contexte en mémoire rapide
128K tokens
Confiance : faible

Basé sur : bande passante mémoire (1 935 Go/s) et taille du modèle

Répartition de la mémoire

~16,1 Go (15,5 Go–16,8 Go) nécessaires · estimation

Tient entièrement en VRAM · 61,5 Go libres

  • Poids du modèle13,3 Go
  • Cache KV1,3 Go
  • Surcoût runtime0,8 Go
  • Marge de sécurité0,8 Go
Hypothèses: contexte 8K tokens · cache KV f16 · llama.cpp (CUDA) · flash attention activée · poids = taille réelle du fichier

EstimationDonnées mises à jour il y a 24 joursSource: moteur Run LLM Locally, Hugging Face config.json + model card

Ce qui rend cette estimation moins fiable

  • pas encore de benchmark pour ce matériel et ce modèle

Les autres quantifications sur la A100 80GB

Mistral Small 3.2 24B Instruct sur A100 80GB + 64 Go de RAM · contexte 8K
Mistral Small 3.2 24B Instruct Q8_08K~26,6 Go · 51–70 tok/s estimationExcellent
Mistral Small 3.2 24B Instruct Q6_K8K~21 Go · 63–89 tok/s estimationExcellent
Mistral Small 3.2 24B Instruct Q5_K_M8K~18,5 Go · 71–101 tok/s estimationExcellent
Mistral Small 3.2 24B Instruct Q4_K_M8K~16,1 Go · 80–116 tok/s estimationExcellent
Mistral Small 3.2 24B Instruct IQ4_XS8K~14,6 Go · 88–128 tok/s estimationExcellent
Mistral Small 3.2 24B Instruct Q3_K_M8K~13,3 Go · 95–140 tok/s estimationExcellent

Alternatives

Les GPU qui font tourner Mistral Small 3.2 24B Instruct Q4_K_M entièrement en VRAM

D'autres modèles adaptés à la A100 80GB

Du matériel qui fait tourner Mistral Small 3.2 24B Instruct Q4_K_M entièrement en mémoire

Les prix et les liens suivent le marché choisi.

Radeon RX 7900 XT

AMD

ExcellentFait tourner Mistral Small 3.2 24B Instruct Q4_K_M entièrement en mémoire

Prix indisponible

Disponibilité inconnue

Voir sur amazon.fr

Lien affilié

AMD Ryzen AI Max+ 395

PC à mémoire unifiée

ExcellentFait tourner Mistral Small 3.2 24B Instruct Q4_K_M entièrement en mémoire

Prix indisponible

Disponibilité inconnue

Voir sur amazon.fr

Lien affilié

Aucune offre importée pour ce marché : le lien ouvre une recherche sur la boutique.

Questions fréquentes

La A100 80GB peut-elle faire tourner Mistral Small 3.2 24B Instruct ?
Le modèle demande environ 16,1 Go et tient dans les 77,6 Go disponibles, avec 61,5 Go de marge.
Quelle quantification choisir sur la A100 80GB ?
Q8_0 est la quantification la plus précise qui tient entièrement en VRAM avec un contexte de 8K. ~26,6 Go / 77,6 Go.
Quel est le plus grand contexte possible sur la A100 80GB ?
En Q4_K_M, environ 128K tokens tiennent entièrement en VRAM avec un cache KV en f16. Un cache KV en q8_0 double à peu près ce chiffre.
À quelle vitesse tourne Mistral Small 3.2 24B Instruct (A100 80GB) ?
Nous estimons 80–116 tok/s (estimation, confiance faible). Basé sur : bande passante mémoire (1 935 Go/s) et taille du modèle.