Aller au contenu
Run LLM Locally

DeepSeek R1 Distill Llama 8B sur une H100 PCIe

Avec ses 80 Go de VRAM, la H100 PCIe fait tourner DeepSeek R1 Distill Llama 8B en Q4_K_M entièrement sur le GPU avec un contexte de 8K (environ 6,7 Go nécessaires). En Q8_0, il tient entièrement.

PartagerFacebookXWhatsAppLinkedInE-mail

DeepSeek R1 Distill Llama 8B

Q4_K_M · 8K contexte

Excellent

Le modèle demande environ 6,7 Go et tient dans les 77,6 Go disponibles, avec 70,9 Go de marge.

Votre matériel
H100 PCIe 80 Go · 64 Go RAM
Mémoire estimée
~6,7 Go estimation
VRAM (mémoire utilisable)
77,6 Go
GPU seul
Oui
Offload CPU/GPU
Non nécessaire
Vitesse de génération
183–294 tok/s estimation
Plus grand contexte en mémoire rapide
128K tokens
Confiance : faible

Basé sur : bande passante mémoire (2 000 Go/s) et taille du modèle

Répartition de la mémoire

~6,7 Go (6,2 Go–7,1 Go) nécessaires · estimation

Tient entièrement en VRAM · 70,9 Go libres

  • Poids du modèle4,6 Go
  • Cache KV1 Go
  • Surcoût runtime0,8 Go
  • Marge de sécurité0,3 Go
Hypothèses: contexte 8K tokens · cache KV f16 · llama.cpp (CUDA) · flash attention activée · poids = taille réelle du fichier

EstimationDonnées mises à jour il y a 24 joursSource: moteur Run LLM Locally, Hugging Face config.json + model card

Ce qui rend cette estimation moins fiable

  • pas encore de benchmark pour ce matériel et ce modèle

Les autres quantifications sur la H100 PCIe

DeepSeek R1 Distill Llama 8B sur H100 PCIe + 64 Go de RAM · contexte 8K
DeepSeek R1 Distill Llama 8B Q8_08K~10,2 Go · 128–191 tok/s estimationExcellent
DeepSeek R1 Distill Llama 8B Q6_K8K~8,3 Go · 153–235 tok/s estimationExcellent
DeepSeek R1 Distill Llama 8B Q5_K_M8K~7,5 Go · 167–262 tok/s estimationExcellent
DeepSeek R1 Distill Llama 8B Q4_K_M8K~6,7 Go · 183–294 tok/s estimationExcellent
DeepSeek R1 Distill Llama 8B IQ4_XS8K~6,2 Go · 194–316 tok/s estimationExcellent
DeepSeek R1 Distill Llama 8B Q3_K_M8K~5,8 Go · 205–339 tok/s estimationExcellent

Alternatives

Les GPU qui font tourner DeepSeek R1 Distill Llama 8B Q4_K_M entièrement en VRAM

D'autres modèles adaptés à la H100 PCIe

Du matériel qui fait tourner DeepSeek R1 Distill Llama 8B Q4_K_M entièrement en mémoire

Les prix et les liens suivent le marché choisi.

GeForce RTX 4060

NVIDIA

CompatibleFait tourner DeepSeek R1 Distill Llama 8B Q4_K_M entièrement en mémoire

Prix indisponible

Disponibilité inconnue

Voir sur amazon.fr

Lien affilié

Radeon RX 7600 XT

AMD

ExcellentFait tourner DeepSeek R1 Distill Llama 8B Q4_K_M entièrement en mémoire

Prix indisponible

Disponibilité inconnue

Voir sur amazon.fr

Lien affilié

AMD Ryzen AI Max+ 395

PC à mémoire unifiée

ExcellentFait tourner DeepSeek R1 Distill Llama 8B Q4_K_M entièrement en mémoire

Prix indisponible

Disponibilité inconnue

Voir sur amazon.fr

Lien affilié

Aucune offre importée pour ce marché : le lien ouvre une recherche sur la boutique.

Questions fréquentes

La H100 PCIe peut-elle faire tourner DeepSeek R1 Distill Llama 8B ?
Le modèle demande environ 6,7 Go et tient dans les 77,6 Go disponibles, avec 70,9 Go de marge.
Quelle quantification choisir sur la H100 PCIe ?
Q8_0 est la quantification la plus précise qui tient entièrement en VRAM avec un contexte de 8K. ~10,2 Go / 77,6 Go.
Quel est le plus grand contexte possible sur la H100 PCIe ?
En Q4_K_M, environ 128K tokens tiennent entièrement en VRAM avec un cache KV en f16. Un cache KV en q8_0 double à peu près ce chiffre.
À quelle vitesse tourne DeepSeek R1 Distill Llama 8B (H100 PCIe) ?
Nous estimons 183–294 tok/s (estimation, confiance faible). Basé sur : bande passante mémoire (2 000 Go/s) et taille du modèle.