Aller au contenu
Run LLM Locally

DeepSeek R1 (671B) sur une RX 7600 XT

DeepSeek R1 (671B) en Q4_K_M demande environ 402 Go : la RX 7600 XT (16 Go) ne peut pas le faire tourner correctement, même avec la RAM système. En Q3_K_M, il ne tient pas en VRAM.

DeepSeek R1 (671B)

Q4_K_M · 8K contexte

Incompatible

Le modèle demande environ 402 Go ; VRAM et RAM utilisable totalisent 66,7 Go. Il manque 335 Go.

Votre matériel
RX 7600 XT 16 Go · 64 Go RAM
Mémoire estimée
~402 Go estimation
VRAM (mémoire utilisable)
15,5 Go
GPU seul
Non
Offload CPU/GPU
Nécessaire (51,2 Go)
Vitesse de génération
Non disponible
Plus grand contexte en mémoire rapide
Aucun
Confiance : élevée

Répartition de la mémoire

~402 Go (393 Go–410 Go) nécessaires · estimation

Ne tient pas · 335 Go manquants

  • Poids du modèle381 Go
  • Cache KV0,5 Go
  • Surcoût runtime0,8 Go
  • Marge de sécurité19,1 Go
Hypothèses: contexte 8K tokens · cache KV f16 · llama.cpp (Vulkan) · flash attention activée · poids = taille réelle du fichier · cache KV compressé (MLA)

EstimationDonnées mises à jour il y a 24 joursSource: moteur Run LLM Locally, Hugging Face config.json + model card

Ce qui rend cette estimation moins fiable

  • le partage CPU/GPU varie beaucoup selon le processeur et le lien PCIe
  • vitesse de la RAM inconnue (DDR4-3200 double canal supposée)
  • mélange d'experts : la vitesse dépend du routage des experts

Les autres quantifications sur la RX 7600 XT

DeepSeek R1 (671B) sur RX 7600 XT + 64 Go de RAM · contexte 8K
DeepSeek R1 (671B) Q8_08K~699 Go · Pas de donnéesIncompatible
DeepSeek R1 (671B) Q6_K8K~542 Go · Pas de donnéesIncompatible
DeepSeek R1 (671B) Q5_K_M8K~469 Go · Pas de donnéesIncompatible
DeepSeek R1 (671B) Q4_K_M8K~402 Go · Pas de donnéesIncompatible
DeepSeek R1 (671B) IQ4_XS8K~353 Go · Pas de donnéesIncompatible
DeepSeek R1 (671B) Q3_K_M8K~302 Go · Pas de donnéesIncompatible

Alternatives

Du matériel qui fait tourner DeepSeek R1 (671B) Q4_K_M entièrement en mémoire

Les prix et les liens suivent le marché choisi.

Mac Studio M3 Ultra

Apple Silicon

Compatible avec limitesFait tourner DeepSeek R1 (671B) Q4_K_M entièrement en mémoire

Prix indisponible

Disponibilité inconnue

Voir sur amazon.fr

Lien affilié

Aucune offre importée pour ce marché : le lien ouvre une recherche sur la boutique.

Questions fréquentes

La RX 7600 XT peut-elle faire tourner DeepSeek R1 (671B) ?
Le modèle demande environ 402 Go ; VRAM et RAM utilisable totalisent 66,7 Go. Il manque 335 Go.
Quelle quantification choisir sur la RX 7600 XT ?
Aucune ne tient entièrement en VRAM à 8K ; la plus petite, Q3_K_M, demande encore un offload.
Quel est le plus grand contexte possible sur la RX 7600 XT ?
En Q4_K_M, le modèle ne tient pas entièrement en VRAM, même avec un contexte court.