Aller au contenu
Run LLM Locally

DeepSeek R1 (671B) sur une RTX 2080 Ti

DeepSeek R1 (671B) en Q4_K_M demande environ 402 Go : la RTX 2080 Ti (11 Go) ne peut pas le faire tourner correctement, même avec la RAM système. En Q3_K_M, il ne tient pas en VRAM.

PartagerFacebookXWhatsAppLinkedInE-mail

DeepSeek R1 (671B)

Q4_K_M · 8K contexte

Incompatible

Le modèle demande environ 402 Go ; VRAM et RAM utilisable totalisent 61,9 Go. Il manque 340 Go.

Votre matériel
RTX 2080 Ti 11 Go · 64 Go RAM
Mémoire estimée
~402 Go estimation
VRAM (mémoire utilisable)
10,7 Go
GPU seul
Non
Offload CPU/GPU
Nécessaire (51,2 Go)
Vitesse de génération
Non disponible
Plus grand contexte en mémoire rapide
Aucun
Confiance : élevée

Répartition de la mémoire

~402 Go (393 Go–410 Go) nécessaires · estimation

Ne tient pas · 340 Go manquants

  • Poids du modèle381 Go
  • Cache KV0,5 Go
  • Surcoût runtime0,8 Go
  • Marge de sécurité19,1 Go
Hypothèses: contexte 8K tokens · cache KV f16 · llama.cpp (CUDA) · flash attention activée · poids = taille réelle du fichier · cache KV compressé (MLA)

EstimationDonnées mises à jour il y a 24 joursSource: moteur Run LLM Locally, Hugging Face config.json + model card

Ce qui rend cette estimation moins fiable

  • le partage CPU/GPU varie beaucoup selon le processeur et le lien PCIe
  • vitesse de la RAM inconnue (DDR4-3200 double canal supposée)
  • mélange d'experts : la vitesse dépend du routage des experts

Les autres quantifications sur la RTX 2080 Ti

DeepSeek R1 (671B) sur RTX 2080 Ti + 64 Go de RAM · contexte 8K
DeepSeek R1 (671B) Q8_08K~699 Go · Pas de donnéesIncompatible
DeepSeek R1 (671B) Q6_K8K~542 Go · Pas de donnéesIncompatible
DeepSeek R1 (671B) Q5_K_M8K~469 Go · Pas de donnéesIncompatible
DeepSeek R1 (671B) Q4_K_M8K~402 Go · Pas de donnéesIncompatible
DeepSeek R1 (671B) IQ4_XS8K~353 Go · Pas de donnéesIncompatible
DeepSeek R1 (671B) Q3_K_M8K~303 Go · Pas de donnéesIncompatible

Alternatives

Les GPU qui font tourner DeepSeek R1 (671B) Q4_K_M entièrement en VRAM

    D'autres modèles adaptés à la RTX 2080 Ti

    Du matériel qui fait tourner DeepSeek R1 (671B) Q4_K_M entièrement en mémoire

    Les prix et les liens suivent le marché choisi.

    Mac Studio M3 Ultra

    Apple Silicon

    Compatible avec limitesFait tourner DeepSeek R1 (671B) Q4_K_M entièrement en mémoire

    Prix indisponible

    Disponibilité inconnue

    Voir sur amazon.fr

    Lien affilié

    Aucune offre importée pour ce marché : le lien ouvre une recherche sur la boutique.

    Questions fréquentes

    La RTX 2080 Ti peut-elle faire tourner DeepSeek R1 (671B) ?
    Le modèle demande environ 402 Go ; VRAM et RAM utilisable totalisent 61,9 Go. Il manque 340 Go.
    Quelle quantification choisir sur la RTX 2080 Ti ?
    Aucune ne tient entièrement en VRAM à 8K ; la plus petite, Q3_K_M, demande encore un offload.
    Quel est le plus grand contexte possible sur la RTX 2080 Ti ?
    En Q4_K_M, le modèle ne tient pas entièrement en VRAM, même avec un contexte court.