Aller au contenu
Run LLM Locally

DeepSeek R1 Distill Qwen 14B sur une RX 9070

Avec ses 16 Go de VRAM, la RX 9070 fait tourner DeepSeek R1 Distill Qwen 14B en Q4_K_M entièrement sur le GPU avec un contexte de 8K (environ 11,3 Go nécessaires). En Q8_0, il ne tient pas en VRAM.

DeepSeek R1 Distill Qwen 14B

Q4_K_M · 8K contexte

Excellent

Le modèle demande environ 11,3 Go et tient dans les 15,5 Go disponibles, avec 4,2 Go de marge.

Votre matériel
RX 9070 16 Go · 64 Go RAM
Mémoire estimée
~11,3 Go estimation
VRAM (mémoire utilisable)
15,5 Go
GPU seul
Oui
Offload CPU/GPU
Non nécessaire
Vitesse de génération
38–55 tok/s estimation
Plus grand contexte en mémoire rapide
29K tokens
Confiance : faible

Basé sur : bande passante mémoire (640 Go/s) et taille du modèle

Répartition de la mémoire

~11,3 Go (10,7 Go–11,9 Go) nécessaires · estimation

Tient entièrement en VRAM · 4,2 Go libres

  • Poids du modèle8,4 Go
  • Cache KV1,5 Go
  • Surcoût runtime0,9 Go
  • Marge de sécurité0,5 Go
Hypothèses: contexte 8K tokens · cache KV f16 · llama.cpp (ROCm) · flash attention activée · poids = taille réelle du fichier

EstimationDonnées mises à jour il y a 24 joursSource: moteur Run LLM Locally, Hugging Face config.json + model card

Ce qui rend cette estimation moins fiable

  • pas encore de benchmark pour ce matériel et ce modèle

Les autres quantifications sur la RX 9070

DeepSeek R1 Distill Qwen 14B sur RX 9070 + 64 Go de RAM · contexte 8K
DeepSeek R1 Distill Qwen 14B Q8_08K~17,8 Go · 6,5–13 tok/s estimationOffload CPU/GPU
DeepSeek R1 Distill Qwen 14B Q6_K8K~14,3 Go · 30–43 tok/s estimationCompatible
DeepSeek R1 Distill Qwen 14B Q5_K_M8K~12,8 Go · 34–48 tok/s estimationExcellent
DeepSeek R1 Distill Qwen 14B Q4_K_M8K~11,3 Go · 38–55 tok/s estimationExcellent
DeepSeek R1 Distill Qwen 14B IQ4_XS8K~10,4 Go · 41–60 tok/s estimationExcellent
DeepSeek R1 Distill Qwen 14B Q3_K_M8K~9,7 Go · 44–65 tok/s estimationExcellent

Alternatives

Où acheter une RX 9070

Les prix et les liens suivent le marché choisi.

Radeon RX 9070

16 Go GDDR6 · 640 Go/s · 220 W

ExcellentFait tourner DeepSeek R1 Distill Qwen 14B Q4_K_M entièrement en mémoire

Prix indisponible

Disponibilité inconnue

Voir sur amazon.fr

Lien affilié

Aucune offre importée pour ce marché : le lien ouvre une recherche sur la boutique.

Questions fréquentes

La RX 9070 peut-elle faire tourner DeepSeek R1 Distill Qwen 14B ?
Le modèle demande environ 11,3 Go et tient dans les 15,5 Go disponibles, avec 4,2 Go de marge.
Quelle quantification choisir sur la RX 9070 ?
Q6_K est la quantification la plus précise qui tient entièrement en VRAM avec un contexte de 8K. ~14,3 Go / 15,5 Go.
Quel est le plus grand contexte possible sur la RX 9070 ?
En Q4_K_M, environ 29K tokens tiennent entièrement en VRAM avec un cache KV en f16. Un cache KV en q8_0 double à peu près ce chiffre.
À quelle vitesse tourne DeepSeek R1 Distill Qwen 14B (RX 9070) ?
Nous estimons 38–55 tok/s (estimation, confiance faible). Basé sur : bande passante mémoire (640 Go/s) et taille du modèle.