Configurateur de LLM local

Modèle

Quantification

Q4_K_M est le bon compromis pour la plupart des usages. C'est quoi ?

Vitesse visée

Environ 10 tok/s se lit confortablement ; au-delà de 30, c'est instantané.

Plateforme

Options avancées8K tokens · cache KV f16

Les valeurs par défaut conviennent à la plupart des usages. Vous pouvez ignorer cette section.

Longueur de contexte

Quantité de texte que le modèle garde en mémoire. 8K suffit pour discuter ; les longs documents demandent 32K ou plus. C'est quoi ?

Type de cache KV

Laissez f16 si vous ne savez pas. q8_0 divise environ par deux la mémoire de la conversation, q4_0 par près de quatre ; l'option doit aussi être activée dans votre logiciel. C'est quoi ?

Machines compatibles

Ce dont le modèle a besoin

DeepSeek R1 (671B) Q4_K_M avec un contexte de 8K demande environ 403 Go (jusqu'à 428 Go) de mémoire GPU ou unifiée.

Configurations compatibles pour DeepSeek R1 (671B) Q4_K_M · contexte 8K
	Apple SiliconM3 Ultra (80-core GPU) · 512 GoCompatible avec limites Mac Studio 80 GPU · 819 Go/s La plus petite configuration de cette plateforme qui fait tourner le modèle entièrement en mémoire rapide.
Mémoire pour le modèle	384 Go
Vitesse estimée	Pas de données
Consommation (GPU/plateforme)	–
Prix	Aucune offre actuelle
Confiance	faible

Le meilleur est indiqué critère par critère ; il n'y a pas de gagnant global. Les vitesses sont des estimations sauf mention « mesuré ». La consommation est la puissance nominale de la carte (ou de la plateforme, si connue).

Où acheter

Votre marché

Les prix et les liens suivent le marché choisi.

Mac Studio M3 Ultra

Mac Studio · 80 GPU · 819 Go/s

Compatible avec limitesFait tourner DeepSeek R1 (671B) Q4_K_M entièrement en mémoire

Prix indisponible

Disponibilité inconnue

Voir sur amazon.com

Lien affilié

Aucune offre importée pour ce marché : le lien ouvre une recherche sur la boutique.