Configurateur de LLM local

Modèle

Quantification

Q4_K_M est le bon compromis pour la plupart des usages. C'est quoi ?

Vitesse visée

Environ 10 tok/s se lit confortablement ; au-delà de 30, c'est instantané.

Plateforme

Options avancées8K tokens · cache KV f16

Les valeurs par défaut conviennent à la plupart des usages. Vous pouvez ignorer cette section.

Longueur de contexte

Quantité de texte que le modèle garde en mémoire. 8K suffit pour discuter ; les longs documents demandent 32K ou plus. C'est quoi ?

Type de cache KV

Laissez f16 si vous ne savez pas. q8_0 divise environ par deux la mémoire de la conversation, q4_0 par près de quatre ; l'option doit aussi être activée dans votre logiciel. C'est quoi ?

Machines compatibles

Ce dont le modèle a besoin

Qwen3 235B-A22B Q4_K_M avec un contexte de 8K demande environ 143 Go (jusqu'à 152 Go) de mémoire GPU ou unifiée.

Configurations compatibles pour Qwen3 235B-A22B Q4_K_M · contexte 8K
	NVIDIA2 × RTX PRO 6000 BlackwellExcellent RTX PRO 6000 Blackwell Workstation Edition · 96 Go GDDR7 ECC 1 792 Go/s RAM système 64 Go La plus petite configuration de cette plateforme qui fait tourner le modèle entièrement en mémoire rapide.	Apple SiliconM3 Ultra (80-core GPU) · 256 GoExcellent Mac Studio 80 GPU · 819 Go/s La plus petite configuration de cette plateforme qui fait tourner le modèle entièrement en mémoire rapide.
Mémoire pour le modèle	186 Go	192 GoLe plus de mémoire
Vitesse estimée	39–72 tok/sestimationLe plus rapide	20–32 tok/sestimation
Consommation (GPU/plateforme)	~1200 W	–
Prix	Aucune offre actuelle	Aucune offre actuelle
Confiance	faible	faible

Le meilleur est indiqué critère par critère ; il n'y a pas de gagnant global. Les vitesses sont des estimations sauf mention « mesuré ». La consommation est la puissance nominale de la carte (ou de la plateforme, si connue).

Configuration PC suggérée

GPU: 2 × RTX PRO 6000 Blackwell Workstation Edition
Processeur: Ryzen 7 9700X
RAM: 192 Go DDR5
Alimentation: 1750 W

Le processeur compte peu quand le modèle tourne sur le GPU ; n'importe quel 8 cœurs récent suffit. Alimentation dimensionnée avec 30 % de marge pour les pics de consommation.

Vérifications de compatibilité: 2 GPU sur une plateforme grand public se partagent les lignes PCIe (x8/x8 ou moins) ; sans problème pour l'inférence.

Où acheter

Votre marché

Les prix et les liens suivent le marché choisi.

RTX PRO 6000 Blackwell Workstation Edition

RTX PRO 6000 Blackwell Workstation Edition · 96 Go GDDR7 ECC · 1 792 Go/s

ExcellentFait tourner Qwen3 235B-A22B Q4_K_M entièrement en mémoire

Prix indisponible

Disponibilité inconnue

Voir sur amazon.com

Lien affilié

Mac Studio M3 Ultra