Configurateur de LLM local

Modèle

Quantification

Q4_K_M est le bon compromis pour la plupart des usages. C'est quoi ?

Vitesse visée

Environ 10 tok/s se lit confortablement ; au-delà de 30, c'est instantané.

Plateforme

Options avancées8K tokens · cache KV f16

Les valeurs par défaut conviennent à la plupart des usages. Vous pouvez ignorer cette section.

Longueur de contexte

Quantité de texte que le modèle garde en mémoire. 8K suffit pour discuter ; les longs documents demandent 32K ou plus. C'est quoi ?

Type de cache KV

Laissez f16 si vous ne savez pas. q8_0 divise environ par deux la mémoire de la conversation, q4_0 par près de quatre ; l'option doit aussi être activée dans votre logiciel. C'est quoi ?

Machines compatibles

Ce dont le modèle a besoin

gpt-oss-120b MXFP4 avec un contexte de 8K demande environ 71,2 Go (jusqu'à 75,8 Go) de mémoire GPU ou unifiée.

Configurations compatibles pour gpt-oss-120b MXFP4 · contexte 8K
	NVIDIAA100 80GBExcellent A100 80GB PCIe · 80 Go HBM2e 1 935 Go/s RAM système 64 Go La plus petite configuration de cette plateforme qui fait tourner le modèle entièrement en mémoire rapide.	AMD2 × Radeon PRO W7900Excellent Radeon PRO W7900 · 48 Go GDDR6 ECC 864 Go/s RAM système 64 Go La plus petite configuration de cette plateforme qui fait tourner le modèle entièrement en mémoire rapide.	Apple SiliconM2 Max · 96 GoCompatible MacBook Pro 14, MacBook Pro 16, Mac Studio 38 GPU · 400 Go/s La plus petite configuration de cette plateforme qui fait tourner le modèle entièrement en mémoire rapide.	PC à mémoire unifiéeNVIDIA DGX Spark (GB10) · 128 GoExcellent GB10 Grace Blackwell 273 Go/s La plus petite configuration de cette plateforme qui fait tourner le modèle entièrement en mémoire rapide.	Vitesse estimée la plus élevéeH100 PCIeExcellent H100 PCIe 80GB · 80 Go HBM2e 2 000 Go/s RAM système 64 Go La vitesse de génération estimée la plus élevée parmi les configurations qui conviennent.
Mémoire pour le modèle	78 Go	93 Go	72 Go	109 GoLe plus de mémoire	78 Go
Vitesse estimée	170–472 tok/sestimation	66–135 tok/sestimation	32–44 tok/sestimation	41–57 tok/smesuré	175–488 tok/sestimationLe plus rapide
Consommation (GPU/plateforme)	~300 W	~590 W	–	~240 WLa plus sobre	~350 W
Prix	Aucune offre actuelle	Aucune offre actuelle	Aucune offre actuelle	Aucune offre actuelle	Aucune offre actuelle
Confiance	moyenne	faible	faible	moyenne	moyenne

Le meilleur est indiqué critère par critère ; il n'y a pas de gagnant global. Les vitesses sont des estimations sauf mention « mesuré ». La consommation est la puissance nominale de la carte (ou de la plateforme, si connue).

Configuration PC suggérée

GPU: A100 80GB PCIe
Processeur: Ryzen 7 9700X
RAM: 96 Go DDR5
Alimentation: 600 W

Le processeur compte peu quand le modèle tourne sur le GPU ; n'importe quel 8 cœurs récent suffit. Alimentation dimensionnée avec 30 % de marge pour les pics de consommation.

Vérifications de compatibilité: Aucun problème de compatibilité détecté entre ces composants.

Où acheter

Votre marché

Les prix et les liens suivent le marché choisi.

Radeon PRO W7900

Radeon PRO W7900 · 48 Go GDDR6 ECC · 864 Go/s

ExcellentFait tourner gpt-oss-120b MXFP4 entièrement en mémoire

Prix indisponible

Disponibilité inconnue

Voir sur amazon.com

Lien affilié

NVIDIA DGX Spark (GB10)