Configurateur de LLM local

Modèle

Quantification

Q4_K_M est le bon compromis pour la plupart des usages. C'est quoi ?

Vitesse visée

Environ 10 tok/s se lit confortablement ; au-delà de 30, c'est instantané.

Plateforme

Options avancées8K tokens · cache KV f16

Les valeurs par défaut conviennent à la plupart des usages. Vous pouvez ignorer cette section.

Longueur de contexte

Quantité de texte que le modèle garde en mémoire. 8K suffit pour discuter ; les longs documents demandent 32K ou plus. C'est quoi ?

Type de cache KV

Laissez f16 si vous ne savez pas. q8_0 divise environ par deux la mémoire de la conversation, q4_0 par près de quatre ; l'option doit aussi être activée dans votre logiciel. C'est quoi ?

Machines compatibles

Ce dont le modèle a besoin

Mistral Nemo 12B Instruct Q4_K_M avec un contexte de 8K demande environ 9,4 Go (jusqu'à 10,2 Go) de mémoire GPU ou unifiée.

Configurations compatibles pour Mistral Nemo 12B Instruct Q4_K_M · contexte 8K
	NVIDIARTX 2080 TiCompatible GeForce RTX 2080 Ti · 11 Go GDDR6 616 Go/s RAM système 64 Go La plus petite configuration de cette plateforme qui fait tourner le modèle entièrement en mémoire rapide.	AMDRX 7600 XTExcellent Radeon RX 7600 XT · 16 Go GDDR6 288 Go/s RAM système 64 Go La plus petite configuration de cette plateforme qui fait tourner le modèle entièrement en mémoire rapide.	Apple SiliconM1 · 16 GoCompatible MacBook Air, MacBook Pro 13, Mac mini, iMac 8 GPU · 68,3 Go/s La plus petite configuration de cette plateforme qui fait tourner le modèle entièrement en mémoire rapide.	PC à mémoire unifiéeAMD Ryzen AI Max+ 395 · 32 GoExcellent Radeon 8060S 256 Go/s La plus petite configuration de cette plateforme qui fait tourner le modèle entièrement en mémoire rapide.	Palier de mémoire le plus basRTX 3080Compatible avec limites GeForce RTX 3080 (10 GB) · 10 Go GDDR6X 760 Go/s RAM système 64 Go La moins de mémoire parmi toutes les configurations qui conviennent.	Vitesse estimée la plus élevéeH100 PCIeExcellent H100 PCIe 80GB · 80 Go HBM2e 2 000 Go/s RAM système 64 Go La vitesse de génération estimée la plus élevée parmi les configurations qui conviennent.
Mémoire pour le modèle	11 Go	16 Go	11 Go	24 Go	10 Go	78 GoLe plus de mémoire
Vitesse estimée	51–70 tok/sestimation	22–33 tok/sestimation	5,5–7,5 tok/sestimation	20–29 tok/sestimation	61–86 tok/sestimation	130–203 tok/sestimationLe plus rapide
Consommation (GPU/plateforme)	~250 W	~190 WLa plus sobre	–	–	~320 W	~350 W
Prix	Aucune offre actuelle	Aucune offre actuelle	Aucune offre actuelle	Aucune offre actuelle	Aucune offre actuelle	Aucune offre actuelle
Confiance	faible	faible	faible	faible	faible	faible

Le meilleur est indiqué critère par critère ; il n'y a pas de gagnant global. Les vitesses sont des estimations sauf mention « mesuré ». La consommation est la puissance nominale de la carte (ou de la plateforme, si connue).

Configuration PC suggérée

GPU: GeForce RTX 2080 Ti
Processeur: Ryzen 7 9700X
RAM: 32 Go DDR5
Alimentation: 550 W

Le processeur compte peu quand le modèle tourne sur le GPU ; n'importe quel 8 cœurs récent suffit. Alimentation dimensionnée avec 30 % de marge pour les pics de consommation.

Vérifications de compatibilité: Aucun problème de compatibilité détecté entre ces composants.

Où acheter

Votre marché

Les prix et les liens suivent le marché choisi.

GeForce RTX 2080 Ti

GeForce RTX 2080 Ti · 11 Go GDDR6 · 616 Go/s

CompatibleFait tourner Mistral Nemo 12B Instruct Q4_K_M entièrement en mémoire

Prix indisponible

Disponibilité inconnue

Voir sur amazon.com

Lien affilié

Radeon RX 7600 XT

Radeon RX 7600 XT · 16 Go GDDR6 · 288 Go/s

ExcellentFait tourner Mistral Nemo 12B Instruct Q4_K_M entièrement en mémoire

Prix indisponible

Disponibilité inconnue

Voir sur amazon.com

Lien affilié

AMD Ryzen AI Max+ 395

Radeon 8060S · 256 Go/s

ExcellentFait tourner Mistral Nemo 12B Instruct Q4_K_M entièrement en mémoire

Prix indisponible

Disponibilité inconnue

Voir sur amazon.com

Lien affilié

GeForce RTX 3080 (10 GB)

GeForce RTX 3080 (10 GB) · 10 Go GDDR6X · 760 Go/s

Compatible avec limitesFait tourner Mistral Nemo 12B Instruct Q4_K_M entièrement en mémoire

Prix indisponible

Disponibilité inconnue

Voir sur amazon.com

Lien affilié

Aucune offre importée pour ce marché : le lien ouvre une recherche sur la boutique.