Configurateur de LLM local

Modèle

Quantification

Q4_K_M est le bon compromis pour la plupart des usages. C'est quoi ?

Vitesse visée

Environ 10 tok/s se lit confortablement ; au-delà de 30, c'est instantané.

Plateforme

Options avancées8K tokens · cache KV f16

Les valeurs par défaut conviennent à la plupart des usages. Vous pouvez ignorer cette section.

Longueur de contexte

Quantité de texte que le modèle garde en mémoire. 8K suffit pour discuter ; les longs documents demandent 32K ou plus. C'est quoi ?

Type de cache KV

Laissez f16 si vous ne savez pas. q8_0 divise environ par deux la mémoire de la conversation, q4_0 par près de quatre ; l'option doit aussi être activée dans votre logiciel. C'est quoi ?

Machines compatibles

Ce dont le modèle a besoin

Llama 3.2 3B Instruct Q4_K_M avec un contexte de 8K demande environ 3,7 Go (jusqu'à 4,2 Go) de mémoire GPU ou unifiée.

Configurations compatibles pour Llama 3.2 3B Instruct Q4_K_M · contexte 8K
	NVIDIARTX 4060Excellent GeForce RTX 4060 · 8 Go GDDR6 272 Go/s RAM système 64 Go La plus petite configuration de cette plateforme qui fait tourner le modèle entièrement en mémoire rapide.	AMDRX 7600 XTExcellent Radeon RX 7600 XT · 16 Go GDDR6 288 Go/s RAM système 64 Go La plus petite configuration de cette plateforme qui fait tourner le modèle entièrement en mémoire rapide.	Apple SiliconM1 · 8 GoExcellent MacBook Air, MacBook Pro 13, Mac mini, iMac 8 GPU · 68,3 Go/s La plus petite configuration de cette plateforme qui fait tourner le modèle entièrement en mémoire rapide.	PC à mémoire unifiéeAMD Ryzen AI Max+ 395 · 32 GoExcellent Radeon 8060S 256 Go/s La plus petite configuration de cette plateforme qui fait tourner le modèle entièrement en mémoire rapide.	Vitesse estimée la plus élevéeH100 PCIeExcellent H100 PCIe 80GB · 80 Go HBM2e 2 000 Go/s RAM système 64 Go La vitesse de génération estimée la plus élevée parmi les configurations qui conviennent.
Mémoire pour le modèle	8 Go	16 Go	5 Go	24 Go	78 GoLe plus de mémoire
Vitesse estimée	74–102 tok/sestimation	66–106 tok/sestimation	18–25 tok/sestimation	60–95 tok/sestimation	304–549 tok/sestimationLe plus rapide
Consommation (GPU/plateforme)	~115 WLa plus sobre	~190 W	–	–	~350 W
Prix	Aucune offre actuelle	Aucune offre actuelle	Aucune offre actuelle	Aucune offre actuelle	Aucune offre actuelle
Confiance	faible	faible	faible	faible	faible

Le meilleur est indiqué critère par critère ; il n'y a pas de gagnant global. Les vitesses sont des estimations sauf mention « mesuré ». La consommation est la puissance nominale de la carte (ou de la plateforme, si connue).

Configuration PC suggérée

GPU: GeForce RTX 4060
Processeur: Ryzen 7 9700X
RAM: 32 Go DDR5
Alimentation: 350 W

Le processeur compte peu quand le modèle tourne sur le GPU ; n'importe quel 8 cœurs récent suffit. Alimentation dimensionnée avec 30 % de marge pour les pics de consommation.

Vérifications de compatibilité: Aucun problème de compatibilité détecté entre ces composants.

Où acheter

Votre marché

Les prix et les liens suivent le marché choisi.

GeForce RTX 4060

GeForce RTX 4060 · 8 Go GDDR6 · 272 Go/s

ExcellentFait tourner Llama 3.2 3B Instruct Q4_K_M entièrement en mémoire

Prix indisponible

Disponibilité inconnue

Voir sur amazon.com

Lien affilié

Radeon RX 7600 XT

Radeon RX 7600 XT · 16 Go GDDR6 · 288 Go/s

ExcellentFait tourner Llama 3.2 3B Instruct Q4_K_M entièrement en mémoire

Prix indisponible

Disponibilité inconnue

Voir sur amazon.com

Lien affilié

AMD Ryzen AI Max+ 395

Radeon 8060S · 256 Go/s

ExcellentFait tourner Llama 3.2 3B Instruct Q4_K_M entièrement en mémoire

Prix indisponible

Disponibilité inconnue

Voir sur amazon.com

Lien affilié

Aucune offre importée pour ce marché : le lien ouvre une recherche sur la boutique.