Débutant ?Lisez « Le LLM local pour les nuls »

Trouvez le LLM adapté à votre machine

Indiquez votre GPU ou votre Mac pour voir les modèles qui tournent, la mémoire qu'ils demandent et une vitesse estimée. Ou choisissez un modèle et voyez le matériel qui le fait tourner.

Type de machine

Carte graphique

RAM système (Go)

Options avancées8K tokens · cache KV f16

Les valeurs par défaut conviennent à la plupart des usages. Vous pouvez ignorer cette section.

Longueur de contexte

Quantité de texte que le modèle garde en mémoire. 8K suffit pour discuter ; les longs documents demandent 32K ou plus. C'est quoi ?

Type de cache KV

Laissez f16 si vous ne savez pas. q8_0 divise environ par deux la mémoire de la conversation, q4_0 par près de quatre ; l'option doit aussi être activée dans votre logiciel. C'est quoi ?

Nombre de GPU identiques

Processeur

Sert à estimer la vitesse de la RAM, utilisée seulement par la partie du modèle qui ne tient pas sur la carte graphique.

Parcourir les modèles Parcourir les GPU Parcourir les Mac