Lexique du LLM local

Chaque terme expliqué en une ou deux phrases, avec des liens vers les guides pour aller plus loin.

LLM: Large Language Model, « grand modèle de langage ». Le cerveau de l'assistant : un gros fichier qui prédit la suite d'un texte.
Token: Un morceau de texte : mot court, bout de mot ou ponctuation. Les modèles lisent et écrivent token par token.
Paramètres (B): Les nombres appris par le modèle. 8B = 8 milliards de paramètres. Plus il y en a, plus le modèle est capable et gourmand en mémoire.
VRAM: La mémoire de la carte graphique. Très rapide : c'est là que le modèle doit tenir sur un PC. En savoir plus
Mémoire unifiée: Sur les Mac Apple Silicon, la mémoire partagée entre le processeur et la puce graphique. macOS en garde une partie pour lui. En savoir plus
RAM: La mémoire principale de l'ordinateur. Bien plus lente que la VRAM pour faire tourner un modèle.
Quantification: La compression d'un modèle (Q8, Q5, Q4…). Moins de mémoire, un peu moins de qualité. Q4_K_M est le choix le plus courant. En savoir plus
GGUF: Le format de fichier le plus répandu pour les modèles locaux, utilisé notamment par llama.cpp, LM Studio et Ollama.
Contexte: La quantité de texte que le modèle garde en tête : votre conversation et les documents fournis. Se compte en tokens (8K ≈ 8 000 tokens).
Cache KV: La mémoire occupée par la conversation en cours. Elle grandit avec le contexte.
Offload: Quand le modèle ne tient pas sur la carte graphique, une partie est placée en RAM. Ça marche, mais plus lentement.
MoE (mélange d'experts): Un modèle qui n'active qu'une partie de ses paramètres à chaque token, ce qui le rend plus rapide que sa taille ne le laisse penser.
Bande passante mémoire: La vitesse à laquelle la machine lit sa mémoire, en Go/s. C'est elle qui fixe la vitesse d'écriture du modèle. En savoir plus
Tokens par seconde (tok/s): La vitesse d'écriture du modèle.
Inférence: Le fait de faire tourner un modèle pour obtenir une réponse, par opposition à son entraînement.
Backend (CUDA, ROCm, Metal…): La technologie qui fait travailler la puce graphique : CUDA chez NVIDIA, ROCm chez AMD, Metal chez Apple.