Le LLM local pour les nuls

Faire tourner une IA sur votre ordinateur, sans jargon : mémoire, taille des modèles, quantification, vitesse, premiers pas et lexique.

Vous utilisez peut-être déjà ChatGPT ou un autre assistant en ligne. Ces assistants tournent sur les serveurs d'une entreprise. Un LLM local, c'est le même genre d'assistant, mais il tourne directement sur votre ordinateur.

Ce guide part de zéro. Pas besoin d'être informaticien : on explique chaque mot, et un lexique vous attend à la fin.

Un LLM, c'est quoi ?

LLM veut dire Large Language Model, « grand modèle de langage ». C'est un programme qui a appris sur une énorme quantité de textes et qui sait faire une chose : prédire la suite la plus probable d'un texte. Vous posez une question, il écrit la réponse morceau par morceau. Ces morceaux s'appellent des tokens : un mot court, un bout de mot long ou un signe de ponctuation.

Concrètement, un modèle est un gros fichier que l'on télécharge. Il contient des milliards de nombres, les paramètres, qui sont ce que le modèle a appris. Pour s'en servir, il faut un logiciel qui charge ce fichier et vous permet de discuter avec lui.

Pourquoi le faire tourner chez soi ?

• Confidentialité : vos questions et vos documents ne quittent pas votre machine.
• Hors ligne : une fois le modèle téléchargé, plus besoin d'Internet.
• Pas d'abonnement : beaucoup de modèles et de logiciels se téléchargent gratuitement.
• Liberté : vous choisissez le modèle et vous le gardez ; personne ne le modifie à votre place.

Les limites, honnêtement

Les modèles qui tiennent sur un ordinateur personnel sont plus petits que ceux des grands services en ligne. Ils sont très utiles pour résumer, reformuler, rédiger, traduire ou aider à coder, mais moins sûrs sur les questions très pointues. Et tout dépend de votre matériel : c'est justement ce que ce site vous aide à vérifier.

La seule vraie question : la mémoire

Pour répondre vite, le modèle doit être chargé entièrement dans une mémoire rapide. Imaginez un plan de travail : si toutes les pièces du puzzle tiennent dessus, vous avancez vite ; s'il faut aller en chercher au grenier à chaque fois, tout ralentit.

Selon votre machine, ce plan de travail porte un nom différent :

• PC avec carte graphique : la VRAM, la mémoire de la carte graphique (8, 12, 16, 24 Go…). C'est la plus rapide.
• Mac Apple Silicon (puces M1 à M5) : la mémoire unifiée, partagée entre le processeur et la puce graphique. macOS en garde une partie : sur un Mac de 16 Go, le modèle dispose d'environ 10,7 Go par défaut.
• PC sans carte graphique : la RAM classique. Ça marche, mais nettement plus lentement.

Pour vous donner un ordre d'idée, d'après notre moteur de calcul et avec une conversation de taille normale (8K de contexte) : un petit modèle comme Llama 3.1 8B Instruct demande environ 6,7 Go, un gros modèle comme Llama 3.3 70B Instruct environ 45,8 Go. Le détail du calcul est dans le guide Combien de VRAM pour un LLM local ?

La taille d'un modèle : le « B »

Le nom des modèles contient souvent un nombre suivi d'un B : Llama 3.1 8B, Qwen3 32B… Le B veut dire billion, « milliard » en anglais : 8B signifie 8 milliards de paramètres.

La règle est simple : plus le nombre est grand, plus le modèle est capable… et plus il demande de mémoire. Pour débuter, un modèle d'environ 4 à 14B est un très bon point de départ.

Vous croiserez aussi des noms comme 30B-A3B. Ce sont des « mélanges d'experts » (MoE) : le modèle est gros, mais il n'utilise qu'une petite partie de ses paramètres à chaque token (ici environ 3B), ce qui le rend bien plus rapide que sa taille ne le laisse penser.

La compression : la quantification

Un modèle brut est trop lourd pour la plupart des machines. On le compresse donc, un peu comme une photo en JPEG : c'est la quantification. Elle se lit dans le nom du fichier : Q8, Q6, Q5, Q4, Q3…

Plus le chiffre est petit, plus le fichier est léger, avec un peu moins de qualité. Exemple avec Llama 3.1 8B Instruct : environ 10,2 Go en Q8_0, environ 6,7 Go en Q4_K_M.

Le bon réflexe : Q4_K_M. C'est le compromis le plus courant, avec une perte de qualité faible. Et mieux vaut un modèle moyen en Q4 qu'un très gros modèle compressé à l'extrême en Q2. Pour aller plus loin : Q4, Q5 ou Q8 : quelle quantification ?

La vitesse : les tokens par seconde

La vitesse se mesure en tokens par seconde (tok/s) : le nombre de morceaux de texte que le modèle écrit chaque seconde. Voici les repères qu'utilise notre moteur :

• 10 tok/s ou plus : confortable pour discuter.
• Entre 5 et 10 tok/s : utilisable, avec un peu de patience.
• Moins de 5 tok/s : lent ; sous 2 tok/s, nous le déconseillons.

Ce qui fait la vitesse, ce n'est pas tant la puissance de calcul que la bande passante mémoire : la vitesse à laquelle la machine peut relire le modèle, encore et encore, pour chaque token. C'est pour ça qu'une carte graphique va beaucoup plus vite qu'un processeur seul. Explications dans CPU ou GPU : la bande passante décide.

Que peut faire tourner ma machine ?

Quelques exemples calculés par notre moteur : pour chaque machine, le plus gros modèle de notre catalogue qui tient entièrement en mémoire rapide.

Votre machine n'est pas dans la liste ? Le configurateur vérifie n'importe quelle carte graphique ou n'importe quel Mac en quelques secondes.

Comment lire nos résultats

Pour chaque modèle, le site donne un verdict. Voici ce qu'il veut dire, en clair :

Excellent

Ça tient largement en mémoire rapide et ça va vite. Foncez.

Compatible

Ça tient en mémoire rapide. Ça marche bien.

Compatible avec limites

Ça tient, mais tout juste. Si le chargement échoue, raccourcissez la conversation ou prenez une quantification plus légère.

Offload CPU/GPU

Ça ne tient pas entièrement sur la carte graphique : une partie passe en RAM. Ça marche, mais plus lentement.

Possible mais lent

Ça démarre, mais la réponse s'écrit lentement.

Déconseillé

Possible en théorie, mais trop lent pour être agréable. Choisissez un modèle plus petit.

Incompatible

Pas assez de mémoire : le modèle ne peut pas se charger.

Inconnu

Il nous manque des données pour trancher. Nous préférons le dire plutôt que deviner.

Nos vitesses sont des estimations, données sous forme de fourchette avec un niveau de confiance. Quand un vrai test existe sur le même matériel, il est marqué « mesuré ». Tout est détaillé dans notre méthode.

Se lancer en 4 étapes

1. Vérifiez votre machine. Indiquez votre carte graphique ou votre Mac dans le configurateur : il liste les modèles qui tournent, avec la mémoire nécessaire et la vitesse estimée.
2. Installez un logiciel. Le plus simple pour débuter est LM Studio, une application avec une fenêtre de discussion. Ollama est une autre option populaire, à laquelle beaucoup d'applications savent se connecter. Les plus curieux iront voir llama.cpp, le moteur sur lequel s'appuient de nombreux outils.
3. Téléchargez un modèle. Depuis le logiciel, choisissez un modèle que le configurateur classe « Excellent » ou « Compatible » pour votre machine, de préférence en Q4_K_M. Le fichier pèse plusieurs gigaoctets : prévoyez la place sur le disque.
4. Discutez. Posez vos questions comme dans n'importe quel assistant. Tout se passe sur votre machine.

Les pièges de débutant

• Prendre le plus gros modèle possible. Un modèle qui déborde de la mémoire rapide devient très lent. Mieux vaut un modèle un peu plus petit qui tient entièrement.
• Oublier la longueur de la conversation. Plus la conversation (le contexte) est longue, plus elle prend de mémoire. Un modèle qui tient pour une courte discussion peut ne plus tenir avec un long document.
• Confondre la mémoire du Mac et la mémoire pour le modèle. Sur un Mac de 16 Go, le modèle ne dispose que d'environ 10,7 Go par défaut. Voir la mémoire unifiée expliquée.
• Confondre RAM et VRAM. 32 Go de RAM ne remplacent pas une carte graphique : le modèle tournera, mais lentement.

Le lexique du LLM local

LLM

Large Language Model, « grand modèle de langage ». Le cerveau de l'assistant : un gros fichier qui prédit la suite d'un texte.

Token

Un morceau de texte : mot court, bout de mot ou ponctuation. Les modèles lisent et écrivent token par token.

Paramètres (B)

Les nombres appris par le modèle. 8B = 8 milliards de paramètres. Plus il y en a, plus le modèle est capable et gourmand en mémoire.

VRAM

La mémoire de la carte graphique. Très rapide : c'est là que le modèle doit tenir sur un PC. En savoir plus

Mémoire unifiée

Sur les Mac Apple Silicon, la mémoire partagée entre le processeur et la puce graphique. macOS en garde une partie pour lui. En savoir plus

RAM

La mémoire principale de l'ordinateur. Bien plus lente que la VRAM pour faire tourner un modèle.

Quantification

La compression d'un modèle (Q8, Q5, Q4…). Moins de mémoire, un peu moins de qualité. Q4_K_M est le choix le plus courant. En savoir plus

GGUF

Le format de fichier le plus répandu pour les modèles locaux, utilisé notamment par llama.cpp, LM Studio et Ollama.

Contexte

La quantité de texte que le modèle garde en tête : votre conversation et les documents fournis. Se compte en tokens (8K ≈ 8 000 tokens).

Cache KV

La mémoire occupée par la conversation en cours. Elle grandit avec le contexte.

Offload

Quand le modèle ne tient pas sur la carte graphique, une partie est placée en RAM. Ça marche, mais plus lentement.

MoE (mélange d'experts)

Un modèle qui n'active qu'une partie de ses paramètres à chaque token, ce qui le rend plus rapide que sa taille ne le laisse penser.

Bande passante mémoire

La vitesse à laquelle la machine lit sa mémoire, en Go/s. C'est elle qui fixe la vitesse d'écriture du modèle. En savoir plus

Tokens par seconde (tok/s)

La vitesse d'écriture du modèle.

Inférence

Le fait de faire tourner un modèle pour obtenir une réponse, par opposition à son entraînement.

Backend (CUDA, ROCm, Metal…)

La technologie qui fait travailler la puce graphique : CUDA chez NVIDIA, ROCm chez AMD, Metal chez Apple.

Et maintenant ?

EstimationDonnées mises à jour il y a 24 joursSource: moteur Run LLM Locally