Guides
Des explications claires, avec des chiffres issus du même moteur que le configurateur.
- Pour débuter
Le LLM local pour les nuls
Faire tourner une IA sur votre ordinateur, sans jargon : mémoire, taille des modèles, quantification, vitesse, premiers pas et lexique.
Combien de VRAM pour un LLM local ?
La formule de la mémoire d'un LLM — poids, cache KV, surcoût — avec la mémoire des modèles populaires à chaque quantification.
12 Go, 16 Go ou 24 Go de VRAM pour les LLM locaux
Ce que chaque palier de VRAM fait réellement tourner, de 8 à 32 Go, avec le plus grand modèle qui tient entièrement sur le GPU.
Q4, Q5 ou Q8 : quelle quantification pour un LLM local ?
Ce que les quantifications GGUF changent en mémoire et en qualité, et comment choisir entre Q4_K_M, Q5_K_M, Q6_K et Q8_0.
LLM locaux sur Mac : comment fonctionne la mémoire unifiée
Pourquoi 64 Go de mémoire unifiée ne font pas 64 Go de VRAM, combien le GPU peut en utiliser, et quels Mac font tourner quels modèles.
CPU ou GPU pour les LLM locaux : la bande passante décide
La génération lit chaque poids une fois par token. Voici pourquoi les GPU sont 10 fois plus rapides que les CPU, et quand un CPU suffit.