CPU ou GPU pour les LLM locaux : la bande passante décide
La génération lit chaque poids une fois par token. Voici pourquoi les GPU sont 10 fois plus rapides que les CPU, et quand un CPU suffit.
Pour générer chaque token, le modèle doit lire tous ses poids actifs en mémoire. La vitesse de génération est donc limitée par la bande passante mémoire, bien plus que par la puissance de calcul. Une plateforme de bureau en DDR5 double canal offre environ 90 Go/s ; une RTX 3090, 936 Go/s. D'où un facteur 10 sur la vitesse.
| Machine | Bande passante | Vitesse de génération |
|---|---|---|
| Ryzen 7 9700X (DDR5-5600, 2 ch.) | 89,6 Go/s | 8–13 tok/s |
| Apple M4 Pro (20-core GPU) | 273 Go/s | 30–47 tok/s |
| RTX 3060 12 GB | 360 Go/s | 47–64 tok/s |
| RTX 4070 | 504 Go/s | 63–88 tok/s |
| RTX 3090 | 936 Go/s | 105–154 tok/s |
| RTX 5090 | 1 792 Go/s | 167–268 tok/s |
Qwen3 8B Q4_K_M · estimation · bande passante mémoire (… Go/s) et taille du modèle
Un CPU reste viable pour les petits modèles et les mélanges d'experts, qui lisent peu de poids par token : Qwen3 30B-A3B n'active que 3,3 milliards de paramètres par token. Ces vitesses sont des estimations théoriques (confiance faible) ; les benchmarks réels les remplaceront dès qu'ils seront importés.
EstimationDonnées mises à jour il y a 24 joursSource: moteur Run LLM Locally