RTX 4090 vs RTX 5090 pour les LLM locaux
La VRAM décide des modèles qui tiennent entièrement sur le GPU ; la bande passante décide de leur vitesse. Voici la comparaison des deux cartes.
Laquelle choisir pour les LLM locaux ?
La RTX 5090 a plus de VRAM (32 Go contre 24 Go) : elle fait tourner de plus gros modèles entièrement sur le GPU.
La RTX 5090 a la plus grande bande passante mémoire (1 792 Go/s contre 1 008 Go/s) : elle devrait générer plus vite quand le modèle tient sur les deux.
RTX 4090 · Caractéristiques
- VRAM
- 24 Go GDDR6X
- Bande passante
- 1 008 Go/s
- Puissance
- 450 W
- Architecture
- Ada Lovelace
- Plus grand modèle entièrement en VRAM
- Qwen3 32B
Spécification officielleDonnées mises à jour il y a 38 joursSource: NVIDIA specifications
RTX 5090 · Caractéristiques
- VRAM
- 32 Go GDDR7
- Bande passante
- 1 792 Go/s
- Puissance
- 575 W
- Architecture
- Blackwell
- Plus grand modèle entièrement en VRAM
- Mixtral 8x7B Instruct
Spécification officielleDonnées mises à jour il y a 38 joursSource: NVIDIA specifications
| Modèle | RTX 4090 · 24 Go | RTX 5090 · 32 Go |
|---|---|---|
| Qwen3 32B | Compatible33–45 tok/s | Excellent53–77 tok/s |
| gpt-oss-20b | Excellent212–243 tok/s | Excellent264–291 tok/s |
| Qwen3 30B-A3B | Excellent125–209 tok/s | Excellent156–284 tok/s |
| Llama 3.1 8B Instruct | Excellent112–163 tok/s | Excellent171–269 tok/s |
| Qwen3 14B | Excellent68–95 tok/s | Excellent107–160 tok/s |
| Qwen3 8B | Excellent107–157 tok/s | Excellent161–256 tok/s |
| Llama 3.3 70B Instruct | Déconseillé0,9–1,7 tok/s | Possible mais lent1,4–2,5 tok/s |
| Gemma 3 27B IT | Excellent39–54 tok/s | Excellent62–92 tok/s |
Pour chaque modèle, la quantification la plus précise qui tient entièrement en mémoire rapide ; sinon celle au meilleur résultat. Vitesses en plages ; « estimation » sauf benchmark sur ce matériel exact.
EstimationDonnées mises à jour il y a 38 joursSource: moteur Run LLM Locally