RTX 3090 vs RX 7900 XTX pour les LLM locaux
La VRAM décide des modèles qui tiennent entièrement sur le GPU ; la bande passante décide de leur vitesse. Voici la comparaison des deux cartes.
Laquelle choisir pour les LLM locaux ?
Les deux cartes ont 24 Go de VRAM : les mêmes modèles tiennent sur les deux.
La RX 7900 XTX a la plus grande bande passante mémoire (960 Go/s contre 936 Go/s) : elle devrait générer plus vite quand le modèle tient sur les deux.
RTX 3090 · Caractéristiques
- VRAM
- 24 Go GDDR6X
- Bande passante
- 936 Go/s
- Puissance
- 350 W
- Architecture
- Ampere
- Plus grand modèle entièrement en VRAM
- Qwen3 32B
Spécification officielleDonnées mises à jour il y a 38 joursSource: NVIDIA specifications
RX 7900 XTX · Caractéristiques
- VRAM
- 24 Go GDDR6
- Bande passante
- 960 Go/s
- Puissance
- 355 W
- Architecture
- RDNA 3
- Plus grand modèle entièrement en VRAM
- Qwen3 32B
Spécification officielleDonnées mises à jour il y a 38 joursSource: AMD specifications
| Modèle | RTX 3090 · 24 Go | RX 7900 XTX · 24 Go |
|---|---|---|
| Qwen3 32B | Compatible31–42 tok/s | Compatible27–39 tok/s |
| gpt-oss-20b | Excellent147–163 tok/s | Excellent146–201 tok/s |
| Qwen3 30B-A3B | Excellent120–200 tok/s | Compatible81–149 tok/s |
| Llama 3.1 8B Instruct | Excellent106–153 tok/s | Excellent89–137 tok/s |
| Qwen3 14B | Excellent63–89 tok/s | Excellent55–82 tok/s |
| Qwen3 8B | Excellent101–147 tok/s | Excellent84–131 tok/s |
| Llama 3.3 70B Instruct | Déconseillé0,9–1,7 tok/s | Déconseillé0,9–1,7 tok/s |
| Gemma 3 27B IT | Excellent37–51 tok/s | Excellent32–47 tok/s |
Pour chaque modèle, la quantification la plus précise qui tient entièrement en mémoire rapide ; sinon celle au meilleur résultat. Vitesses en plages ; « estimation » sauf benchmark sur ce matériel exact.
EstimationDonnées mises à jour il y a 38 joursSource: moteur Run LLM Locally