GeForce RTX 4060 Ti 16 GB
NVIDIA
ExcellentFait tourner gpt-oss-20b MXFP4 entièrement en mémoire
Modèle · OpenAI
gpt-oss-20b : VRAM et matériel nécessaires
En MXFP4 avec un contexte de 8K, gpt-oss-20b demande environ 13,6 Go : un GPU de 16 Go ou plus le fait tourner entièrement en VRAM.
- Paramètres20,9B
- Actifs3,6B
- Contexte max128K
- LicenceApache-2.0
Caractéristiques
- Organisation
- OpenAI
- Architecture
- gpt_oss
- Sortie
- août 2025
- Couches
- 24
- Dimension cachée
- 2880
- Têtes d'attention
- 64
- Têtes KV
- 8
- Dimension par tête
- 64
- Vocabulaire
- 201 088
- Cache KV pour 1K tokens (f16)
- 0,026 Go
- Dépôt
- openai/gpt-oss-20b
Spécification officielleDonnées mises à jour il y a 24 joursSource: Hugging Face config.json + model card
Quantifications et mémoire
| Quantification | Taille du fichier | Mémoire nécessaire | Mémoire GPU minimale | Qualité |
|---|---|---|---|---|
| MXFP4La plus utilisée | 11,3 Go | ~13,6 Go | 16 Go | Référence (non quantifié) |
Tailles de fichier : non disponibles tant qu'elles ne sont pas importées du dépôt du modèle. Mémoire = poids (estimés d'après les bits par poids) + cache KV + surcoût runtime + marge de sécurité. (MXFP4 ≈ 4,9 bpw)
Q4, Q5 ou Q8 : comment choisir sa quantification
Les GPU qui font tourner gpt-oss-20b
| RTX 509032 Go · 64 Go RAM~13 Go · 264–291 tok/s mesuré | Excellent |
|---|---|
| RTX 409024 Go · 64 Go RAM~13 Go · 212–243 tok/s mesuré | Excellent |
| RTX 309024 Go · 64 Go RAM~13 Go · 147–163 tok/s mesuré | Excellent |
| RX 7900 XTX24 Go · 64 Go RAM~13 Go · 146–201 tok/s estimation | Excellent |
| RTX 5060 Ti 16 GB16 Go · 64 Go RAM~13 Go · 96–117 tok/s mesuré | Excellent |
| RTX 5070 Ti16 Go · 64 Go RAM~13 Go · 163–199 tok/s mesuré | Excellent |
| RTX 508016 Go · 64 Go RAM~13 Go · 176–215 tok/s mesuré | Excellent |
| RTX 4060 Ti 16 GB16 Go · 64 Go RAM~13 Go · 82–91 tok/s mesuré | Excellent |
| RTX 4070 Ti SUPER16 Go · 64 Go RAM~13 Go · 85–234 tok/s estimation | Excellent |
| RX 9070 XT16 Go · 64 Go RAM~13 Go · 97–134 tok/s estimation | Excellent |
| RTX 3060 12 GB12 Go · 64 Go RAM~13 Go · 41–75 tok/s estimation | Offload CPU/GPU |
| RTX 407012 Go · 64 Go RAM~13 Go · 46–88 tok/s estimation | Offload CPU/GPU |
| RTX 507012 Go · 64 Go RAM~13 Go · 51–98 tok/s estimation | Offload CPU/GPU |
| RTX 40608 Go · 64 Go RAM~13 Go · 18–33 tok/s estimation | Offload CPU/GPU |
Les Mac qui font tourner gpt-oss-20b
| M3 Ultra (80-core GPU) · 512 GoMac Studio~12,8 Go · 105–116 tok/s mesuré | Excellent |
|---|---|
| M4 Max (40-core GPU) · 128 GoMacBook Pro 14, MacBook Pro 16~12,8 Go · 62–140 tok/s estimation | Excellent |
| M3 Max (40-core GPU) · 128 GoMacBook Pro 14, MacBook Pro 16~12,8 Go · 45–103 tok/s estimation | Excellent |
| M4 Pro (20-core GPU) · 64 GoMac mini, MacBook Pro 14~12,8 Go · 31–70 tok/s estimation | Excellent |
| M4 Max (32-core GPU) · 36 GoMacBook Pro 14, MacBook Pro 16~12,8 Go · 85–94 tok/s mesuré | Excellent |
| M4 · 32 GoMacBook Air, MacBook Pro 14~12,8 Go · 14–31 tok/s estimation | Excellent |
| M5 · 32 GoMacBook Pro 14~12,8 Go · 18–39 tok/s estimation | Excellent |
| M3 · 24 GoMacBook Air, MacBook Pro 14~12,8 Go · 12–26 tok/s estimation | Excellent |
EstimationDonnées mises à jour il y a 24 joursSource: moteur Run LLM Locally
Les limites en clair
gpt-oss-20b est un modèle à mélange d'experts : ses 20,9 Md de paramètres doivent tous être en mémoire, mais seuls 3,6 Md sont lus par token ; il génère donc bien plus vite qu'un modèle dense de même taille.
Le cache KV grandit avec le contexte : à 32K, il ajoute environ 0,8 Go aux poids.
Avec moins de 8 Go de VRAM, choisissez une quantification plus petite ou un modèle plus petit de la même famille.
Où acheter
Les prix et les liens suivent le marché choisi.
Radeon RX 7600 XT
AMD
ExcellentFait tourner gpt-oss-20b MXFP4 entièrement en mémoire
AMD Ryzen AI Max+ 395
PC à mémoire unifiée
ExcellentFait tourner gpt-oss-20b MXFP4 entièrement en mémoire
Aucune offre importée pour ce marché : le lien ouvre une recherche sur la boutique.
Questions fréquentes
Combien de VRAM faut-il pour gpt-oss-20b ?
Environ 13,6 Go en MXFP4 avec un contexte de 8K, cache KV et surcoût compris. En MXFP4, il faut environ 13,6 Go. Un contexte plus long ajoute davantage : environ 0,8 Go de cache KV à 32K.
gpt-oss-20b tourne-t-il sur Mac ?
Oui, sur un Mac dont le GPU peut utiliser au moins 12,8 Go, par exemple M3 24 Go. Par défaut, macOS laisse le GPU utiliser environ deux tiers à trois quarts de la mémoire unifiée.
À quelle vitesse tourne gpt-oss-20b ?
Sur une RTX 4090, nous estimons 212–243 tok/s en MXFP4. C'est une estimation fondée sur la bande passante mémoire (confiance moyenne) tant que des benchmarks ne sont pas importés.