Radeon PRO W7900
AMD
ExcellentFait tourner gpt-oss-120b MXFP4 entièrement en mémoire
Modèle · OpenAI
gpt-oss-120b : VRAM et matériel nécessaires
En MXFP4 avec un contexte de 8K, gpt-oss-120b demande environ 71,2 Go : un GPU de 80 Go ou plus le fait tourner entièrement en VRAM.
- Paramètres116,8B
- Actifs5,1B
- Contexte max128K
- LicenceApache-2.0
Caractéristiques
- Organisation
- OpenAI
- Architecture
- gpt_oss
- Sortie
- août 2025
- Couches
- 36
- Dimension cachée
- 2880
- Têtes d'attention
- 64
- Têtes KV
- 8
- Dimension par tête
- 64
- Vocabulaire
- 201 088
- Cache KV pour 1K tokens (f16)
- 0,04 Go
- Dépôt
- openai/gpt-oss-120b
Spécification officielleDonnées mises à jour il y a 24 joursSource: Hugging Face config.json + model card
Quantifications et mémoire
| Quantification | Taille du fichier | Mémoire nécessaire | Mémoire GPU minimale | Qualité |
|---|---|---|---|---|
| MXFP4La plus utilisée | 59 Go | ~71,2 Go | 80 Go | Référence (non quantifié) |
Tailles de fichier : non disponibles tant qu'elles ne sont pas importées du dépôt du modèle. Mémoire = poids (estimés d'après les bits par poids) + cache KV + surcoût runtime + marge de sécurité. (MXFP4 ≈ 4,9 bpw)
Q4, Q5 ou Q8 : comment choisir sa quantification
Les GPU qui font tourner gpt-oss-120b
| RTX 509032 Go · 64 Go RAM~63,2 Go · 13–24 tok/s estimation | Possible mais lent |
|---|---|
| RTX 409024 Go · 64 Go RAM~63,2 Go · 10–20 tok/s estimation | Possible mais lent |
| RTX 309024 Go · 64 Go RAM~63,2 Go · 10–20 tok/s estimation | Possible mais lent |
| RX 7900 XTX24 Go · 64 Go RAM~63,3 Go · 9,5–19 tok/s estimation | Possible mais lent |
| RTX 5060 Ti 16 GB16 Go · 64 Go RAM~63,2 Go · 8,5–17 tok/s estimation | Possible mais lent |
| RTX 5070 Ti16 Go · 64 Go RAM~63,2 Go · 8,5–17 tok/s estimation | Possible mais lent |
| RTX 508016 Go · 64 Go RAM~63,2 Go · 8,5–17 tok/s estimation | Possible mais lent |
| RTX 4060 Ti 16 GB16 Go · 64 Go RAM~63,2 Go · 8,5–16 tok/s estimation | Possible mais lent |
| RTX 4070 Ti SUPER16 Go · 64 Go RAM~63,2 Go · 8,5–17 tok/s estimation | Possible mais lent |
| RX 9070 XT16 Go · 64 Go RAM~63,3 Go · 8,5–17 tok/s estimation | Possible mais lent |
| RTX 3060 12 GB12 Go · 64 Go RAM~63,2 Go · Pas de données | Incompatible |
| RTX 407012 Go · 64 Go RAM~63,2 Go · Pas de données | Incompatible |
| RTX 507012 Go · 64 Go RAM~63,2 Go · Pas de données | Incompatible |
| RTX 40608 Go · 64 Go RAM~63,2 Go · Pas de données | Incompatible |
Les Mac qui font tourner gpt-oss-120b
| M3 Ultra (80-core GPU) · 512 GoMac Studio~63 Go · 70–92 tok/s estimation | Excellent |
|---|---|
| M4 Max (40-core GPU) · 128 GoMacBook Pro 14, MacBook Pro 16~63 Go · 44–60 tok/s estimation | Excellent |
| M3 Max (40-core GPU) · 128 GoMacBook Pro 14, MacBook Pro 16~63 Go · 32–44 tok/s estimation | Excellent |
| M4 Pro (20-core GPU) · 64 GoMac mini, MacBook Pro 14~63 Go · Pas de données | Incompatible |
| M4 Max (32-core GPU) · 36 GoMacBook Pro 14, MacBook Pro 16~63 Go · Pas de données | Incompatible |
| M4 · 32 GoMacBook Air, MacBook Pro 14~63 Go · Pas de données | Incompatible |
| M5 · 32 GoMacBook Pro 14~63 Go · Pas de données | Incompatible |
| M3 · 24 GoMacBook Air, MacBook Pro 14~63 Go · Pas de données | Incompatible |
EstimationDonnées mises à jour il y a 24 joursSource: moteur Run LLM Locally
Les limites en clair
gpt-oss-120b est un modèle à mélange d'experts : ses 116,8 Md de paramètres doivent tous être en mémoire, mais seuls 5,1 Md sont lus par token ; il génère donc bien plus vite qu'un modèle dense de même taille.
Le cache KV grandit avec le contexte : à 32K, il ajoute environ 1,1 Go aux poids.
Avec moins de 8 Go de VRAM, choisissez une quantification plus petite ou un modèle plus petit de la même famille.
Où acheter
Les prix et les liens suivent le marché choisi.
NVIDIA DGX Spark (GB10)
PC à mémoire unifiée
ExcellentFait tourner gpt-oss-120b MXFP4 entièrement en mémoire
Aucune offre importée pour ce marché : le lien ouvre une recherche sur la boutique.
Questions fréquentes
Combien de VRAM faut-il pour gpt-oss-120b ?
Environ 71,2 Go en MXFP4 avec un contexte de 8K, cache KV et surcoût compris. En MXFP4, il faut environ 71,2 Go. Un contexte plus long ajoute davantage : environ 1,1 Go de cache KV à 32K.
gpt-oss-120b tourne-t-il sur Mac ?
Oui, sur un Mac dont le GPU peut utiliser au moins 63 Go, par exemple M4 Max (40-core GPU) 128 Go. Par défaut, macOS laisse le GPU utiliser environ deux tiers à trois quarts de la mémoire unifiée.
À quelle vitesse tourne gpt-oss-120b ?
Sur une RTX 4090, nous estimons 10–20 tok/s en MXFP4. C'est une estimation fondée sur la bande passante mémoire (confiance faible) tant que des benchmarks ne sont pas importés.