Aller au contenu
Run LLM Locally

Modèles

Mémoire à la quantification par défaut (Q4_K_M, ou le format natif) avec un contexte de 8K. Ouvrez un modèle pour voir toutes les quantifications et le matériel compatible.

Modèles
ModèleFamilleParamètresContexte maxMémoire (Q4_K_M / MXFP4, 8K)
DeepSeek R1 Distill Llama 8BDeepSeekDeepSeek R1 Distill8,03B128K~6,7 Go
DeepSeek R1 Distill Qwen 14BDeepSeekDeepSeek R1 Distill14,8B128K~11,3 Go
DeepSeek R1 Distill Qwen 32BDeepSeekDeepSeek R1 Distill32,8B128K~22,6 Go
DeepSeek R1 Distill Llama 70BDeepSeekDeepSeek R1 Distill70,6B128K~45,8 Go
DeepSeek R1 (671B)DeepSeekDeepSeek V3671B37 Md actifs160K~403 Go
Gemma 3 4B ITGoogleGemma4,3B128K~4 Go
Gemma 2 9B ITGoogleGemma9,24B8K~8,6 Go
Gemma 3 12B ITGoogleGemma12,2B128K~9,2 Go
Gemma 2 27B ITGoogleGemma27,2B8K~19,6 Go
Gemma 3 27B ITGoogleGemma27,4B128K~18,6 Go
gpt-oss-20bOpenAIgpt-oss20,9B3.6 Md actifs128K~13,6 Go
gpt-oss-120bOpenAIgpt-oss116,8B5.1 Md actifs128K~71,2 Go
Llama 2 7BMetaLlama 26,74B4K~8,6 Go
Llama 3.2 1B InstructMetaLlama 31,24B128K~2 Go
Llama 3.2 3B InstructMetaLlama 33,21B128K~3,7 Go
Llama 3.1 8B InstructMetaLlama 38,03B128K~6,7 Go
Llama 3.3 70B InstructMetaLlama 370,6B128K~45,8 Go
Llama 4 Scout 17B-16E InstructMetaLlama 4109B17 Md actifs10M~67,8 Go
Mistral 7B Instruct v0.3Mistral AIMistral7,25B32K~6 Go
Mistral Nemo 12B InstructMistral AIMistral12,2B128K~9,4 Go
Mistral Small 3.2 24B InstructMistral AIMistral24B128K~16,5 Go
Mixtral 8x7B InstructMistral AIMistral46,7B12.9 Md actifs32K~29,6 Go
Phi-4 Mini Instruct 3.8BMicrosoftPhi3,8B128K~4,3 Go
Phi-4 14BMicrosoftPhi14,7B16K~11,2 Go
Qwen2.5 7B InstructAlibaba QwenQwen 2.57,61B128K~5,9 Go
Qwen2.5 14B InstructAlibaba QwenQwen 2.514,7B128K~11,2 Go
Qwen2.5 32B InstructAlibaba QwenQwen 2.532,5B128K~22,4 Go
Qwen2.5 Coder 32B InstructAlibaba QwenQwen 2.532,5B128K~22,4 Go
QwQ 32BAlibaba QwenQwen 2.532,5B128K~22,4 Go
Qwen2.5 72B InstructAlibaba QwenQwen 2.572,7B128K~47,1 Go
Qwen3 0.6BAlibaba QwenQwen 30,75B32K~2,4 Go
Qwen3 1.7BAlibaba QwenQwen 32,03B32K~3,1 Go
Qwen3 4BAlibaba QwenQwen 34B128K~4,5 Go
Qwen3 8BAlibaba QwenQwen 38,2B128K~6,9 Go
Qwen3 14BAlibaba QwenQwen 314,8B128K~11 Go
Qwen3 30B-A3BAlibaba QwenQwen 330,5B3.3 Md actifs128K~19,9 Go
Qwen3 Coder 30B-A3B InstructAlibaba QwenQwen 330,5B3.3 Md actifs256K~19,9 Go
Qwen3 32BAlibaba QwenQwen 332,8B128K~22,6 Go
Qwen3 235B-A22BAlibaba QwenQwen 3235B22 Md actifs128K~143 Go

EstimationDonnées mises à jour il y a 24 joursSource: moteur Run LLM Locally