Siirry sisältöön
fedi.software

Mikä avoin malli sopii laitteistollesi — 2026

Avoimen painon mallit suhteessa suosittuihin näytönohjaimiin ja tietokoneisiin: suositeltu kvantisointi (suurin enintään Q8, joka antaa yhä vähintään 10 tokenia sekunnissa, muuten Q4-luokan; alle Q3 vain, jos mikään muu ei mahdu), missä malli toimii (näytönohjaimen muisti, yhteinen muisti tai siirrettynä RAM-muistiin) ja likimääräinen generointinopeus.

Malli Parametrit
Qwen2.5 3B Instruct HF 3.1B Q8_0≈84 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈67 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈218 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈235 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈417 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈417 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈168 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈136 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈115 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈111 tok/s Mahtuu yhteiseen muistiin Q8_0≈167 tok/s Mahtuu yhteiseen muistiin Q8_0≈52 tok/s Mahtuu yhteiseen muistiin Q8_0≈56 tok/s Mahtuu yhteiseen muistiin Q8_0≈15,0 tok/s Mahtuu RAM-muistiin (CPU) Q8_0≈34 tok/s Mahtuu RAM-muistiin (CPU)
Llama 3.2 3B Instruct HF 3.2B Q8_0≈74 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈59 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈192 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈207 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈368 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈368 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈148 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈120 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈101 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈98 tok/s Mahtuu yhteiseen muistiin Q8_0≈147 tok/s Mahtuu yhteiseen muistiin Q8_0≈46 tok/s Mahtuu yhteiseen muistiin Q8_0≈49 tok/s Mahtuu yhteiseen muistiin Q8_0≈14,3 tok/s Mahtuu RAM-muistiin (CPU) Q8_0≈32 tok/s Mahtuu RAM-muistiin (CPU)
Gemma 3 4B HF 4.3B Q8_0≈67 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈54 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈175 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈189 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈335 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈335 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈135 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈109 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈92 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈89 tok/s Mahtuu yhteiseen muistiin Q8_0≈134 tok/s Mahtuu yhteiseen muistiin Q8_0≈42 tok/s Mahtuu yhteiseen muistiin Q8_0≈45 tok/s Mahtuu yhteiseen muistiin Q8_0≈13,8 tok/s Mahtuu RAM-muistiin (CPU) Q8_0≈31 tok/s Mahtuu RAM-muistiin (CPU)
Llama 3.1 8B Instruct HF 8B UD-Q6_K_XL≈37 tok/s Mahtuu näytönohjaimen muistiin UD-Q6_K_XL≈29 tok/s Mahtuu näytönohjaimen muistiin UD-Q6_K_XL≈95 tok/s Mahtuu näytönohjaimen muistiin UD-Q6_K_XL≈103 tok/s Mahtuu näytönohjaimen muistiin UD-Q6_K_XL≈182 tok/s Mahtuu näytönohjaimen muistiin UD-Q6_K_XL≈182 tok/s Mahtuu näytönohjaimen muistiin UD-Q6_K_XL≈73 tok/s Mahtuu näytönohjaimen muistiin UD-Q6_K_XL≈59 tok/s Mahtuu näytönohjaimen muistiin UD-Q6_K_XL≈50 tok/s Mahtuu näytönohjaimen muistiin UD-Q6_K_XL≈49 tok/s Mahtuu yhteiseen muistiin UD-Q6_K_XL≈73 tok/s Mahtuu yhteiseen muistiin UD-Q6_K_XL≈23 tok/s Mahtuu yhteiseen muistiin UD-Q6_K_XL≈24 tok/s Mahtuu yhteiseen muistiin UD-Q6_K_XL≈10,3 tok/s Mahtuu RAM-muistiin (CPU) UD-Q6_K_XL≈23 tok/s Mahtuu RAM-muistiin (CPU)
Qwen3 8B HF 8.2B Q8_0≈31 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈25 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈80 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈87 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈154 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈154 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈62 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈50 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈42 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈41 tok/s Mahtuu yhteiseen muistiin Q8_0≈62 tok/s Mahtuu yhteiseen muistiin Q8_0≈19,2 tok/s Mahtuu yhteiseen muistiin Q8_0≈21 tok/s Mahtuu yhteiseen muistiin UD-Q6_K_XL≈10,2 tok/s Mahtuu RAM-muistiin (CPU) Q8_0≈21 tok/s Mahtuu RAM-muistiin (CPU)
Gemma 3 12B HF 12.2B UD-Q5_K_XL≈32 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈17,8 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈58 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈62 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈111 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈111 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈44 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈36 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈30 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈30 tok/s Mahtuu yhteiseen muistiin Q8_0≈44 tok/s Mahtuu yhteiseen muistiin Q8_0≈13,8 tok/s Mahtuu yhteiseen muistiin Q8_0≈14,8 tok/s Mahtuu yhteiseen muistiin Q4_1≈10,2 tok/s Mahtuu RAM-muistiin (CPU) Q8_0≈17,1 tok/s Mahtuu RAM-muistiin (CPU)
Qwen3 14B HF 14.8B Q4_K_M≈30 tok/s Mahtuu näytönohjaimen muistiin Q6_K≈18,0 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈46 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈49 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈88 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈88 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈35 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈29 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈24 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈23 tok/s Mahtuu yhteiseen muistiin Q8_0≈35 tok/s Mahtuu yhteiseen muistiin Q8_0≈10,9 tok/s Mahtuu yhteiseen muistiin Q8_0≈11,7 tok/s Mahtuu yhteiseen muistiin UD-Q3_K_XL≈10,1 tok/s Mahtuu RAM-muistiin (CPU) Q8_0≈14,6 tok/s Mahtuu RAM-muistiin (CPU)
gpt-oss-20b HFMoE 20.9B / 3.6B MXFP4≈53 tok/s Toimii siirrolla RAM-muistiin MXFP4≈55 tok/s Mahtuu näytönohjaimen muistiin MXFP4162 tok/smitattu Mahtuu näytönohjaimen muistiin MXFP4≈194 tok/s Mahtuu näytönohjaimen muistiin MXFP4≈344 tok/s Mahtuu näytönohjaimen muistiin MXFP4≈344 tok/s Mahtuu näytönohjaimen muistiin MXFP4≈138 tok/s Mahtuu näytönohjaimen muistiin MXFP4≈112 tok/s Mahtuu näytönohjaimen muistiin MXFP4≈95 tok/s Mahtuu näytönohjaimen muistiin MXFP4≈80 tok/s Mahtuu yhteiseen muistiin MXFP4116 tok/smitattu Mahtuu yhteiseen muistiin MXFP4≈59 tok/s Mahtuu yhteiseen muistiin MXFP4≈62 tok/s Mahtuu yhteiseen muistiin MXFP4≈17,2 tok/s Mahtuu RAM-muistiin (CPU) MXFP4≈39 tok/s Mahtuu RAM-muistiin (CPU)
Mistral Small 3.2 24B HF 24B Q3_K_M≈10,2 tok/s Toimii siirrolla RAM-muistiin UD-Q3_K_XL≈18,4 tok/s Mahtuu näytönohjaimen muistiin Q6_K≈37 tok/s Mahtuu näytönohjaimen muistiin Q6_K≈40 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈56 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈56 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈22 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈18,2 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈15,3 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈14,9 tok/s Mahtuu yhteiseen muistiin Q8_0≈22 tok/s Mahtuu yhteiseen muistiin Q5_K_M≈10,3 tok/s Mahtuu yhteiseen muistiin Q5_K_M≈11,0 tok/s Mahtuu yhteiseen muistiin Q4_K_M≈6,9 tok/s Mahtuu RAM-muistiin (CPU) Q8_0≈10,3 tok/s Mahtuu RAM-muistiin (CPU)
Gemma 4 26B A4B HFMoE 25.8B / 3.8B UD-Q8_K_XL≈14,7 tok/s Toimii siirrolla RAM-muistiin UD-Q3_K_M≈56 tok/s Mahtuu näytönohjaimen muistiin UD-Q5_K_S≈129 tok/s Mahtuu näytönohjaimen muistiin UD-Q5_K_S≈139 tok/s Mahtuu näytönohjaimen muistiin UD-Q8_K_XL≈173 tok/s Mahtuu näytönohjaimen muistiin UD-Q8_K_XL≈173 tok/s Mahtuu näytönohjaimen muistiin UD-Q8_K_XL≈70 tok/s Mahtuu näytönohjaimen muistiin UD-Q8_K_XL≈57 tok/s Mahtuu näytönohjaimen muistiin UD-Q8_K_XL≈48 tok/s Mahtuu näytönohjaimen muistiin UD-Q8_K_XL≈40 tok/s Mahtuu yhteiseen muistiin UD-Q8_K_XL≈60 tok/s Mahtuu yhteiseen muistiin UD-Q8_K_XL≈29 tok/s Mahtuu yhteiseen muistiin UD-Q8_K_XL≈31 tok/s Mahtuu yhteiseen muistiin UD-Q8_K_XL≈13,7 tok/s Mahtuu RAM-muistiin (CPU) UD-Q8_K_XL≈31 tok/s Mahtuu RAM-muistiin (CPU)
Gemma 3 27B HF 27.4B UD-IQ3_XXS≈12,7 tok/s Toimii siirrolla RAM-muistiin Q3_K_S≈18,1 tok/s Mahtuu näytönohjaimen muistiin UD-Q5_K_XL≈38 tok/s Mahtuu näytönohjaimen muistiin UD-Q5_K_XL≈41 tok/s Mahtuu näytönohjaimen muistiin UD-Q6_K_XL≈59 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈49 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈19,7 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈16,0 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈13,5 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈13,1 tok/s Mahtuu yhteiseen muistiin Q8_0≈19,6 tok/s Mahtuu yhteiseen muistiin Q4_1≈10,1 tok/s Mahtuu yhteiseen muistiin Q4_1≈10,8 tok/s Mahtuu yhteiseen muistiin Q4_K_M≈6,3 tok/s Mahtuu RAM-muistiin (CPU) UD-Q6_K_XL≈10,8 tok/s Mahtuu RAM-muistiin (CPU)
Qwen3 30B A3B HFMoE 30.5B / 3.3B Q8_0≈16,4 tok/s Toimii siirrolla RAM-muistiin Q3_K_S≈66 tok/s Mahtuu näytönohjaimen muistiin Q4_K_M154 tok/smitattu Mahtuu näytönohjaimen muistiin Q5_K_S≈158 tok/s Mahtuu näytönohjaimen muistiin UD-Q6_K_XL≈232 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈192 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈77 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈63 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈53 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈45 tok/s Mahtuu yhteiseen muistiin Q8_0≈67 tok/s Mahtuu yhteiseen muistiin Q8_0≈33 tok/s Mahtuu yhteiseen muistiin Q8_0≈35 tok/s Mahtuu yhteiseen muistiin Q8_0≈14,3 tok/s Mahtuu RAM-muistiin (CPU) Q8_0≈32 tok/s Mahtuu RAM-muistiin (CPU)
Gemma 4 31B HF 31.3B Q4_K_M≈3,8 tok/s Toimii siirrolla RAM-muistiin Q3_K_S≈10,4 tok/s Toimii siirrolla RAM-muistiin Q4_1≈37 tok/s Mahtuu näytönohjaimen muistiin Q4_1≈40 tok/s Mahtuu näytönohjaimen muistiin Q6_K≈55 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈43 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈17,1 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈13,9 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈11,7 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈11,3 tok/s Mahtuu yhteiseen muistiin Q8_0≈17,0 tok/s Mahtuu yhteiseen muistiin IQ4_XS≈10,3 tok/s Mahtuu yhteiseen muistiin Q4_K_S≈10,3 tok/s Mahtuu yhteiseen muistiin Q4_K_M≈5,7 tok/s Mahtuu RAM-muistiin (CPU) Q6_K≈10,1 tok/s Mahtuu RAM-muistiin (CPU)
Qwen3 32B HF 32.8B Q4_K_M≈3,7 tok/s Toimii siirrolla RAM-muistiin UD-IQ3_XXS≈14,1 tok/s Toimii siirrolla RAM-muistiin UD-Q4_K_XL≈35 tok/s Mahtuu näytönohjaimen muistiin UD-Q4_K_XL≈38 tok/s Mahtuu näytönohjaimen muistiin Q6_K≈51 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈40 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈16,0 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈13,0 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈11,0 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈10,6 tok/s Mahtuu yhteiseen muistiin Q8_0≈16,0 tok/s Mahtuu yhteiseen muistiin UD-Q3_K_XL≈10,3 tok/s Mahtuu yhteiseen muistiin IQ4_XS≈10,2 tok/s Mahtuu yhteiseen muistiin Q4_K_M≈5,4 tok/s Mahtuu RAM-muistiin (CPU) Q5_K_M≈10,8 tok/s Mahtuu RAM-muistiin (CPU)
Qwen3.5 35B A3B HFMoE 36B / 3B Q8_0≈17,9 tok/s Toimii siirrolla RAM-muistiin Q8_0≈18,7 tok/s Toimii siirrolla RAM-muistiin Q4_K_S≈191 tok/s Mahtuu näytönohjaimen muistiin Q4_K_S≈205 tok/s Mahtuu näytönohjaimen muistiin Q6_K≈274 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈220 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈89 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈72 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈61 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈51 tok/s Mahtuu yhteiseen muistiin Q8_0≈77 tok/s Mahtuu yhteiseen muistiin Q8_0≈37 tok/s Mahtuu yhteiseen muistiin Q8_0≈40 tok/s Mahtuu yhteiseen muistiin Q8_0≈15,0 tok/s Mahtuu RAM-muistiin (CPU) Q8_0≈34 tok/s Mahtuu RAM-muistiin (CPU)
Llama 3.3 70B Instruct HF 70.6B Q4_K_M≈1,3 tok/s Toimii siirrolla RAM-muistiin Q4_K_M≈1,4 tok/s Toimii siirrolla RAM-muistiin Q4_K_M≈2,0 tok/s Toimii siirrolla RAM-muistiin Q4_K_M≈2,0 tok/s Toimii siirrolla RAM-muistiin UD-IQ3_XXS≈49 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈18,8 tok/s Mahtuu näytönohjaimen muistiin Q4_K_M16,3 tok/smitattu Mahtuu näytönohjaimen muistiin Q4_1≈10,3 tok/s Mahtuu näytönohjaimen muistiin IQ4_XS≈10,0 tok/s Mahtuu näytönohjaimen muistiin UD-Q3_K_XL≈10,6 tok/s Mahtuu yhteiseen muistiin Q5_K_M≈11,2 tok/s Mahtuu yhteiseen muistiin Q4_K_M≈4,1 tok/s Mahtuu yhteiseen muistiin Q4_K_M≈4,4 tok/s Mahtuu yhteiseen muistiin Q4_K_M≈2,9 tok/s Mahtuu RAM-muistiin (CPU) Q4_K_M≈6,6 tok/s Mahtuu RAM-muistiin (CPU)
Qwen3 Next 80B A3B Instruct HFMoE 81.3B / 3B Q5_K_M≈24 tok/s Toimii siirrolla RAM-muistiin Q6_K≈21 tok/s Toimii siirrolla RAM-muistiin UD-Q6_K_XL≈26 tok/s Toimii siirrolla RAM-muistiin UD-Q6_K_XL≈26 tok/s Toimii siirrolla RAM-muistiin UD-Q6_K_XL≈31 tok/s Toimii siirrolla RAM-muistiin Q8_0≈213 tok/s Mahtuu näytönohjaimen muistiin Q4_K_S≈145 tok/s Mahtuu näytönohjaimen muistiin UD-Q6_K_XL≈84 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈59 tok/s Mahtuu näytönohjaimen muistiin Q8_0≈49 tok/s Mahtuu yhteiseen muistiin Q8_0≈74 tok/s Mahtuu yhteiseen muistiin Q8_0≈36 tok/s Mahtuu yhteiseen muistiin Q8_0≈39 tok/s Mahtuu yhteiseen muistiin Q8_0≈14,8 tok/s Mahtuu RAM-muistiin (CPU) Q8_0≈33 tok/s Mahtuu RAM-muistiin (CPU)
GLM 4.5 Air HFMoE 110B / 17B Q4_0≈5,3 tok/s Toimii siirrolla RAM-muistiin Q4_K_S≈5,1 tok/s Toimii siirrolla RAM-muistiin Q4_K_M≈5,6 tok/s Toimii siirrolla RAM-muistiin Q4_K_M≈5,7 tok/s Toimii siirrolla RAM-muistiin Q3_K_M≈10,2 tok/s Toimii siirrolla RAM-muistiin Q5_K_M≈55 tok/s Mahtuu näytönohjaimen muistiin Q4_0≈10,0 tok/s Toimii siirrolla RAM-muistiin UD-Q4_K_XL≈22 tok/s Mahtuu näytönohjaimen muistiin Q5_K_M≈15,2 tok/s Mahtuu näytönohjaimen muistiin Q5_K_M≈12,8 tok/s Mahtuu yhteiseen muistiin Q8_0≈13,9 tok/s Mahtuu yhteiseen muistiin Q4_K_M≈10,6 tok/s Mahtuu yhteiseen muistiin Q5_K_M≈10,0 tok/s Mahtuu yhteiseen muistiin Q4_K_M≈8,0 tok/s Mahtuu RAM-muistiin (CPU) Q8_0≈13,1 tok/s Mahtuu RAM-muistiin (CPU)
gpt-oss-120b HFMoE 117B / 5.1B MXFP4≈19,1 tok/s Toimii siirrolla RAM-muistiin MXFP4≈19,6 tok/s Toimii siirrolla RAM-muistiin MXFP426–28 tok/smitattu Toimii siirrolla RAM-muistiin MXFP4≈25 tok/s Toimii siirrolla RAM-muistiin MXFP4≈31 tok/s Toimii siirrolla RAM-muistiin MXFP4≈258 tok/s Mahtuu näytönohjaimen muistiin MXFP4≈36 tok/s Toimii siirrolla RAM-muistiin MXFP441–73 tok/smitattu Mahtuu näytönohjaimen muistiin MXFP4≈71 tok/s Mahtuu näytönohjaimen muistiin MXFP4≈60 tok/s Mahtuu yhteiseen muistiin MXFP4≈90 tok/s Mahtuu yhteiseen muistiin MXFP450 tok/smitattu Mahtuu yhteiseen muistiin MXFP461 tok/smitattu Mahtuu yhteiseen muistiin MXFP4≈15,8 tok/s Mahtuu RAM-muistiin (CPU) MXFP4≈36 tok/s Mahtuu RAM-muistiin (CPU)
Qwen3.5 122B A10B HFMoE 125B / 10B UD-IQ4_NL≈10,5 tok/s Toimii siirrolla RAM-muistiin UD-IQ4_NL≈10,8 tok/s Toimii siirrolla RAM-muistiin Q4_K_S≈11,1 tok/s Toimii siirrolla RAM-muistiin Q4_K_S≈11,2 tok/s Toimii siirrolla RAM-muistiin UD-Q4_K_XL≈11,9 tok/s Toimii siirrolla RAM-muistiin UD-Q5_K_XL≈97 tok/s Mahtuu näytönohjaimen muistiin UD-IQ3_XXS≈76 tok/s Mahtuu näytönohjaimen muistiin UD-IQ4_NL≈46 tok/s Mahtuu näytönohjaimen muistiin UD-Q5_K_XL≈27 tok/s Mahtuu näytönohjaimen muistiin UD-Q5_K_XL≈23 tok/s Mahtuu yhteiseen muistiin Q8_0≈24 tok/s Mahtuu yhteiseen muistiin Q6_K≈15,1 tok/s Mahtuu yhteiseen muistiin Q6_K≈16,1 tok/s Mahtuu yhteiseen muistiin UD-Q5_K_XL≈10,4 tok/s Mahtuu RAM-muistiin (CPU) Q8_0≈19,3 tok/s Mahtuu RAM-muistiin (CPU)
Qwen3 235B A22B HFMoE 235B / 22B ✕ Ei mahdu ✕ Ei mahdu ✕ Ei mahdu ✕ Ei mahdu ✕ Ei mahdu UD-Q4_K_XL≈10,8 tok/s Toimii siirrolla RAM-muistiin UD-Q2_K_XL≈8,0 tok/svoimakas pakkaus Toimii siirrolla RAM-muistiin Q3_K_M≈6,1 tok/s Toimii siirrolla RAM-muistiin UD-Q3_K_XL≈11,7 tok/s Toimii siirrolla RAM-muistiin UD-Q2_K_XL≈19,4 tok/svoimakas pakkaus Mahtuu yhteiseen muistiin Q8_0≈10,8 tok/s Mahtuu yhteiseen muistiin UD-Q3_K_XL≈12,2 tok/s Mahtuu yhteiseen muistiin UD-Q3_K_XL≈13,0 tok/s Mahtuu yhteiseen muistiin Q4_K_M≈7,2 tok/s Mahtuu RAM-muistiin (CPU) Q8_0≈10,9 tok/s Mahtuu RAM-muistiin (CPU)
GLM 4.7 HFMoE 358B / 39.2B ✕ Ei mahdu ✕ Ei mahdu ✕ Ei mahdu ✕ Ei mahdu ✕ Ei mahdu UD-IQ3_XXS≈7,3 tok/s Toimii siirrolla RAM-muistiin UD-IQ1_S≈5,6 tok/svoimakas pakkaus Toimii siirrolla RAM-muistiin UD-IQ2_XXS≈4,7 tok/svoimakas pakkaus Toimii siirrolla RAM-muistiin UD-IQ3_XXS≈3,5 tok/s Toimii siirrolla RAM-muistiin UD-TQ1_0≈16,2 tok/svoimakas pakkaus Mahtuu yhteiseen muistiin Q4_1≈10,0 tok/s Mahtuu yhteiseen muistiin UD-IQ1_M≈9,6 tok/svoimakas pakkaus Mahtuu yhteiseen muistiin UD-IQ1_M≈10,3 tok/svoimakas pakkaus Mahtuu yhteiseen muistiin Q4_K_M≈4,7 tok/s Mahtuu RAM-muistiin (CPU) Q4_1≈10,2 tok/s Mahtuu RAM-muistiin (CPU)
DeepSeek R1 HFMoE 684B / 37B ✕ Ei mahdu ✕ Ei mahdu ✕ Ei mahdu ✕ Ei mahdu ✕ Ei mahdu UD-IQ1_S≈16,9 tok/svoimakas pakkaus Toimii siirrolla RAM-muistiin ✕ Ei mahdu ✕ Ei mahdu UD-IQ1_S≈8,0 tok/svoimakas pakkaus Toimii siirrolla RAM-muistiin ✕ Ei mahdu Q3_K_M≈14,9 tok/s Mahtuu yhteiseen muistiin ✕ Ei mahdu ✕ Ei mahdu Q4_K_M≈5,2 tok/s Mahtuu RAM-muistiin (CPU) Q3_K_M≈13,9 tok/s Mahtuu RAM-muistiin (CPU)
Kimi K2.5 HFMoE 1,027B / 32B ✕ Ei mahdu ✕ Ei mahdu ✕ Ei mahdu ✕ Ei mahdu ✕ Ei mahdu ✕ Ei mahdu ✕ Ei mahdu ✕ Ei mahdu ✕ Ei mahdu ✕ Ei mahdu UD-Q2_K_XL≈22 tok/svoimakas pakkaus Mahtuu yhteiseen muistiin ✕ Ei mahdu ✕ Ei mahdu Q3_K_S≈7,2 tok/s Mahtuu RAM-muistiin (CPU) UD-IQ2_XXS≈19,7 tok/svoimakas pakkaus Mahtuu RAM-muistiin (CPU)

Mitä avautuu kullakin muistikoolla (konteksti 8K)

  1. 8 GB Qwen2.5 3B Instruct · Llama 3.2 3B Instruct · Gemma 3 4B · Llama 3.1 8B Instruct · Qwen3 8B voimakas pakkaus: Gemma 3 12B · Qwen3 14B
  2. 12 GB Gemma 3 12B · Qwen3 14B voimakas pakkaus: Mistral Small 3.2 24B · Gemma 3 27B · Qwen3 30B A3B · Qwen3 32B
  3. 16 GB gpt-oss-20b · Mistral Small 3.2 24B · Gemma 4 26B A4B · Gemma 3 27B · Qwen3 30B A3B voimakas pakkaus: Gemma 4 31B · Qwen3.5 35B A3B
  4. 24 GB Gemma 4 31B · Qwen3 32B · Qwen3.5 35B A3B voimakas pakkaus: Llama 3.3 70B Instruct · Qwen3 Next 80B A3B Instruct
  5. 48 GB Llama 3.3 70B Instruct · Qwen3 Next 80B A3B Instruct · Qwen3.5 122B A10B voimakas pakkaus: GLM 4.5 Air
  6. 96 GB GLM 4.5 Air · gpt-oss-120b voimakas pakkaus: Qwen3 235B A22B · GLM 4.7
  7. 128 GB Qwen3 235B A22B
  8. 192 GB GLM 4.7 voimakas pakkaus: DeepSeek R1
  9. 256 GB voimakas pakkaus: Kimi K2.5
  10. 512 GB DeepSeek R1 · Kimi K2.5

≈ arvioita 8K kontekstille: painot + KV-välimuisti + ajoympäristön lisäkulu suhteessa muistiin; nopeus muistin kaistanleveydestä. Todelliset luvut riippuvat ajoympäristöstä ja asetuksista.

Päivitetty · Lähteet: Hugging Face , www.nvidia.com , images.nvidia.com , support.apple.com , www.amd.com

Upota sivustollesi

Liitä tämä koodi kohtaan, johon infografiikan halutaan tulevan: se päivittyy itsestään. Vapaasti käytettävissä — säilytä lähdelinkki.

JSON Omat tietomme: CC BY 4.0 ja linkki lähteeseen; kolmansien osapuolten tiedoilla on lähteensä lisenssi.

Näin luet solun

Matriisin riveillä ovat tunnetut avoimien painojen (open weights) mallit noin 3B:stä 1T:hen parametriin. Sarakkeina ovat näytönohjaimet, usean GPU:n kokoonpanot, yhteisellä muistilla varustetut Apple- ja AMD-koneet sekä CPU-palvelimet. Solu kertoo suosittelemamme kvantisoinnin, sen, mihin malli sijoittuu – näytönohjaimen muisti, yhteinen muisti, palvelimen RAM, siirto RAM-muistiin tai ”Ei mahdu” – sekä arvion tuottonopeudesta tokeneina sekunnissa.

Laskenta vaihe vaiheelta

  1. Painot: parametrien määrä kertaa bittiä per paino, tai kvanttitiedoston todellinen koko Hugging Facesta, jos sellainen on.
  2. KV-välimuisti: keskustelun vaatima muisti. Matriisi laskee 8192 tokenin kontekstilla; pitkällä kontekstilla välimuisti voi viedä yhtä paljon tilaa kuin pieni malli.
  3. Yleiskulut: noin 1,5 GB ajoympäristölle ja puskureille sekä VLM-mallin kuvaprojektori.
  4. Nopeus: muistikaista jaettuna tavuilla, jotka luetaan jokaista tokenia kohden. MoE-malli lukee vain aktiiviset parametrinsa, joten iso MoE voi tuottaa tekstiä nopeammin kuin pienempi tiheä malli.

Jos summa ylittää näytönohjaimen VRAM-muistin mutta mahtuu yhdessä järjestelmän RAM-muistin kanssa, solu näyttää siirron RAM-muistiin: malli toimii, mutta hitaammin.

Kvantin valinta

Käymme kvantit läpi Q8_0:sta alaspäin ja pysähdymme siihen, joka antaa vielä vähintään 10 tokenia sekunnissa; muuten valinta on Q4-luokan tiedosto, kuten Q4_K_M. BF16:ta emme suosittele koskaan, koska se kaksinkertaistaa muistin lähes huomaamattoman hyödyn vuoksi. Alle Q3:n mennään vain, jos mikään muu ei mahdu, ja silloin solu varoittaa ”voimakkaasta pakkauksesta”.

Laske oma koneesi

Matriisin alla oleva laskuri ottaa mallin, kvantin, kontekstin ja laitteiston – tai pelkästään näytönohjaimen muistin, RAM-muistin ja muistikaistan – ja piirtää painot, KV-välimuistin ja yleiskulut yhdeksi palkiksi. Sen alla oleva portaikko näyttää, mitä avautuu 8, 12, 16, 24, 48, 96 ja 128 GB:n kohdalla.

≈-merkityt luvut ovat arvioita, jotka on kalibroitu mitattuja ajoja vasten ja pysyvät noin ±35 %:n sisällä niistä; todellinen mittaus näytetään linkin kanssa. Arvio koskee vain tuottamista, ei pitkän kehotteen lukemista, ja ajurit, versio ja asetukset heiluttavat tulosta. Turvasuodattimettomat mallit ovat kytkimen takana. GGUF-tiedostoja ajetaan paikallisilla tekoälysovelluksilla, kuten llama.cpp:llä, LM Studiolla, Ollamalla ja Janilla. Valmiit koneet löydät PC-kokoonpanoista.