Na vsebino
fedi.software

Kateri odprti model se prilega vaši strojni opremi — 2026

Modeli z odprtimi utežmi v primerjavi s priljubljenimi grafičnimi karticami in računalniki: priporočena kvantizacija (največja do Q8, ki še daje 10 ali več žetonov na sekundo, sicer razreda Q4; pod Q3 le, kadar nič drugega ne gre), kje deluje (grafični pomnilnik, enotni pomnilnik ali z razbremenitvijo v RAM) in približna hitrost generiranja.

Model Parametri
Qwen2.5 3B Instruct HF 3.1B Q8_0≈84 tok/s Gre v grafični pomnilnik Q8_0≈67 tok/s Gre v grafični pomnilnik Q8_0≈218 tok/s Gre v grafični pomnilnik Q8_0≈235 tok/s Gre v grafični pomnilnik Q8_0≈417 tok/s Gre v grafični pomnilnik Q8_0≈417 tok/s Gre v grafični pomnilnik Q8_0≈168 tok/s Gre v grafični pomnilnik Q8_0≈136 tok/s Gre v grafični pomnilnik Q8_0≈115 tok/s Gre v grafični pomnilnik Q8_0≈111 tok/s Gre v enotni pomnilnik Q8_0≈167 tok/s Gre v enotni pomnilnik Q8_0≈52 tok/s Gre v enotni pomnilnik Q8_0≈56 tok/s Gre v enotni pomnilnik Q8_0≈15,0 tok/s Gre v RAM (CPE) Q8_0≈34 tok/s Gre v RAM (CPE)
Llama 3.2 3B Instruct HF 3.2B Q8_0≈74 tok/s Gre v grafični pomnilnik Q8_0≈59 tok/s Gre v grafični pomnilnik Q8_0≈192 tok/s Gre v grafični pomnilnik Q8_0≈207 tok/s Gre v grafični pomnilnik Q8_0≈368 tok/s Gre v grafični pomnilnik Q8_0≈368 tok/s Gre v grafični pomnilnik Q8_0≈148 tok/s Gre v grafični pomnilnik Q8_0≈120 tok/s Gre v grafični pomnilnik Q8_0≈101 tok/s Gre v grafični pomnilnik Q8_0≈98 tok/s Gre v enotni pomnilnik Q8_0≈147 tok/s Gre v enotni pomnilnik Q8_0≈46 tok/s Gre v enotni pomnilnik Q8_0≈49 tok/s Gre v enotni pomnilnik Q8_0≈14,3 tok/s Gre v RAM (CPE) Q8_0≈32 tok/s Gre v RAM (CPE)
Gemma 3 4B HF 4.3B Q8_0≈67 tok/s Gre v grafični pomnilnik Q8_0≈54 tok/s Gre v grafični pomnilnik Q8_0≈175 tok/s Gre v grafični pomnilnik Q8_0≈189 tok/s Gre v grafični pomnilnik Q8_0≈335 tok/s Gre v grafični pomnilnik Q8_0≈335 tok/s Gre v grafični pomnilnik Q8_0≈135 tok/s Gre v grafični pomnilnik Q8_0≈109 tok/s Gre v grafični pomnilnik Q8_0≈92 tok/s Gre v grafični pomnilnik Q8_0≈89 tok/s Gre v enotni pomnilnik Q8_0≈134 tok/s Gre v enotni pomnilnik Q8_0≈42 tok/s Gre v enotni pomnilnik Q8_0≈45 tok/s Gre v enotni pomnilnik Q8_0≈13,8 tok/s Gre v RAM (CPE) Q8_0≈31 tok/s Gre v RAM (CPE)
Llama 3.1 8B Instruct HF 8B UD-Q6_K_XL≈37 tok/s Gre v grafični pomnilnik UD-Q6_K_XL≈29 tok/s Gre v grafični pomnilnik UD-Q6_K_XL≈95 tok/s Gre v grafični pomnilnik UD-Q6_K_XL≈103 tok/s Gre v grafični pomnilnik UD-Q6_K_XL≈182 tok/s Gre v grafični pomnilnik UD-Q6_K_XL≈182 tok/s Gre v grafični pomnilnik UD-Q6_K_XL≈73 tok/s Gre v grafični pomnilnik UD-Q6_K_XL≈59 tok/s Gre v grafični pomnilnik UD-Q6_K_XL≈50 tok/s Gre v grafični pomnilnik UD-Q6_K_XL≈49 tok/s Gre v enotni pomnilnik UD-Q6_K_XL≈73 tok/s Gre v enotni pomnilnik UD-Q6_K_XL≈23 tok/s Gre v enotni pomnilnik UD-Q6_K_XL≈24 tok/s Gre v enotni pomnilnik UD-Q6_K_XL≈10,3 tok/s Gre v RAM (CPE) UD-Q6_K_XL≈23 tok/s Gre v RAM (CPE)
Qwen3 8B HF 8.2B Q8_0≈31 tok/s Gre v grafični pomnilnik Q8_0≈25 tok/s Gre v grafični pomnilnik Q8_0≈80 tok/s Gre v grafični pomnilnik Q8_0≈87 tok/s Gre v grafični pomnilnik Q8_0≈154 tok/s Gre v grafični pomnilnik Q8_0≈154 tok/s Gre v grafični pomnilnik Q8_0≈62 tok/s Gre v grafični pomnilnik Q8_0≈50 tok/s Gre v grafični pomnilnik Q8_0≈42 tok/s Gre v grafični pomnilnik Q8_0≈41 tok/s Gre v enotni pomnilnik Q8_0≈62 tok/s Gre v enotni pomnilnik Q8_0≈19,2 tok/s Gre v enotni pomnilnik Q8_0≈21 tok/s Gre v enotni pomnilnik UD-Q6_K_XL≈10,2 tok/s Gre v RAM (CPE) Q8_0≈21 tok/s Gre v RAM (CPE)
Gemma 3 12B HF 12.2B UD-Q5_K_XL≈32 tok/s Gre v grafični pomnilnik Q8_0≈17,8 tok/s Gre v grafični pomnilnik Q8_0≈58 tok/s Gre v grafični pomnilnik Q8_0≈62 tok/s Gre v grafični pomnilnik Q8_0≈111 tok/s Gre v grafični pomnilnik Q8_0≈111 tok/s Gre v grafični pomnilnik Q8_0≈44 tok/s Gre v grafični pomnilnik Q8_0≈36 tok/s Gre v grafični pomnilnik Q8_0≈30 tok/s Gre v grafični pomnilnik Q8_0≈30 tok/s Gre v enotni pomnilnik Q8_0≈44 tok/s Gre v enotni pomnilnik Q8_0≈13,8 tok/s Gre v enotni pomnilnik Q8_0≈14,8 tok/s Gre v enotni pomnilnik Q4_1≈10,2 tok/s Gre v RAM (CPE) Q8_0≈17,1 tok/s Gre v RAM (CPE)
Qwen3 14B HF 14.8B Q4_K_M≈30 tok/s Gre v grafični pomnilnik Q6_K≈18,0 tok/s Gre v grafični pomnilnik Q8_0≈46 tok/s Gre v grafični pomnilnik Q8_0≈49 tok/s Gre v grafični pomnilnik Q8_0≈88 tok/s Gre v grafični pomnilnik Q8_0≈88 tok/s Gre v grafični pomnilnik Q8_0≈35 tok/s Gre v grafični pomnilnik Q8_0≈29 tok/s Gre v grafični pomnilnik Q8_0≈24 tok/s Gre v grafični pomnilnik Q8_0≈23 tok/s Gre v enotni pomnilnik Q8_0≈35 tok/s Gre v enotni pomnilnik Q8_0≈10,9 tok/s Gre v enotni pomnilnik Q8_0≈11,7 tok/s Gre v enotni pomnilnik UD-Q3_K_XL≈10,1 tok/s Gre v RAM (CPE) Q8_0≈14,6 tok/s Gre v RAM (CPE)
gpt-oss-20b HFMoE 20.9B / 3.6B MXFP4≈53 tok/s Deluje z razbremenitvijo v RAM MXFP4≈55 tok/s Gre v grafični pomnilnik MXFP4162 tok/sizmerjeno Gre v grafični pomnilnik MXFP4≈194 tok/s Gre v grafični pomnilnik MXFP4≈344 tok/s Gre v grafični pomnilnik MXFP4≈344 tok/s Gre v grafični pomnilnik MXFP4≈138 tok/s Gre v grafični pomnilnik MXFP4≈112 tok/s Gre v grafični pomnilnik MXFP4≈95 tok/s Gre v grafični pomnilnik MXFP4≈80 tok/s Gre v enotni pomnilnik MXFP4116 tok/sizmerjeno Gre v enotni pomnilnik MXFP4≈59 tok/s Gre v enotni pomnilnik MXFP4≈62 tok/s Gre v enotni pomnilnik MXFP4≈17,2 tok/s Gre v RAM (CPE) MXFP4≈39 tok/s Gre v RAM (CPE)
Mistral Small 3.2 24B HF 24B Q3_K_M≈10,2 tok/s Deluje z razbremenitvijo v RAM UD-Q3_K_XL≈18,4 tok/s Gre v grafični pomnilnik Q6_K≈37 tok/s Gre v grafični pomnilnik Q6_K≈40 tok/s Gre v grafični pomnilnik Q8_0≈56 tok/s Gre v grafični pomnilnik Q8_0≈56 tok/s Gre v grafični pomnilnik Q8_0≈22 tok/s Gre v grafični pomnilnik Q8_0≈18,2 tok/s Gre v grafični pomnilnik Q8_0≈15,3 tok/s Gre v grafični pomnilnik Q8_0≈14,9 tok/s Gre v enotni pomnilnik Q8_0≈22 tok/s Gre v enotni pomnilnik Q5_K_M≈10,3 tok/s Gre v enotni pomnilnik Q5_K_M≈11,0 tok/s Gre v enotni pomnilnik Q4_K_M≈6,9 tok/s Gre v RAM (CPE) Q8_0≈10,3 tok/s Gre v RAM (CPE)
Gemma 4 26B A4B HFMoE 25.8B / 3.8B UD-Q8_K_XL≈14,7 tok/s Deluje z razbremenitvijo v RAM UD-Q3_K_M≈56 tok/s Gre v grafični pomnilnik UD-Q5_K_S≈129 tok/s Gre v grafični pomnilnik UD-Q5_K_S≈139 tok/s Gre v grafični pomnilnik UD-Q8_K_XL≈173 tok/s Gre v grafični pomnilnik UD-Q8_K_XL≈173 tok/s Gre v grafični pomnilnik UD-Q8_K_XL≈70 tok/s Gre v grafični pomnilnik UD-Q8_K_XL≈57 tok/s Gre v grafični pomnilnik UD-Q8_K_XL≈48 tok/s Gre v grafični pomnilnik UD-Q8_K_XL≈40 tok/s Gre v enotni pomnilnik UD-Q8_K_XL≈60 tok/s Gre v enotni pomnilnik UD-Q8_K_XL≈29 tok/s Gre v enotni pomnilnik UD-Q8_K_XL≈31 tok/s Gre v enotni pomnilnik UD-Q8_K_XL≈13,7 tok/s Gre v RAM (CPE) UD-Q8_K_XL≈31 tok/s Gre v RAM (CPE)
Gemma 3 27B HF 27.4B UD-IQ3_XXS≈12,7 tok/s Deluje z razbremenitvijo v RAM Q3_K_S≈18,1 tok/s Gre v grafični pomnilnik UD-Q5_K_XL≈38 tok/s Gre v grafični pomnilnik UD-Q5_K_XL≈41 tok/s Gre v grafični pomnilnik UD-Q6_K_XL≈59 tok/s Gre v grafični pomnilnik Q8_0≈49 tok/s Gre v grafični pomnilnik Q8_0≈19,7 tok/s Gre v grafični pomnilnik Q8_0≈16,0 tok/s Gre v grafični pomnilnik Q8_0≈13,5 tok/s Gre v grafični pomnilnik Q8_0≈13,1 tok/s Gre v enotni pomnilnik Q8_0≈19,6 tok/s Gre v enotni pomnilnik Q4_1≈10,1 tok/s Gre v enotni pomnilnik Q4_1≈10,8 tok/s Gre v enotni pomnilnik Q4_K_M≈6,3 tok/s Gre v RAM (CPE) UD-Q6_K_XL≈10,8 tok/s Gre v RAM (CPE)
Qwen3 30B A3B HFMoE 30.5B / 3.3B Q8_0≈16,4 tok/s Deluje z razbremenitvijo v RAM Q3_K_S≈66 tok/s Gre v grafični pomnilnik Q4_K_M154 tok/sizmerjeno Gre v grafični pomnilnik Q5_K_S≈158 tok/s Gre v grafični pomnilnik UD-Q6_K_XL≈232 tok/s Gre v grafični pomnilnik Q8_0≈192 tok/s Gre v grafični pomnilnik Q8_0≈77 tok/s Gre v grafični pomnilnik Q8_0≈63 tok/s Gre v grafični pomnilnik Q8_0≈53 tok/s Gre v grafični pomnilnik Q8_0≈45 tok/s Gre v enotni pomnilnik Q8_0≈67 tok/s Gre v enotni pomnilnik Q8_0≈33 tok/s Gre v enotni pomnilnik Q8_0≈35 tok/s Gre v enotni pomnilnik Q8_0≈14,3 tok/s Gre v RAM (CPE) Q8_0≈32 tok/s Gre v RAM (CPE)
Gemma 4 31B HF 31.3B Q4_K_M≈3,8 tok/s Deluje z razbremenitvijo v RAM Q3_K_S≈10,4 tok/s Deluje z razbremenitvijo v RAM Q4_1≈37 tok/s Gre v grafični pomnilnik Q4_1≈40 tok/s Gre v grafični pomnilnik Q6_K≈55 tok/s Gre v grafični pomnilnik Q8_0≈43 tok/s Gre v grafični pomnilnik Q8_0≈17,1 tok/s Gre v grafični pomnilnik Q8_0≈13,9 tok/s Gre v grafični pomnilnik Q8_0≈11,7 tok/s Gre v grafični pomnilnik Q8_0≈11,3 tok/s Gre v enotni pomnilnik Q8_0≈17,0 tok/s Gre v enotni pomnilnik IQ4_XS≈10,3 tok/s Gre v enotni pomnilnik Q4_K_S≈10,3 tok/s Gre v enotni pomnilnik Q4_K_M≈5,7 tok/s Gre v RAM (CPE) Q6_K≈10,1 tok/s Gre v RAM (CPE)
Qwen3 32B HF 32.8B Q4_K_M≈3,7 tok/s Deluje z razbremenitvijo v RAM UD-IQ3_XXS≈14,1 tok/s Deluje z razbremenitvijo v RAM UD-Q4_K_XL≈35 tok/s Gre v grafični pomnilnik UD-Q4_K_XL≈38 tok/s Gre v grafični pomnilnik Q6_K≈51 tok/s Gre v grafični pomnilnik Q8_0≈40 tok/s Gre v grafični pomnilnik Q8_0≈16,0 tok/s Gre v grafični pomnilnik Q8_0≈13,0 tok/s Gre v grafični pomnilnik Q8_0≈11,0 tok/s Gre v grafični pomnilnik Q8_0≈10,6 tok/s Gre v enotni pomnilnik Q8_0≈16,0 tok/s Gre v enotni pomnilnik UD-Q3_K_XL≈10,3 tok/s Gre v enotni pomnilnik IQ4_XS≈10,2 tok/s Gre v enotni pomnilnik Q4_K_M≈5,4 tok/s Gre v RAM (CPE) Q5_K_M≈10,8 tok/s Gre v RAM (CPE)
Qwen3.5 35B A3B HFMoE 36B / 3B Q8_0≈17,9 tok/s Deluje z razbremenitvijo v RAM Q8_0≈18,7 tok/s Deluje z razbremenitvijo v RAM Q4_K_S≈191 tok/s Gre v grafični pomnilnik Q4_K_S≈205 tok/s Gre v grafični pomnilnik Q6_K≈274 tok/s Gre v grafični pomnilnik Q8_0≈220 tok/s Gre v grafični pomnilnik Q8_0≈89 tok/s Gre v grafični pomnilnik Q8_0≈72 tok/s Gre v grafični pomnilnik Q8_0≈61 tok/s Gre v grafični pomnilnik Q8_0≈51 tok/s Gre v enotni pomnilnik Q8_0≈77 tok/s Gre v enotni pomnilnik Q8_0≈37 tok/s Gre v enotni pomnilnik Q8_0≈40 tok/s Gre v enotni pomnilnik Q8_0≈15,0 tok/s Gre v RAM (CPE) Q8_0≈34 tok/s Gre v RAM (CPE)
Llama 3.3 70B Instruct HF 70.6B Q4_K_M≈1,3 tok/s Deluje z razbremenitvijo v RAM Q4_K_M≈1,4 tok/s Deluje z razbremenitvijo v RAM Q4_K_M≈2,0 tok/s Deluje z razbremenitvijo v RAM Q4_K_M≈2,0 tok/s Deluje z razbremenitvijo v RAM UD-IQ3_XXS≈49 tok/s Gre v grafični pomnilnik Q8_0≈18,8 tok/s Gre v grafični pomnilnik Q4_K_M16,3 tok/sizmerjeno Gre v grafični pomnilnik Q4_1≈10,3 tok/s Gre v grafični pomnilnik IQ4_XS≈10,0 tok/s Gre v grafični pomnilnik UD-Q3_K_XL≈10,6 tok/s Gre v enotni pomnilnik Q5_K_M≈11,2 tok/s Gre v enotni pomnilnik Q4_K_M≈4,1 tok/s Gre v enotni pomnilnik Q4_K_M≈4,4 tok/s Gre v enotni pomnilnik Q4_K_M≈2,9 tok/s Gre v RAM (CPE) Q4_K_M≈6,6 tok/s Gre v RAM (CPE)
Qwen3 Next 80B A3B Instruct HFMoE 81.3B / 3B Q5_K_M≈24 tok/s Deluje z razbremenitvijo v RAM Q6_K≈21 tok/s Deluje z razbremenitvijo v RAM UD-Q6_K_XL≈26 tok/s Deluje z razbremenitvijo v RAM UD-Q6_K_XL≈26 tok/s Deluje z razbremenitvijo v RAM UD-Q6_K_XL≈31 tok/s Deluje z razbremenitvijo v RAM Q8_0≈213 tok/s Gre v grafični pomnilnik Q4_K_S≈145 tok/s Gre v grafični pomnilnik UD-Q6_K_XL≈84 tok/s Gre v grafični pomnilnik Q8_0≈59 tok/s Gre v grafični pomnilnik Q8_0≈49 tok/s Gre v enotni pomnilnik Q8_0≈74 tok/s Gre v enotni pomnilnik Q8_0≈36 tok/s Gre v enotni pomnilnik Q8_0≈39 tok/s Gre v enotni pomnilnik Q8_0≈14,8 tok/s Gre v RAM (CPE) Q8_0≈33 tok/s Gre v RAM (CPE)
GLM 4.5 Air HFMoE 110B / 17B Q4_0≈5,3 tok/s Deluje z razbremenitvijo v RAM Q4_K_S≈5,1 tok/s Deluje z razbremenitvijo v RAM Q4_K_M≈5,6 tok/s Deluje z razbremenitvijo v RAM Q4_K_M≈5,7 tok/s Deluje z razbremenitvijo v RAM Q3_K_M≈10,2 tok/s Deluje z razbremenitvijo v RAM Q5_K_M≈55 tok/s Gre v grafični pomnilnik Q4_0≈10,0 tok/s Deluje z razbremenitvijo v RAM UD-Q4_K_XL≈22 tok/s Gre v grafični pomnilnik Q5_K_M≈15,2 tok/s Gre v grafični pomnilnik Q5_K_M≈12,8 tok/s Gre v enotni pomnilnik Q8_0≈13,9 tok/s Gre v enotni pomnilnik Q4_K_M≈10,6 tok/s Gre v enotni pomnilnik Q5_K_M≈10,0 tok/s Gre v enotni pomnilnik Q4_K_M≈8,0 tok/s Gre v RAM (CPE) Q8_0≈13,1 tok/s Gre v RAM (CPE)
gpt-oss-120b HFMoE 117B / 5.1B MXFP4≈19,1 tok/s Deluje z razbremenitvijo v RAM MXFP4≈19,6 tok/s Deluje z razbremenitvijo v RAM MXFP426–28 tok/sizmerjeno Deluje z razbremenitvijo v RAM MXFP4≈25 tok/s Deluje z razbremenitvijo v RAM MXFP4≈31 tok/s Deluje z razbremenitvijo v RAM MXFP4≈258 tok/s Gre v grafični pomnilnik MXFP4≈36 tok/s Deluje z razbremenitvijo v RAM MXFP441–73 tok/sizmerjeno Gre v grafični pomnilnik MXFP4≈71 tok/s Gre v grafični pomnilnik MXFP4≈60 tok/s Gre v enotni pomnilnik MXFP4≈90 tok/s Gre v enotni pomnilnik MXFP450 tok/sizmerjeno Gre v enotni pomnilnik MXFP461 tok/sizmerjeno Gre v enotni pomnilnik MXFP4≈15,8 tok/s Gre v RAM (CPE) MXFP4≈36 tok/s Gre v RAM (CPE)
Qwen3.5 122B A10B HFMoE 125B / 10B UD-IQ4_NL≈10,5 tok/s Deluje z razbremenitvijo v RAM UD-IQ4_NL≈10,8 tok/s Deluje z razbremenitvijo v RAM Q4_K_S≈11,1 tok/s Deluje z razbremenitvijo v RAM Q4_K_S≈11,2 tok/s Deluje z razbremenitvijo v RAM UD-Q4_K_XL≈11,9 tok/s Deluje z razbremenitvijo v RAM UD-Q5_K_XL≈97 tok/s Gre v grafični pomnilnik UD-IQ3_XXS≈76 tok/s Gre v grafični pomnilnik UD-IQ4_NL≈46 tok/s Gre v grafični pomnilnik UD-Q5_K_XL≈27 tok/s Gre v grafični pomnilnik UD-Q5_K_XL≈23 tok/s Gre v enotni pomnilnik Q8_0≈24 tok/s Gre v enotni pomnilnik Q6_K≈15,1 tok/s Gre v enotni pomnilnik Q6_K≈16,1 tok/s Gre v enotni pomnilnik UD-Q5_K_XL≈10,4 tok/s Gre v RAM (CPE) Q8_0≈19,3 tok/s Gre v RAM (CPE)
Qwen3 235B A22B HFMoE 235B / 22B ✕ Ne gre ✕ Ne gre ✕ Ne gre ✕ Ne gre ✕ Ne gre UD-Q4_K_XL≈10,8 tok/s Deluje z razbremenitvijo v RAM UD-Q2_K_XL≈8,0 tok/smočno stiskanje Deluje z razbremenitvijo v RAM Q3_K_M≈6,1 tok/s Deluje z razbremenitvijo v RAM UD-Q3_K_XL≈11,7 tok/s Deluje z razbremenitvijo v RAM UD-Q2_K_XL≈19,4 tok/smočno stiskanje Gre v enotni pomnilnik Q8_0≈10,8 tok/s Gre v enotni pomnilnik UD-Q3_K_XL≈12,2 tok/s Gre v enotni pomnilnik UD-Q3_K_XL≈13,0 tok/s Gre v enotni pomnilnik Q4_K_M≈7,2 tok/s Gre v RAM (CPE) Q8_0≈10,9 tok/s Gre v RAM (CPE)
GLM 4.7 HFMoE 358B / 39.2B ✕ Ne gre ✕ Ne gre ✕ Ne gre ✕ Ne gre ✕ Ne gre UD-IQ3_XXS≈7,3 tok/s Deluje z razbremenitvijo v RAM UD-IQ1_S≈5,6 tok/smočno stiskanje Deluje z razbremenitvijo v RAM UD-IQ2_XXS≈4,7 tok/smočno stiskanje Deluje z razbremenitvijo v RAM UD-IQ3_XXS≈3,5 tok/s Deluje z razbremenitvijo v RAM UD-TQ1_0≈16,2 tok/smočno stiskanje Gre v enotni pomnilnik Q4_1≈10,0 tok/s Gre v enotni pomnilnik UD-IQ1_M≈9,6 tok/smočno stiskanje Gre v enotni pomnilnik UD-IQ1_M≈10,3 tok/smočno stiskanje Gre v enotni pomnilnik Q4_K_M≈4,7 tok/s Gre v RAM (CPE) Q4_1≈10,2 tok/s Gre v RAM (CPE)
DeepSeek R1 HFMoE 684B / 37B ✕ Ne gre ✕ Ne gre ✕ Ne gre ✕ Ne gre ✕ Ne gre UD-IQ1_S≈16,9 tok/smočno stiskanje Deluje z razbremenitvijo v RAM ✕ Ne gre ✕ Ne gre UD-IQ1_S≈8,0 tok/smočno stiskanje Deluje z razbremenitvijo v RAM ✕ Ne gre Q3_K_M≈14,9 tok/s Gre v enotni pomnilnik ✕ Ne gre ✕ Ne gre Q4_K_M≈5,2 tok/s Gre v RAM (CPE) Q3_K_M≈13,9 tok/s Gre v RAM (CPE)
Kimi K2.5 HFMoE 1,027B / 32B ✕ Ne gre ✕ Ne gre ✕ Ne gre ✕ Ne gre ✕ Ne gre ✕ Ne gre ✕ Ne gre ✕ Ne gre ✕ Ne gre ✕ Ne gre UD-Q2_K_XL≈22 tok/smočno stiskanje Gre v enotni pomnilnik ✕ Ne gre ✕ Ne gre Q3_K_S≈7,2 tok/s Gre v RAM (CPE) UD-IQ2_XXS≈19,7 tok/smočno stiskanje Gre v RAM (CPE)

Kaj se odpre pri posamezni velikosti pomnilnika (kontekst 8K)

  1. 8 GB Qwen2.5 3B Instruct · Llama 3.2 3B Instruct · Gemma 3 4B · Llama 3.1 8B Instruct · Qwen3 8B močno stiskanje: Gemma 3 12B · Qwen3 14B
  2. 12 GB Gemma 3 12B · Qwen3 14B močno stiskanje: Mistral Small 3.2 24B · Gemma 3 27B · Qwen3 30B A3B · Qwen3 32B
  3. 16 GB gpt-oss-20b · Mistral Small 3.2 24B · Gemma 4 26B A4B · Gemma 3 27B · Qwen3 30B A3B močno stiskanje: Gemma 4 31B · Qwen3.5 35B A3B
  4. 24 GB Gemma 4 31B · Qwen3 32B · Qwen3.5 35B A3B močno stiskanje: Llama 3.3 70B Instruct · Qwen3 Next 80B A3B Instruct
  5. 48 GB Llama 3.3 70B Instruct · Qwen3 Next 80B A3B Instruct · Qwen3.5 122B A10B močno stiskanje: GLM 4.5 Air
  6. 96 GB GLM 4.5 Air · gpt-oss-120b močno stiskanje: Qwen3 235B A22B · GLM 4.7
  7. 128 GB Qwen3 235B A22B
  8. 192 GB GLM 4.7 močno stiskanje: DeepSeek R1
  9. 256 GB močno stiskanje: Kimi K2.5
  10. 512 GB DeepSeek R1 · Kimi K2.5

≈ ocene za kontekst 8K: uteži + predpomnilnik KV + dodatna poraba izvajalnega okolja glede na pomnilnik; hitrost iz pasovne širine pomnilnika. Dejanske vrednosti so odvisne od izvajalnega okolja in nastavitev.

Posodobljeno · Viri: Hugging Face , www.nvidia.com , images.nvidia.com , support.apple.com , www.amd.com

Vdelaj na svojo stran

Prilepite to kodo tja, kjer naj se prikaže infografika: posodablja se sama. Brezplačna uporaba — ohranite povezavo do vira.

JSON Naši podatki: CC BY 4.0 s povezavo do vira; podatki tretjih oseb ohranijo licenco svojega vira.

Kako je matrika sestavljena

V vrsticah so znani modeli z odprtimi utežmi, od približno 3B do 1T parametrov. V stolpcih so grafične kartice, sestavi z več grafičnimi procesorji, računalniki Apple in AMD z enotnim pomnilnikom ter strežniki, ki model poganjajo na procesorju. Celica pove tri stvari: priporočeno kvantizacijo, kje model teče, in približno hitrost generiranja v žetonih na sekundo. Barva loči grafični pomnilnik (VRAM), enotni pomnilnik, strežniški RAM, razbremenitev v RAM in primer, ko model ne gre.

Iz česa je sestavljena potreba po pomnilniku

  • Uteži — število parametrov, pomnoženo z biti na utež, ali dejanska velikost datoteke s Hugging Face, kadar ta obstaja.
  • Predpomnilnik KV — pomnilnik, ki hrani pogovor. Matrika računa s kontekstom 8192 žetonov; pri dolgem kontekstu lahko ta del preseže velikost manjšega modela.
  • Dodatna poraba — okoli 1,5 GB za izvajalno okolje in medpomnilnike, pri modelu VLM še projektor za slike.

Če vsota ne gre v VRAM, gre pa skupaj s sistemskim pomnilnikom, celica pokaže razbremenitev: model deluje, le počasneje.

Od kod ocena hitrosti

Hitrost je pasovna širina pomnilnika, deljena s količino bajtov, ki jih model prebere za vsak žeton. Model MoE bere samo aktivne parametre, zato je velik MoE lahko hitrejši od manjšega gostega modela. Ocene z znakom ≈ so umerjene na izmerjene zagone in od njih odstopajo za približno ±35 %. Kjer imamo resnično meritev, celica pokaže njo in povezavo do vira.

Kako izberemo kvantizacijo

Vzamemo kvantizacijo z več biti, vse do Q8_0, dokler hitrost ostane vsaj 10 žetonov na sekundo; sicer pade izbira na razred Q4, na primer Q4_K_M. BF16 ne priporočamo nikoli, ker podvoji pomnilnik za komaj opazno razliko. Pod Q3 gremo le, ko nič večjega ne gre, in celica takrat opozori na »močno stiskanje«.

Vaš računalnik in meje ocene

Pod matriko je »Kalkulator: ali gre?«. Vnesete model, kvantizacijo, kontekst in strojno opremo ali kar svoj grafični pomnilnik, RAM in pasovno širino, nato pa uteži, KV in dodatno porabo vidite kot en stolpec ob zmogljivosti. Lestvica pod njim našteje, kaj se odpre pri 8, 12, 16, 24, 48, 96 in 128 GB.

Ocena zajema le generiranje, ne časa za branje dolgega poziva; gonilniki, različica izvajalnega okolja in nastavitve rezultat premaknejo v obe smeri. Datoteke GGUF tečejo v llama.cpp, LM Studio, Ollama in Jan (glejte lokalne aplikacije za UI). Modeli brez varnostnih filtrov so skriti za stikalom. Cele računalnike najdete med konfiguracijami za lokalno UI.