İçeriğe geç
fedi.software

Hangi açık model donanımınıza sığar — 2026

Açık ağırlıklı modeller, popüler ekran kartları ve bilgisayarlarla karşılaştırılır: önerilen nicemleme (Q8'e kadar saniyede 10 veya daha fazla token veren en büyüğü, değilse Q4 sınıfı; Q3'ün altı yalnızca başka hiçbir şey sığmadığında), nerede çalıştığı (ekran kartı belleği, birleşik bellek veya RAM'e aktarımla) ve yaklaşık üretim hızı.

Model Parametreler
Qwen2.5 3B Instruct HF 3.1B Q8_0≈84 tok/s Ekran kartı belleğine sığar Q8_0≈67 tok/s Ekran kartı belleğine sığar Q8_0≈218 tok/s Ekran kartı belleğine sığar Q8_0≈235 tok/s Ekran kartı belleğine sığar Q8_0≈417 tok/s Ekran kartı belleğine sığar Q8_0≈417 tok/s Ekran kartı belleğine sığar Q8_0≈168 tok/s Ekran kartı belleğine sığar Q8_0≈136 tok/s Ekran kartı belleğine sığar Q8_0≈115 tok/s Ekran kartı belleğine sığar Q8_0≈111 tok/s Birleşik belleğe sığar Q8_0≈167 tok/s Birleşik belleğe sığar Q8_0≈52 tok/s Birleşik belleğe sığar Q8_0≈56 tok/s Birleşik belleğe sığar Q8_0≈15,0 tok/s RAM'e sığar (CPU) Q8_0≈34 tok/s RAM'e sığar (CPU)
Llama 3.2 3B Instruct HF 3.2B Q8_0≈74 tok/s Ekran kartı belleğine sığar Q8_0≈59 tok/s Ekran kartı belleğine sığar Q8_0≈192 tok/s Ekran kartı belleğine sığar Q8_0≈207 tok/s Ekran kartı belleğine sığar Q8_0≈368 tok/s Ekran kartı belleğine sığar Q8_0≈368 tok/s Ekran kartı belleğine sığar Q8_0≈148 tok/s Ekran kartı belleğine sığar Q8_0≈120 tok/s Ekran kartı belleğine sığar Q8_0≈101 tok/s Ekran kartı belleğine sığar Q8_0≈98 tok/s Birleşik belleğe sığar Q8_0≈147 tok/s Birleşik belleğe sığar Q8_0≈46 tok/s Birleşik belleğe sığar Q8_0≈49 tok/s Birleşik belleğe sığar Q8_0≈14,3 tok/s RAM'e sığar (CPU) Q8_0≈32 tok/s RAM'e sığar (CPU)
Gemma 3 4B HF 4.3B Q8_0≈67 tok/s Ekran kartı belleğine sığar Q8_0≈54 tok/s Ekran kartı belleğine sığar Q8_0≈175 tok/s Ekran kartı belleğine sığar Q8_0≈189 tok/s Ekran kartı belleğine sığar Q8_0≈335 tok/s Ekran kartı belleğine sığar Q8_0≈335 tok/s Ekran kartı belleğine sığar Q8_0≈135 tok/s Ekran kartı belleğine sığar Q8_0≈109 tok/s Ekran kartı belleğine sığar Q8_0≈92 tok/s Ekran kartı belleğine sığar Q8_0≈89 tok/s Birleşik belleğe sığar Q8_0≈134 tok/s Birleşik belleğe sığar Q8_0≈42 tok/s Birleşik belleğe sığar Q8_0≈45 tok/s Birleşik belleğe sığar Q8_0≈13,8 tok/s RAM'e sığar (CPU) Q8_0≈31 tok/s RAM'e sığar (CPU)
Llama 3.1 8B Instruct HF 8B UD-Q6_K_XL≈37 tok/s Ekran kartı belleğine sığar UD-Q6_K_XL≈29 tok/s Ekran kartı belleğine sığar UD-Q6_K_XL≈95 tok/s Ekran kartı belleğine sığar UD-Q6_K_XL≈103 tok/s Ekran kartı belleğine sığar UD-Q6_K_XL≈182 tok/s Ekran kartı belleğine sığar UD-Q6_K_XL≈182 tok/s Ekran kartı belleğine sığar UD-Q6_K_XL≈73 tok/s Ekran kartı belleğine sığar UD-Q6_K_XL≈59 tok/s Ekran kartı belleğine sığar UD-Q6_K_XL≈50 tok/s Ekran kartı belleğine sığar UD-Q6_K_XL≈49 tok/s Birleşik belleğe sığar UD-Q6_K_XL≈73 tok/s Birleşik belleğe sığar UD-Q6_K_XL≈23 tok/s Birleşik belleğe sığar UD-Q6_K_XL≈24 tok/s Birleşik belleğe sığar UD-Q6_K_XL≈10,3 tok/s RAM'e sığar (CPU) UD-Q6_K_XL≈23 tok/s RAM'e sığar (CPU)
Qwen3 8B HF 8.2B Q8_0≈31 tok/s Ekran kartı belleğine sığar Q8_0≈25 tok/s Ekran kartı belleğine sığar Q8_0≈80 tok/s Ekran kartı belleğine sığar Q8_0≈87 tok/s Ekran kartı belleğine sığar Q8_0≈154 tok/s Ekran kartı belleğine sığar Q8_0≈154 tok/s Ekran kartı belleğine sığar Q8_0≈62 tok/s Ekran kartı belleğine sığar Q8_0≈50 tok/s Ekran kartı belleğine sığar Q8_0≈42 tok/s Ekran kartı belleğine sığar Q8_0≈41 tok/s Birleşik belleğe sığar Q8_0≈62 tok/s Birleşik belleğe sığar Q8_0≈19,2 tok/s Birleşik belleğe sığar Q8_0≈21 tok/s Birleşik belleğe sığar UD-Q6_K_XL≈10,2 tok/s RAM'e sığar (CPU) Q8_0≈21 tok/s RAM'e sığar (CPU)
Gemma 3 12B HF 12.2B UD-Q5_K_XL≈32 tok/s Ekran kartı belleğine sığar Q8_0≈17,8 tok/s Ekran kartı belleğine sığar Q8_0≈58 tok/s Ekran kartı belleğine sığar Q8_0≈62 tok/s Ekran kartı belleğine sığar Q8_0≈111 tok/s Ekran kartı belleğine sığar Q8_0≈111 tok/s Ekran kartı belleğine sığar Q8_0≈44 tok/s Ekran kartı belleğine sığar Q8_0≈36 tok/s Ekran kartı belleğine sığar Q8_0≈30 tok/s Ekran kartı belleğine sığar Q8_0≈30 tok/s Birleşik belleğe sığar Q8_0≈44 tok/s Birleşik belleğe sığar Q8_0≈13,8 tok/s Birleşik belleğe sığar Q8_0≈14,8 tok/s Birleşik belleğe sığar Q4_1≈10,2 tok/s RAM'e sığar (CPU) Q8_0≈17,1 tok/s RAM'e sığar (CPU)
Qwen3 14B HF 14.8B Q4_K_M≈30 tok/s Ekran kartı belleğine sığar Q6_K≈18,0 tok/s Ekran kartı belleğine sığar Q8_0≈46 tok/s Ekran kartı belleğine sığar Q8_0≈49 tok/s Ekran kartı belleğine sığar Q8_0≈88 tok/s Ekran kartı belleğine sığar Q8_0≈88 tok/s Ekran kartı belleğine sığar Q8_0≈35 tok/s Ekran kartı belleğine sığar Q8_0≈29 tok/s Ekran kartı belleğine sığar Q8_0≈24 tok/s Ekran kartı belleğine sığar Q8_0≈23 tok/s Birleşik belleğe sığar Q8_0≈35 tok/s Birleşik belleğe sığar Q8_0≈10,9 tok/s Birleşik belleğe sığar Q8_0≈11,7 tok/s Birleşik belleğe sığar UD-Q3_K_XL≈10,1 tok/s RAM'e sığar (CPU) Q8_0≈14,6 tok/s RAM'e sığar (CPU)
gpt-oss-20b HFMoE 20.9B / 3.6B MXFP4≈53 tok/s RAM'e aktarımla çalışır MXFP4≈55 tok/s Ekran kartı belleğine sığar MXFP4162 tok/sölçülen Ekran kartı belleğine sığar MXFP4≈194 tok/s Ekran kartı belleğine sığar MXFP4≈344 tok/s Ekran kartı belleğine sığar MXFP4≈344 tok/s Ekran kartı belleğine sığar MXFP4≈138 tok/s Ekran kartı belleğine sığar MXFP4≈112 tok/s Ekran kartı belleğine sığar MXFP4≈95 tok/s Ekran kartı belleğine sığar MXFP4≈80 tok/s Birleşik belleğe sığar MXFP4116 tok/sölçülen Birleşik belleğe sığar MXFP4≈59 tok/s Birleşik belleğe sığar MXFP4≈62 tok/s Birleşik belleğe sığar MXFP4≈17,2 tok/s RAM'e sığar (CPU) MXFP4≈39 tok/s RAM'e sığar (CPU)
Mistral Small 3.2 24B HF 24B Q3_K_M≈10,2 tok/s RAM'e aktarımla çalışır UD-Q3_K_XL≈18,4 tok/s Ekran kartı belleğine sığar Q6_K≈37 tok/s Ekran kartı belleğine sığar Q6_K≈40 tok/s Ekran kartı belleğine sığar Q8_0≈56 tok/s Ekran kartı belleğine sığar Q8_0≈56 tok/s Ekran kartı belleğine sığar Q8_0≈22 tok/s Ekran kartı belleğine sığar Q8_0≈18,2 tok/s Ekran kartı belleğine sığar Q8_0≈15,3 tok/s Ekran kartı belleğine sığar Q8_0≈14,9 tok/s Birleşik belleğe sığar Q8_0≈22 tok/s Birleşik belleğe sığar Q5_K_M≈10,3 tok/s Birleşik belleğe sığar Q5_K_M≈11,0 tok/s Birleşik belleğe sığar Q4_K_M≈6,9 tok/s RAM'e sığar (CPU) Q8_0≈10,3 tok/s RAM'e sığar (CPU)
Gemma 4 26B A4B HFMoE 25.8B / 3.8B UD-Q8_K_XL≈14,7 tok/s RAM'e aktarımla çalışır UD-Q3_K_M≈56 tok/s Ekran kartı belleğine sığar UD-Q5_K_S≈129 tok/s Ekran kartı belleğine sığar UD-Q5_K_S≈139 tok/s Ekran kartı belleğine sığar UD-Q8_K_XL≈173 tok/s Ekran kartı belleğine sığar UD-Q8_K_XL≈173 tok/s Ekran kartı belleğine sığar UD-Q8_K_XL≈70 tok/s Ekran kartı belleğine sığar UD-Q8_K_XL≈57 tok/s Ekran kartı belleğine sığar UD-Q8_K_XL≈48 tok/s Ekran kartı belleğine sığar UD-Q8_K_XL≈40 tok/s Birleşik belleğe sığar UD-Q8_K_XL≈60 tok/s Birleşik belleğe sığar UD-Q8_K_XL≈29 tok/s Birleşik belleğe sığar UD-Q8_K_XL≈31 tok/s Birleşik belleğe sığar UD-Q8_K_XL≈13,7 tok/s RAM'e sığar (CPU) UD-Q8_K_XL≈31 tok/s RAM'e sığar (CPU)
Gemma 3 27B HF 27.4B UD-IQ3_XXS≈12,7 tok/s RAM'e aktarımla çalışır Q3_K_S≈18,1 tok/s Ekran kartı belleğine sığar UD-Q5_K_XL≈38 tok/s Ekran kartı belleğine sığar UD-Q5_K_XL≈41 tok/s Ekran kartı belleğine sığar UD-Q6_K_XL≈59 tok/s Ekran kartı belleğine sığar Q8_0≈49 tok/s Ekran kartı belleğine sığar Q8_0≈19,7 tok/s Ekran kartı belleğine sığar Q8_0≈16,0 tok/s Ekran kartı belleğine sığar Q8_0≈13,5 tok/s Ekran kartı belleğine sığar Q8_0≈13,1 tok/s Birleşik belleğe sığar Q8_0≈19,6 tok/s Birleşik belleğe sığar Q4_1≈10,1 tok/s Birleşik belleğe sığar Q4_1≈10,8 tok/s Birleşik belleğe sığar Q4_K_M≈6,3 tok/s RAM'e sığar (CPU) UD-Q6_K_XL≈10,8 tok/s RAM'e sığar (CPU)
Qwen3 30B A3B HFMoE 30.5B / 3.3B Q8_0≈16,4 tok/s RAM'e aktarımla çalışır Q3_K_S≈66 tok/s Ekran kartı belleğine sığar Q4_K_M154 tok/sölçülen Ekran kartı belleğine sığar Q5_K_S≈158 tok/s Ekran kartı belleğine sığar UD-Q6_K_XL≈232 tok/s Ekran kartı belleğine sığar Q8_0≈192 tok/s Ekran kartı belleğine sığar Q8_0≈77 tok/s Ekran kartı belleğine sığar Q8_0≈63 tok/s Ekran kartı belleğine sığar Q8_0≈53 tok/s Ekran kartı belleğine sığar Q8_0≈45 tok/s Birleşik belleğe sığar Q8_0≈67 tok/s Birleşik belleğe sığar Q8_0≈33 tok/s Birleşik belleğe sığar Q8_0≈35 tok/s Birleşik belleğe sığar Q8_0≈14,3 tok/s RAM'e sığar (CPU) Q8_0≈32 tok/s RAM'e sığar (CPU)
Gemma 4 31B HF 31.3B Q4_K_M≈3,8 tok/s RAM'e aktarımla çalışır Q3_K_S≈10,4 tok/s RAM'e aktarımla çalışır Q4_1≈37 tok/s Ekran kartı belleğine sığar Q4_1≈40 tok/s Ekran kartı belleğine sığar Q6_K≈55 tok/s Ekran kartı belleğine sığar Q8_0≈43 tok/s Ekran kartı belleğine sığar Q8_0≈17,1 tok/s Ekran kartı belleğine sığar Q8_0≈13,9 tok/s Ekran kartı belleğine sığar Q8_0≈11,7 tok/s Ekran kartı belleğine sığar Q8_0≈11,3 tok/s Birleşik belleğe sığar Q8_0≈17,0 tok/s Birleşik belleğe sığar IQ4_XS≈10,3 tok/s Birleşik belleğe sığar Q4_K_S≈10,3 tok/s Birleşik belleğe sığar Q4_K_M≈5,7 tok/s RAM'e sığar (CPU) Q6_K≈10,1 tok/s RAM'e sığar (CPU)
Qwen3 32B HF 32.8B Q4_K_M≈3,7 tok/s RAM'e aktarımla çalışır UD-IQ3_XXS≈14,1 tok/s RAM'e aktarımla çalışır UD-Q4_K_XL≈35 tok/s Ekran kartı belleğine sığar UD-Q4_K_XL≈38 tok/s Ekran kartı belleğine sığar Q6_K≈51 tok/s Ekran kartı belleğine sığar Q8_0≈40 tok/s Ekran kartı belleğine sığar Q8_0≈16,0 tok/s Ekran kartı belleğine sığar Q8_0≈13,0 tok/s Ekran kartı belleğine sığar Q8_0≈11,0 tok/s Ekran kartı belleğine sığar Q8_0≈10,6 tok/s Birleşik belleğe sığar Q8_0≈16,0 tok/s Birleşik belleğe sığar UD-Q3_K_XL≈10,3 tok/s Birleşik belleğe sığar IQ4_XS≈10,2 tok/s Birleşik belleğe sığar Q4_K_M≈5,4 tok/s RAM'e sığar (CPU) Q5_K_M≈10,8 tok/s RAM'e sığar (CPU)
Qwen3.5 35B A3B HFMoE 36B / 3B Q8_0≈17,9 tok/s RAM'e aktarımla çalışır Q8_0≈18,7 tok/s RAM'e aktarımla çalışır Q4_K_S≈191 tok/s Ekran kartı belleğine sığar Q4_K_S≈205 tok/s Ekran kartı belleğine sığar Q6_K≈274 tok/s Ekran kartı belleğine sığar Q8_0≈220 tok/s Ekran kartı belleğine sığar Q8_0≈89 tok/s Ekran kartı belleğine sığar Q8_0≈72 tok/s Ekran kartı belleğine sığar Q8_0≈61 tok/s Ekran kartı belleğine sığar Q8_0≈51 tok/s Birleşik belleğe sığar Q8_0≈77 tok/s Birleşik belleğe sığar Q8_0≈37 tok/s Birleşik belleğe sığar Q8_0≈40 tok/s Birleşik belleğe sığar Q8_0≈15,0 tok/s RAM'e sığar (CPU) Q8_0≈34 tok/s RAM'e sığar (CPU)
Llama 3.3 70B Instruct HF 70.6B Q4_K_M≈1,3 tok/s RAM'e aktarımla çalışır Q4_K_M≈1,4 tok/s RAM'e aktarımla çalışır Q4_K_M≈2,0 tok/s RAM'e aktarımla çalışır Q4_K_M≈2,0 tok/s RAM'e aktarımla çalışır UD-IQ3_XXS≈49 tok/s Ekran kartı belleğine sığar Q8_0≈18,8 tok/s Ekran kartı belleğine sığar Q4_K_M16,3 tok/sölçülen Ekran kartı belleğine sığar Q4_1≈10,3 tok/s Ekran kartı belleğine sığar IQ4_XS≈10,0 tok/s Ekran kartı belleğine sığar UD-Q3_K_XL≈10,6 tok/s Birleşik belleğe sığar Q5_K_M≈11,2 tok/s Birleşik belleğe sığar Q4_K_M≈4,1 tok/s Birleşik belleğe sığar Q4_K_M≈4,4 tok/s Birleşik belleğe sığar Q4_K_M≈2,9 tok/s RAM'e sığar (CPU) Q4_K_M≈6,6 tok/s RAM'e sığar (CPU)
Qwen3 Next 80B A3B Instruct HFMoE 81.3B / 3B Q5_K_M≈24 tok/s RAM'e aktarımla çalışır Q6_K≈21 tok/s RAM'e aktarımla çalışır UD-Q6_K_XL≈26 tok/s RAM'e aktarımla çalışır UD-Q6_K_XL≈26 tok/s RAM'e aktarımla çalışır UD-Q6_K_XL≈31 tok/s RAM'e aktarımla çalışır Q8_0≈213 tok/s Ekran kartı belleğine sığar Q4_K_S≈145 tok/s Ekran kartı belleğine sığar UD-Q6_K_XL≈84 tok/s Ekran kartı belleğine sığar Q8_0≈59 tok/s Ekran kartı belleğine sığar Q8_0≈49 tok/s Birleşik belleğe sığar Q8_0≈74 tok/s Birleşik belleğe sığar Q8_0≈36 tok/s Birleşik belleğe sığar Q8_0≈39 tok/s Birleşik belleğe sığar Q8_0≈14,8 tok/s RAM'e sığar (CPU) Q8_0≈33 tok/s RAM'e sığar (CPU)
GLM 4.5 Air HFMoE 110B / 17B Q4_0≈5,3 tok/s RAM'e aktarımla çalışır Q4_K_S≈5,1 tok/s RAM'e aktarımla çalışır Q4_K_M≈5,6 tok/s RAM'e aktarımla çalışır Q4_K_M≈5,7 tok/s RAM'e aktarımla çalışır Q3_K_M≈10,2 tok/s RAM'e aktarımla çalışır Q5_K_M≈55 tok/s Ekran kartı belleğine sığar Q4_0≈10,0 tok/s RAM'e aktarımla çalışır UD-Q4_K_XL≈22 tok/s Ekran kartı belleğine sığar Q5_K_M≈15,2 tok/s Ekran kartı belleğine sığar Q5_K_M≈12,8 tok/s Birleşik belleğe sığar Q8_0≈13,9 tok/s Birleşik belleğe sığar Q4_K_M≈10,6 tok/s Birleşik belleğe sığar Q5_K_M≈10,0 tok/s Birleşik belleğe sığar Q4_K_M≈8,0 tok/s RAM'e sığar (CPU) Q8_0≈13,1 tok/s RAM'e sığar (CPU)
gpt-oss-120b HFMoE 117B / 5.1B MXFP4≈19,1 tok/s RAM'e aktarımla çalışır MXFP4≈19,6 tok/s RAM'e aktarımla çalışır MXFP426–28 tok/sölçülen RAM'e aktarımla çalışır MXFP4≈25 tok/s RAM'e aktarımla çalışır MXFP4≈31 tok/s RAM'e aktarımla çalışır MXFP4≈258 tok/s Ekran kartı belleğine sığar MXFP4≈36 tok/s RAM'e aktarımla çalışır MXFP441–73 tok/sölçülen Ekran kartı belleğine sığar MXFP4≈71 tok/s Ekran kartı belleğine sığar MXFP4≈60 tok/s Birleşik belleğe sığar MXFP4≈90 tok/s Birleşik belleğe sığar MXFP450 tok/sölçülen Birleşik belleğe sığar MXFP461 tok/sölçülen Birleşik belleğe sığar MXFP4≈15,8 tok/s RAM'e sığar (CPU) MXFP4≈36 tok/s RAM'e sığar (CPU)
Qwen3.5 122B A10B HFMoE 125B / 10B UD-IQ4_NL≈10,5 tok/s RAM'e aktarımla çalışır UD-IQ4_NL≈10,8 tok/s RAM'e aktarımla çalışır Q4_K_S≈11,1 tok/s RAM'e aktarımla çalışır Q4_K_S≈11,2 tok/s RAM'e aktarımla çalışır UD-Q4_K_XL≈11,9 tok/s RAM'e aktarımla çalışır UD-Q5_K_XL≈97 tok/s Ekran kartı belleğine sığar UD-IQ3_XXS≈76 tok/s Ekran kartı belleğine sığar UD-IQ4_NL≈46 tok/s Ekran kartı belleğine sığar UD-Q5_K_XL≈27 tok/s Ekran kartı belleğine sığar UD-Q5_K_XL≈23 tok/s Birleşik belleğe sığar Q8_0≈24 tok/s Birleşik belleğe sığar Q6_K≈15,1 tok/s Birleşik belleğe sığar Q6_K≈16,1 tok/s Birleşik belleğe sığar UD-Q5_K_XL≈10,4 tok/s RAM'e sığar (CPU) Q8_0≈19,3 tok/s RAM'e sığar (CPU)
Qwen3 235B A22B HFMoE 235B / 22B ✕ Sığmaz ✕ Sığmaz ✕ Sığmaz ✕ Sığmaz ✕ Sığmaz UD-Q4_K_XL≈10,8 tok/s RAM'e aktarımla çalışır UD-Q2_K_XL≈8,0 tok/sgüçlü sıkıştırma RAM'e aktarımla çalışır Q3_K_M≈6,1 tok/s RAM'e aktarımla çalışır UD-Q3_K_XL≈11,7 tok/s RAM'e aktarımla çalışır UD-Q2_K_XL≈19,4 tok/sgüçlü sıkıştırma Birleşik belleğe sığar Q8_0≈10,8 tok/s Birleşik belleğe sığar UD-Q3_K_XL≈12,2 tok/s Birleşik belleğe sığar UD-Q3_K_XL≈13,0 tok/s Birleşik belleğe sığar Q4_K_M≈7,2 tok/s RAM'e sığar (CPU) Q8_0≈10,9 tok/s RAM'e sığar (CPU)
GLM 4.7 HFMoE 358B / 39.2B ✕ Sığmaz ✕ Sığmaz ✕ Sığmaz ✕ Sığmaz ✕ Sığmaz UD-IQ3_XXS≈7,3 tok/s RAM'e aktarımla çalışır UD-IQ1_S≈5,6 tok/sgüçlü sıkıştırma RAM'e aktarımla çalışır UD-IQ2_XXS≈4,7 tok/sgüçlü sıkıştırma RAM'e aktarımla çalışır UD-IQ3_XXS≈3,5 tok/s RAM'e aktarımla çalışır UD-TQ1_0≈16,2 tok/sgüçlü sıkıştırma Birleşik belleğe sığar Q4_1≈10,0 tok/s Birleşik belleğe sığar UD-IQ1_M≈9,6 tok/sgüçlü sıkıştırma Birleşik belleğe sığar UD-IQ1_M≈10,3 tok/sgüçlü sıkıştırma Birleşik belleğe sığar Q4_K_M≈4,7 tok/s RAM'e sığar (CPU) Q4_1≈10,2 tok/s RAM'e sığar (CPU)
DeepSeek R1 HFMoE 684B / 37B ✕ Sığmaz ✕ Sığmaz ✕ Sığmaz ✕ Sığmaz ✕ Sığmaz UD-IQ1_S≈16,9 tok/sgüçlü sıkıştırma RAM'e aktarımla çalışır ✕ Sığmaz ✕ Sığmaz UD-IQ1_S≈8,0 tok/sgüçlü sıkıştırma RAM'e aktarımla çalışır ✕ Sığmaz Q3_K_M≈14,9 tok/s Birleşik belleğe sığar ✕ Sığmaz ✕ Sığmaz Q4_K_M≈5,2 tok/s RAM'e sığar (CPU) Q3_K_M≈13,9 tok/s RAM'e sığar (CPU)
Kimi K2.5 HFMoE 1,027B / 32B ✕ Sığmaz ✕ Sığmaz ✕ Sığmaz ✕ Sığmaz ✕ Sığmaz ✕ Sığmaz ✕ Sığmaz ✕ Sığmaz ✕ Sığmaz ✕ Sığmaz UD-Q2_K_XL≈22 tok/sgüçlü sıkıştırma Birleşik belleğe sığar ✕ Sığmaz ✕ Sığmaz Q3_K_S≈7,2 tok/s RAM'e sığar (CPU) UD-IQ2_XXS≈19,7 tok/sgüçlü sıkıştırma RAM'e sığar (CPU)

Her bellek boyutunda nelerin kilidi açılır (bağlam 8K)

  1. 8 GB Qwen2.5 3B Instruct · Llama 3.2 3B Instruct · Gemma 3 4B · Llama 3.1 8B Instruct · Qwen3 8B güçlü sıkıştırma: Gemma 3 12B · Qwen3 14B
  2. 12 GB Gemma 3 12B · Qwen3 14B güçlü sıkıştırma: Mistral Small 3.2 24B · Gemma 3 27B · Qwen3 30B A3B · Qwen3 32B
  3. 16 GB gpt-oss-20b · Mistral Small 3.2 24B · Gemma 4 26B A4B · Gemma 3 27B · Qwen3 30B A3B güçlü sıkıştırma: Gemma 4 31B · Qwen3.5 35B A3B
  4. 24 GB Gemma 4 31B · Qwen3 32B · Qwen3.5 35B A3B güçlü sıkıştırma: Llama 3.3 70B Instruct · Qwen3 Next 80B A3B Instruct
  5. 48 GB Llama 3.3 70B Instruct · Qwen3 Next 80B A3B Instruct · Qwen3.5 122B A10B güçlü sıkıştırma: GLM 4.5 Air
  6. 96 GB GLM 4.5 Air · gpt-oss-120b güçlü sıkıştırma: Qwen3 235B A22B · GLM 4.7
  7. 128 GB Qwen3 235B A22B
  8. 192 GB GLM 4.7 güçlü sıkıştırma: DeepSeek R1
  9. 256 GB güçlü sıkıştırma: Kimi K2.5
  10. 512 GB DeepSeek R1 · Kimi K2.5

≈ 8K bağlamı için tahminler: ağırlıklar + KV önbelleği + çalışma zamanı yükü, belleğe karşı; hız, bellek bant genişliğinden hesaplanır. Gerçek değerler çalışma zamanına ve ayarlara bağlıdır.

Güncellendi · Kaynaklar: Hugging Face , www.nvidia.com , images.nvidia.com , support.apple.com , www.amd.com

Sitenize ekleyin

Bu kodu infografiğin görünmesini istediğiniz yere yapıştırın: kendiliğinden güncellenir. Ücretsiz kullanım — kaynak bağlantısını koruyun.

JSON Verilerimiz: kaynağa bağlantıyla CC BY 4.0; üçüncü taraf verileri kaynağının lisansını korur.

Matrisi okumak

Satırlarda yaklaşık 3B'den 1T parametreye kadar bilinen açık ağırlıklı modeller, sütunlarda ise ekran kartları, çoklu GPU sistemleri, birleşik belleğe sahip Apple ve AMD makineleri ve modeli işlemcide çalıştıran sunucular var. Her hücre önerilen nicemlemeyi ve saniyedeki token sayısı olarak yaklaşık üretim hızını yazar. Hücrenin rengi modelin nerede durduğunu söyler: ekran kartı belleği (VRAM), birleşik bellek, sunucu RAM'i, RAM'e boşaltma ya da «sığmıyor».

Tahmin adım adım nasıl hesaplanır

  1. Ağırlıklar. Parametre sayısı çarpı ağırlık başına bit; Hugging Face'te gerçek nicemleme dosyası varsa onun boyutu.
  2. KV önbelleği. Konuşmayı tutan bellek. Matris 8192 tokenlık bir bağlam varsayar; uzun bağlamlarda bu kısım küçük bir modelden bile büyük olabilir.
  3. Ek yük. Çalışma ortamı ve arabellekler için yaklaşık 1,5 GB, bir VLM'de buna görsel projektör eklenir.
  4. Hız. Bellek bant genişliği, her token için okunan bayt miktarına bölünür. Bir MoE modeli yalnızca etkin parametrelerini okur; bu yüzden büyük bir MoE, daha küçük yoğun bir modelden hızlı yazabilir.

Toplam VRAM'i aşıyor ama sistem belleğiyle birlikte sığıyorsa hücre boşaltmayı gösterir: model çalışır, yalnızca daha yavaş. ≈ işaretli değerler ölçülmüş çalıştırmalara göre ayarlanmış tahminlerdir ve onlardan yaklaşık ±%35 sapar. Gerçek bir ölçümü olan hücre o değeri kaynağının bağlantısıyla gösterir.

Nicemleme nasıl seçilir

Hız saniyede en az 10 token kaldığı sürece Q8_0'a kadar daha çok bit kullanan dosyayı seçeriz; aksi halde Q4_K_M gibi Q4 sınıfı bir dosya önerilir. BF16 hiçbir zaman önerilmez: belleği iki katına çıkarır, kazancı ise neredeyse hissedilmez. Q3'ün altına yalnızca daha büyüğü sığmadığında ineriz ve hücre bu durumda «güçlü sıkıştırma» uyarısı verir.

Kendi makinenizi kontrol edin

Matrisin altındaki «Hesaplayıcı: sığar mı?» bir model, nicemleme, bağlam uzunluğu ve donanım alır; isterseniz yalnızca kendi ekran kartı belleğinizi, RAM'inizi ve bant genişliğinizi girersiniz. Ağırlıkları, KV önbelleğini ve ek yükü kapasitenize karşı tek bir çubuk olarak çizer. Altındaki merdiven 8, 12, 16, 24, 48, 96 ve 128 GB'ta nelerin açıldığını sıralar.

Tahmin yalnızca üretimi kapsar, uzun bir istemin okunma süresini değil; sürücüler, çalışma ortamının sürümü ve ayarlar sonucu iki yönde de oynatır. GGUF dosyaları llama.cpp, LM Studio, Ollama ve Jan'da çalışır, ayrıntılar yerel yapay zekâ uygulamaları sayfasında. Güvenlik filtresi olmayan modeller bir anahtarın arkasında gizlidir. Eksiksiz makineler için PC yapılandırmalarına geçin.