Μετάβαση στο περιεχόμενο
fedi.software

Ποιο ανοιχτό μοντέλο χωράει στο υλικό σας — 2026

Μοντέλα ανοιχτών βαρών απέναντι σε δημοφιλείς κάρτες γραφικών και υπολογιστές: η προτεινόμενη κβαντοποίηση (η μεγαλύτερη έως Q8 που δίνει ακόμη 10 ή περισσότερα tokens ανά δευτερόλεπτο, αλλιώς κλάσης Q4· κάτω από Q3 μόνο όταν δεν χωράει τίποτα άλλο), πού τρέχει (μνήμη γραφικών, ενιαία μνήμη ή με μεταφορά στη RAM) και μια κατά προσέγγιση ταχύτητα παραγωγής.

Μοντέλο Παράμετροι
Qwen2.5 3B Instruct HF 3.1B Q8_0≈84 tok/s Χωράει στη μνήμη γραφικών Q8_0≈67 tok/s Χωράει στη μνήμη γραφικών Q8_0≈218 tok/s Χωράει στη μνήμη γραφικών Q8_0≈235 tok/s Χωράει στη μνήμη γραφικών Q8_0≈417 tok/s Χωράει στη μνήμη γραφικών Q8_0≈417 tok/s Χωράει στη μνήμη γραφικών Q8_0≈168 tok/s Χωράει στη μνήμη γραφικών Q8_0≈136 tok/s Χωράει στη μνήμη γραφικών Q8_0≈115 tok/s Χωράει στη μνήμη γραφικών Q8_0≈111 tok/s Χωράει στην ενιαία μνήμη Q8_0≈167 tok/s Χωράει στην ενιαία μνήμη Q8_0≈52 tok/s Χωράει στην ενιαία μνήμη Q8_0≈56 tok/s Χωράει στην ενιαία μνήμη Q8_0≈15,0 tok/s Χωράει στη RAM (CPU) Q8_0≈34 tok/s Χωράει στη RAM (CPU)
Llama 3.2 3B Instruct HF 3.2B Q8_0≈74 tok/s Χωράει στη μνήμη γραφικών Q8_0≈59 tok/s Χωράει στη μνήμη γραφικών Q8_0≈192 tok/s Χωράει στη μνήμη γραφικών Q8_0≈207 tok/s Χωράει στη μνήμη γραφικών Q8_0≈368 tok/s Χωράει στη μνήμη γραφικών Q8_0≈368 tok/s Χωράει στη μνήμη γραφικών Q8_0≈148 tok/s Χωράει στη μνήμη γραφικών Q8_0≈120 tok/s Χωράει στη μνήμη γραφικών Q8_0≈101 tok/s Χωράει στη μνήμη γραφικών Q8_0≈98 tok/s Χωράει στην ενιαία μνήμη Q8_0≈147 tok/s Χωράει στην ενιαία μνήμη Q8_0≈46 tok/s Χωράει στην ενιαία μνήμη Q8_0≈49 tok/s Χωράει στην ενιαία μνήμη Q8_0≈14,3 tok/s Χωράει στη RAM (CPU) Q8_0≈32 tok/s Χωράει στη RAM (CPU)
Gemma 3 4B HF 4.3B Q8_0≈67 tok/s Χωράει στη μνήμη γραφικών Q8_0≈54 tok/s Χωράει στη μνήμη γραφικών Q8_0≈175 tok/s Χωράει στη μνήμη γραφικών Q8_0≈189 tok/s Χωράει στη μνήμη γραφικών Q8_0≈335 tok/s Χωράει στη μνήμη γραφικών Q8_0≈335 tok/s Χωράει στη μνήμη γραφικών Q8_0≈135 tok/s Χωράει στη μνήμη γραφικών Q8_0≈109 tok/s Χωράει στη μνήμη γραφικών Q8_0≈92 tok/s Χωράει στη μνήμη γραφικών Q8_0≈89 tok/s Χωράει στην ενιαία μνήμη Q8_0≈134 tok/s Χωράει στην ενιαία μνήμη Q8_0≈42 tok/s Χωράει στην ενιαία μνήμη Q8_0≈45 tok/s Χωράει στην ενιαία μνήμη Q8_0≈13,8 tok/s Χωράει στη RAM (CPU) Q8_0≈31 tok/s Χωράει στη RAM (CPU)
Llama 3.1 8B Instruct HF 8B UD-Q6_K_XL≈37 tok/s Χωράει στη μνήμη γραφικών UD-Q6_K_XL≈29 tok/s Χωράει στη μνήμη γραφικών UD-Q6_K_XL≈95 tok/s Χωράει στη μνήμη γραφικών UD-Q6_K_XL≈103 tok/s Χωράει στη μνήμη γραφικών UD-Q6_K_XL≈182 tok/s Χωράει στη μνήμη γραφικών UD-Q6_K_XL≈182 tok/s Χωράει στη μνήμη γραφικών UD-Q6_K_XL≈73 tok/s Χωράει στη μνήμη γραφικών UD-Q6_K_XL≈59 tok/s Χωράει στη μνήμη γραφικών UD-Q6_K_XL≈50 tok/s Χωράει στη μνήμη γραφικών UD-Q6_K_XL≈49 tok/s Χωράει στην ενιαία μνήμη UD-Q6_K_XL≈73 tok/s Χωράει στην ενιαία μνήμη UD-Q6_K_XL≈23 tok/s Χωράει στην ενιαία μνήμη UD-Q6_K_XL≈24 tok/s Χωράει στην ενιαία μνήμη UD-Q6_K_XL≈10,3 tok/s Χωράει στη RAM (CPU) UD-Q6_K_XL≈23 tok/s Χωράει στη RAM (CPU)
Qwen3 8B HF 8.2B Q8_0≈31 tok/s Χωράει στη μνήμη γραφικών Q8_0≈25 tok/s Χωράει στη μνήμη γραφικών Q8_0≈80 tok/s Χωράει στη μνήμη γραφικών Q8_0≈87 tok/s Χωράει στη μνήμη γραφικών Q8_0≈154 tok/s Χωράει στη μνήμη γραφικών Q8_0≈154 tok/s Χωράει στη μνήμη γραφικών Q8_0≈62 tok/s Χωράει στη μνήμη γραφικών Q8_0≈50 tok/s Χωράει στη μνήμη γραφικών Q8_0≈42 tok/s Χωράει στη μνήμη γραφικών Q8_0≈41 tok/s Χωράει στην ενιαία μνήμη Q8_0≈62 tok/s Χωράει στην ενιαία μνήμη Q8_0≈19,2 tok/s Χωράει στην ενιαία μνήμη Q8_0≈21 tok/s Χωράει στην ενιαία μνήμη UD-Q6_K_XL≈10,2 tok/s Χωράει στη RAM (CPU) Q8_0≈21 tok/s Χωράει στη RAM (CPU)
Gemma 3 12B HF 12.2B UD-Q5_K_XL≈32 tok/s Χωράει στη μνήμη γραφικών Q8_0≈17,8 tok/s Χωράει στη μνήμη γραφικών Q8_0≈58 tok/s Χωράει στη μνήμη γραφικών Q8_0≈62 tok/s Χωράει στη μνήμη γραφικών Q8_0≈111 tok/s Χωράει στη μνήμη γραφικών Q8_0≈111 tok/s Χωράει στη μνήμη γραφικών Q8_0≈44 tok/s Χωράει στη μνήμη γραφικών Q8_0≈36 tok/s Χωράει στη μνήμη γραφικών Q8_0≈30 tok/s Χωράει στη μνήμη γραφικών Q8_0≈30 tok/s Χωράει στην ενιαία μνήμη Q8_0≈44 tok/s Χωράει στην ενιαία μνήμη Q8_0≈13,8 tok/s Χωράει στην ενιαία μνήμη Q8_0≈14,8 tok/s Χωράει στην ενιαία μνήμη Q4_1≈10,2 tok/s Χωράει στη RAM (CPU) Q8_0≈17,1 tok/s Χωράει στη RAM (CPU)
Qwen3 14B HF 14.8B Q4_K_M≈30 tok/s Χωράει στη μνήμη γραφικών Q6_K≈18,0 tok/s Χωράει στη μνήμη γραφικών Q8_0≈46 tok/s Χωράει στη μνήμη γραφικών Q8_0≈49 tok/s Χωράει στη μνήμη γραφικών Q8_0≈88 tok/s Χωράει στη μνήμη γραφικών Q8_0≈88 tok/s Χωράει στη μνήμη γραφικών Q8_0≈35 tok/s Χωράει στη μνήμη γραφικών Q8_0≈29 tok/s Χωράει στη μνήμη γραφικών Q8_0≈24 tok/s Χωράει στη μνήμη γραφικών Q8_0≈23 tok/s Χωράει στην ενιαία μνήμη Q8_0≈35 tok/s Χωράει στην ενιαία μνήμη Q8_0≈10,9 tok/s Χωράει στην ενιαία μνήμη Q8_0≈11,7 tok/s Χωράει στην ενιαία μνήμη UD-Q3_K_XL≈10,1 tok/s Χωράει στη RAM (CPU) Q8_0≈14,6 tok/s Χωράει στη RAM (CPU)
gpt-oss-20b HFMoE 20.9B / 3.6B MXFP4≈53 tok/s Τρέχει με μεταφορά στη RAM MXFP4≈55 tok/s Χωράει στη μνήμη γραφικών MXFP4162 tok/sμετρημένο Χωράει στη μνήμη γραφικών MXFP4≈194 tok/s Χωράει στη μνήμη γραφικών MXFP4≈344 tok/s Χωράει στη μνήμη γραφικών MXFP4≈344 tok/s Χωράει στη μνήμη γραφικών MXFP4≈138 tok/s Χωράει στη μνήμη γραφικών MXFP4≈112 tok/s Χωράει στη μνήμη γραφικών MXFP4≈95 tok/s Χωράει στη μνήμη γραφικών MXFP4≈80 tok/s Χωράει στην ενιαία μνήμη MXFP4116 tok/sμετρημένο Χωράει στην ενιαία μνήμη MXFP4≈59 tok/s Χωράει στην ενιαία μνήμη MXFP4≈62 tok/s Χωράει στην ενιαία μνήμη MXFP4≈17,2 tok/s Χωράει στη RAM (CPU) MXFP4≈39 tok/s Χωράει στη RAM (CPU)
Mistral Small 3.2 24B HF 24B Q3_K_M≈10,2 tok/s Τρέχει με μεταφορά στη RAM UD-Q3_K_XL≈18,4 tok/s Χωράει στη μνήμη γραφικών Q6_K≈37 tok/s Χωράει στη μνήμη γραφικών Q6_K≈40 tok/s Χωράει στη μνήμη γραφικών Q8_0≈56 tok/s Χωράει στη μνήμη γραφικών Q8_0≈56 tok/s Χωράει στη μνήμη γραφικών Q8_0≈22 tok/s Χωράει στη μνήμη γραφικών Q8_0≈18,2 tok/s Χωράει στη μνήμη γραφικών Q8_0≈15,3 tok/s Χωράει στη μνήμη γραφικών Q8_0≈14,9 tok/s Χωράει στην ενιαία μνήμη Q8_0≈22 tok/s Χωράει στην ενιαία μνήμη Q5_K_M≈10,3 tok/s Χωράει στην ενιαία μνήμη Q5_K_M≈11,0 tok/s Χωράει στην ενιαία μνήμη Q4_K_M≈6,9 tok/s Χωράει στη RAM (CPU) Q8_0≈10,3 tok/s Χωράει στη RAM (CPU)
Gemma 4 26B A4B HFMoE 25.8B / 3.8B UD-Q8_K_XL≈14,7 tok/s Τρέχει με μεταφορά στη RAM UD-Q3_K_M≈56 tok/s Χωράει στη μνήμη γραφικών UD-Q5_K_S≈129 tok/s Χωράει στη μνήμη γραφικών UD-Q5_K_S≈139 tok/s Χωράει στη μνήμη γραφικών UD-Q8_K_XL≈173 tok/s Χωράει στη μνήμη γραφικών UD-Q8_K_XL≈173 tok/s Χωράει στη μνήμη γραφικών UD-Q8_K_XL≈70 tok/s Χωράει στη μνήμη γραφικών UD-Q8_K_XL≈57 tok/s Χωράει στη μνήμη γραφικών UD-Q8_K_XL≈48 tok/s Χωράει στη μνήμη γραφικών UD-Q8_K_XL≈40 tok/s Χωράει στην ενιαία μνήμη UD-Q8_K_XL≈60 tok/s Χωράει στην ενιαία μνήμη UD-Q8_K_XL≈29 tok/s Χωράει στην ενιαία μνήμη UD-Q8_K_XL≈31 tok/s Χωράει στην ενιαία μνήμη UD-Q8_K_XL≈13,7 tok/s Χωράει στη RAM (CPU) UD-Q8_K_XL≈31 tok/s Χωράει στη RAM (CPU)
Gemma 3 27B HF 27.4B UD-IQ3_XXS≈12,7 tok/s Τρέχει με μεταφορά στη RAM Q3_K_S≈18,1 tok/s Χωράει στη μνήμη γραφικών UD-Q5_K_XL≈38 tok/s Χωράει στη μνήμη γραφικών UD-Q5_K_XL≈41 tok/s Χωράει στη μνήμη γραφικών UD-Q6_K_XL≈59 tok/s Χωράει στη μνήμη γραφικών Q8_0≈49 tok/s Χωράει στη μνήμη γραφικών Q8_0≈19,7 tok/s Χωράει στη μνήμη γραφικών Q8_0≈16,0 tok/s Χωράει στη μνήμη γραφικών Q8_0≈13,5 tok/s Χωράει στη μνήμη γραφικών Q8_0≈13,1 tok/s Χωράει στην ενιαία μνήμη Q8_0≈19,6 tok/s Χωράει στην ενιαία μνήμη Q4_1≈10,1 tok/s Χωράει στην ενιαία μνήμη Q4_1≈10,8 tok/s Χωράει στην ενιαία μνήμη Q4_K_M≈6,3 tok/s Χωράει στη RAM (CPU) UD-Q6_K_XL≈10,8 tok/s Χωράει στη RAM (CPU)
Qwen3 30B A3B HFMoE 30.5B / 3.3B Q8_0≈16,4 tok/s Τρέχει με μεταφορά στη RAM Q3_K_S≈66 tok/s Χωράει στη μνήμη γραφικών Q4_K_M154 tok/sμετρημένο Χωράει στη μνήμη γραφικών Q5_K_S≈158 tok/s Χωράει στη μνήμη γραφικών UD-Q6_K_XL≈232 tok/s Χωράει στη μνήμη γραφικών Q8_0≈192 tok/s Χωράει στη μνήμη γραφικών Q8_0≈77 tok/s Χωράει στη μνήμη γραφικών Q8_0≈63 tok/s Χωράει στη μνήμη γραφικών Q8_0≈53 tok/s Χωράει στη μνήμη γραφικών Q8_0≈45 tok/s Χωράει στην ενιαία μνήμη Q8_0≈67 tok/s Χωράει στην ενιαία μνήμη Q8_0≈33 tok/s Χωράει στην ενιαία μνήμη Q8_0≈35 tok/s Χωράει στην ενιαία μνήμη Q8_0≈14,3 tok/s Χωράει στη RAM (CPU) Q8_0≈32 tok/s Χωράει στη RAM (CPU)
Gemma 4 31B HF 31.3B Q4_K_M≈3,8 tok/s Τρέχει με μεταφορά στη RAM Q3_K_S≈10,4 tok/s Τρέχει με μεταφορά στη RAM Q4_1≈37 tok/s Χωράει στη μνήμη γραφικών Q4_1≈40 tok/s Χωράει στη μνήμη γραφικών Q6_K≈55 tok/s Χωράει στη μνήμη γραφικών Q8_0≈43 tok/s Χωράει στη μνήμη γραφικών Q8_0≈17,1 tok/s Χωράει στη μνήμη γραφικών Q8_0≈13,9 tok/s Χωράει στη μνήμη γραφικών Q8_0≈11,7 tok/s Χωράει στη μνήμη γραφικών Q8_0≈11,3 tok/s Χωράει στην ενιαία μνήμη Q8_0≈17,0 tok/s Χωράει στην ενιαία μνήμη IQ4_XS≈10,3 tok/s Χωράει στην ενιαία μνήμη Q4_K_S≈10,3 tok/s Χωράει στην ενιαία μνήμη Q4_K_M≈5,7 tok/s Χωράει στη RAM (CPU) Q6_K≈10,1 tok/s Χωράει στη RAM (CPU)
Qwen3 32B HF 32.8B Q4_K_M≈3,7 tok/s Τρέχει με μεταφορά στη RAM UD-IQ3_XXS≈14,1 tok/s Τρέχει με μεταφορά στη RAM UD-Q4_K_XL≈35 tok/s Χωράει στη μνήμη γραφικών UD-Q4_K_XL≈38 tok/s Χωράει στη μνήμη γραφικών Q6_K≈51 tok/s Χωράει στη μνήμη γραφικών Q8_0≈40 tok/s Χωράει στη μνήμη γραφικών Q8_0≈16,0 tok/s Χωράει στη μνήμη γραφικών Q8_0≈13,0 tok/s Χωράει στη μνήμη γραφικών Q8_0≈11,0 tok/s Χωράει στη μνήμη γραφικών Q8_0≈10,6 tok/s Χωράει στην ενιαία μνήμη Q8_0≈16,0 tok/s Χωράει στην ενιαία μνήμη UD-Q3_K_XL≈10,3 tok/s Χωράει στην ενιαία μνήμη IQ4_XS≈10,2 tok/s Χωράει στην ενιαία μνήμη Q4_K_M≈5,4 tok/s Χωράει στη RAM (CPU) Q5_K_M≈10,8 tok/s Χωράει στη RAM (CPU)
Qwen3.5 35B A3B HFMoE 36B / 3B Q8_0≈17,9 tok/s Τρέχει με μεταφορά στη RAM Q8_0≈18,7 tok/s Τρέχει με μεταφορά στη RAM Q4_K_S≈191 tok/s Χωράει στη μνήμη γραφικών Q4_K_S≈205 tok/s Χωράει στη μνήμη γραφικών Q6_K≈274 tok/s Χωράει στη μνήμη γραφικών Q8_0≈220 tok/s Χωράει στη μνήμη γραφικών Q8_0≈89 tok/s Χωράει στη μνήμη γραφικών Q8_0≈72 tok/s Χωράει στη μνήμη γραφικών Q8_0≈61 tok/s Χωράει στη μνήμη γραφικών Q8_0≈51 tok/s Χωράει στην ενιαία μνήμη Q8_0≈77 tok/s Χωράει στην ενιαία μνήμη Q8_0≈37 tok/s Χωράει στην ενιαία μνήμη Q8_0≈40 tok/s Χωράει στην ενιαία μνήμη Q8_0≈15,0 tok/s Χωράει στη RAM (CPU) Q8_0≈34 tok/s Χωράει στη RAM (CPU)
Llama 3.3 70B Instruct HF 70.6B Q4_K_M≈1,3 tok/s Τρέχει με μεταφορά στη RAM Q4_K_M≈1,4 tok/s Τρέχει με μεταφορά στη RAM Q4_K_M≈2,0 tok/s Τρέχει με μεταφορά στη RAM Q4_K_M≈2,0 tok/s Τρέχει με μεταφορά στη RAM UD-IQ3_XXS≈49 tok/s Χωράει στη μνήμη γραφικών Q8_0≈18,8 tok/s Χωράει στη μνήμη γραφικών Q4_K_M16,3 tok/sμετρημένο Χωράει στη μνήμη γραφικών Q4_1≈10,3 tok/s Χωράει στη μνήμη γραφικών IQ4_XS≈10,0 tok/s Χωράει στη μνήμη γραφικών UD-Q3_K_XL≈10,6 tok/s Χωράει στην ενιαία μνήμη Q5_K_M≈11,2 tok/s Χωράει στην ενιαία μνήμη Q4_K_M≈4,1 tok/s Χωράει στην ενιαία μνήμη Q4_K_M≈4,4 tok/s Χωράει στην ενιαία μνήμη Q4_K_M≈2,9 tok/s Χωράει στη RAM (CPU) Q4_K_M≈6,6 tok/s Χωράει στη RAM (CPU)
Qwen3 Next 80B A3B Instruct HFMoE 81.3B / 3B Q5_K_M≈24 tok/s Τρέχει με μεταφορά στη RAM Q6_K≈21 tok/s Τρέχει με μεταφορά στη RAM UD-Q6_K_XL≈26 tok/s Τρέχει με μεταφορά στη RAM UD-Q6_K_XL≈26 tok/s Τρέχει με μεταφορά στη RAM UD-Q6_K_XL≈31 tok/s Τρέχει με μεταφορά στη RAM Q8_0≈213 tok/s Χωράει στη μνήμη γραφικών Q4_K_S≈145 tok/s Χωράει στη μνήμη γραφικών UD-Q6_K_XL≈84 tok/s Χωράει στη μνήμη γραφικών Q8_0≈59 tok/s Χωράει στη μνήμη γραφικών Q8_0≈49 tok/s Χωράει στην ενιαία μνήμη Q8_0≈74 tok/s Χωράει στην ενιαία μνήμη Q8_0≈36 tok/s Χωράει στην ενιαία μνήμη Q8_0≈39 tok/s Χωράει στην ενιαία μνήμη Q8_0≈14,8 tok/s Χωράει στη RAM (CPU) Q8_0≈33 tok/s Χωράει στη RAM (CPU)
GLM 4.5 Air HFMoE 110B / 17B Q4_0≈5,3 tok/s Τρέχει με μεταφορά στη RAM Q4_K_S≈5,1 tok/s Τρέχει με μεταφορά στη RAM Q4_K_M≈5,6 tok/s Τρέχει με μεταφορά στη RAM Q4_K_M≈5,7 tok/s Τρέχει με μεταφορά στη RAM Q3_K_M≈10,2 tok/s Τρέχει με μεταφορά στη RAM Q5_K_M≈55 tok/s Χωράει στη μνήμη γραφικών Q4_0≈10,0 tok/s Τρέχει με μεταφορά στη RAM UD-Q4_K_XL≈22 tok/s Χωράει στη μνήμη γραφικών Q5_K_M≈15,2 tok/s Χωράει στη μνήμη γραφικών Q5_K_M≈12,8 tok/s Χωράει στην ενιαία μνήμη Q8_0≈13,9 tok/s Χωράει στην ενιαία μνήμη Q4_K_M≈10,6 tok/s Χωράει στην ενιαία μνήμη Q5_K_M≈10,0 tok/s Χωράει στην ενιαία μνήμη Q4_K_M≈8,0 tok/s Χωράει στη RAM (CPU) Q8_0≈13,1 tok/s Χωράει στη RAM (CPU)
gpt-oss-120b HFMoE 117B / 5.1B MXFP4≈19,1 tok/s Τρέχει με μεταφορά στη RAM MXFP4≈19,6 tok/s Τρέχει με μεταφορά στη RAM MXFP426–28 tok/sμετρημένο Τρέχει με μεταφορά στη RAM MXFP4≈25 tok/s Τρέχει με μεταφορά στη RAM MXFP4≈31 tok/s Τρέχει με μεταφορά στη RAM MXFP4≈258 tok/s Χωράει στη μνήμη γραφικών MXFP4≈36 tok/s Τρέχει με μεταφορά στη RAM MXFP441–73 tok/sμετρημένο Χωράει στη μνήμη γραφικών MXFP4≈71 tok/s Χωράει στη μνήμη γραφικών MXFP4≈60 tok/s Χωράει στην ενιαία μνήμη MXFP4≈90 tok/s Χωράει στην ενιαία μνήμη MXFP450 tok/sμετρημένο Χωράει στην ενιαία μνήμη MXFP461 tok/sμετρημένο Χωράει στην ενιαία μνήμη MXFP4≈15,8 tok/s Χωράει στη RAM (CPU) MXFP4≈36 tok/s Χωράει στη RAM (CPU)
Qwen3.5 122B A10B HFMoE 125B / 10B UD-IQ4_NL≈10,5 tok/s Τρέχει με μεταφορά στη RAM UD-IQ4_NL≈10,8 tok/s Τρέχει με μεταφορά στη RAM Q4_K_S≈11,1 tok/s Τρέχει με μεταφορά στη RAM Q4_K_S≈11,2 tok/s Τρέχει με μεταφορά στη RAM UD-Q4_K_XL≈11,9 tok/s Τρέχει με μεταφορά στη RAM UD-Q5_K_XL≈97 tok/s Χωράει στη μνήμη γραφικών UD-IQ3_XXS≈76 tok/s Χωράει στη μνήμη γραφικών UD-IQ4_NL≈46 tok/s Χωράει στη μνήμη γραφικών UD-Q5_K_XL≈27 tok/s Χωράει στη μνήμη γραφικών UD-Q5_K_XL≈23 tok/s Χωράει στην ενιαία μνήμη Q8_0≈24 tok/s Χωράει στην ενιαία μνήμη Q6_K≈15,1 tok/s Χωράει στην ενιαία μνήμη Q6_K≈16,1 tok/s Χωράει στην ενιαία μνήμη UD-Q5_K_XL≈10,4 tok/s Χωράει στη RAM (CPU) Q8_0≈19,3 tok/s Χωράει στη RAM (CPU)
Qwen3 235B A22B HFMoE 235B / 22B ✕ Δεν χωράει ✕ Δεν χωράει ✕ Δεν χωράει ✕ Δεν χωράει ✕ Δεν χωράει UD-Q4_K_XL≈10,8 tok/s Τρέχει με μεταφορά στη RAM UD-Q2_K_XL≈8,0 tok/sισχυρή συμπίεση Τρέχει με μεταφορά στη RAM Q3_K_M≈6,1 tok/s Τρέχει με μεταφορά στη RAM UD-Q3_K_XL≈11,7 tok/s Τρέχει με μεταφορά στη RAM UD-Q2_K_XL≈19,4 tok/sισχυρή συμπίεση Χωράει στην ενιαία μνήμη Q8_0≈10,8 tok/s Χωράει στην ενιαία μνήμη UD-Q3_K_XL≈12,2 tok/s Χωράει στην ενιαία μνήμη UD-Q3_K_XL≈13,0 tok/s Χωράει στην ενιαία μνήμη Q4_K_M≈7,2 tok/s Χωράει στη RAM (CPU) Q8_0≈10,9 tok/s Χωράει στη RAM (CPU)
GLM 4.7 HFMoE 358B / 39.2B ✕ Δεν χωράει ✕ Δεν χωράει ✕ Δεν χωράει ✕ Δεν χωράει ✕ Δεν χωράει UD-IQ3_XXS≈7,3 tok/s Τρέχει με μεταφορά στη RAM UD-IQ1_S≈5,6 tok/sισχυρή συμπίεση Τρέχει με μεταφορά στη RAM UD-IQ2_XXS≈4,7 tok/sισχυρή συμπίεση Τρέχει με μεταφορά στη RAM UD-IQ3_XXS≈3,5 tok/s Τρέχει με μεταφορά στη RAM UD-TQ1_0≈16,2 tok/sισχυρή συμπίεση Χωράει στην ενιαία μνήμη Q4_1≈10,0 tok/s Χωράει στην ενιαία μνήμη UD-IQ1_M≈9,6 tok/sισχυρή συμπίεση Χωράει στην ενιαία μνήμη UD-IQ1_M≈10,3 tok/sισχυρή συμπίεση Χωράει στην ενιαία μνήμη Q4_K_M≈4,7 tok/s Χωράει στη RAM (CPU) Q4_1≈10,2 tok/s Χωράει στη RAM (CPU)
DeepSeek R1 HFMoE 684B / 37B ✕ Δεν χωράει ✕ Δεν χωράει ✕ Δεν χωράει ✕ Δεν χωράει ✕ Δεν χωράει UD-IQ1_S≈16,9 tok/sισχυρή συμπίεση Τρέχει με μεταφορά στη RAM ✕ Δεν χωράει ✕ Δεν χωράει UD-IQ1_S≈8,0 tok/sισχυρή συμπίεση Τρέχει με μεταφορά στη RAM ✕ Δεν χωράει Q3_K_M≈14,9 tok/s Χωράει στην ενιαία μνήμη ✕ Δεν χωράει ✕ Δεν χωράει Q4_K_M≈5,2 tok/s Χωράει στη RAM (CPU) Q3_K_M≈13,9 tok/s Χωράει στη RAM (CPU)
Kimi K2.5 HFMoE 1,027B / 32B ✕ Δεν χωράει ✕ Δεν χωράει ✕ Δεν χωράει ✕ Δεν χωράει ✕ Δεν χωράει ✕ Δεν χωράει ✕ Δεν χωράει ✕ Δεν χωράει ✕ Δεν χωράει ✕ Δεν χωράει UD-Q2_K_XL≈22 tok/sισχυρή συμπίεση Χωράει στην ενιαία μνήμη ✕ Δεν χωράει ✕ Δεν χωράει Q3_K_S≈7,2 tok/s Χωράει στη RAM (CPU) UD-IQ2_XXS≈19,7 tok/sισχυρή συμπίεση Χωράει στη RAM (CPU)

Τι ανοίγεται σε κάθε μέγεθος μνήμης (context 8K)

  1. 8 GB Qwen2.5 3B Instruct · Llama 3.2 3B Instruct · Gemma 3 4B · Llama 3.1 8B Instruct · Qwen3 8B ισχυρή συμπίεση: Gemma 3 12B · Qwen3 14B
  2. 12 GB Gemma 3 12B · Qwen3 14B ισχυρή συμπίεση: Mistral Small 3.2 24B · Gemma 3 27B · Qwen3 30B A3B · Qwen3 32B
  3. 16 GB gpt-oss-20b · Mistral Small 3.2 24B · Gemma 4 26B A4B · Gemma 3 27B · Qwen3 30B A3B ισχυρή συμπίεση: Gemma 4 31B · Qwen3.5 35B A3B
  4. 24 GB Gemma 4 31B · Qwen3 32B · Qwen3.5 35B A3B ισχυρή συμπίεση: Llama 3.3 70B Instruct · Qwen3 Next 80B A3B Instruct
  5. 48 GB Llama 3.3 70B Instruct · Qwen3 Next 80B A3B Instruct · Qwen3.5 122B A10B ισχυρή συμπίεση: GLM 4.5 Air
  6. 96 GB GLM 4.5 Air · gpt-oss-120b ισχυρή συμπίεση: Qwen3 235B A22B · GLM 4.7
  7. 128 GB Qwen3 235B A22B
  8. 192 GB GLM 4.7 ισχυρή συμπίεση: DeepSeek R1
  9. 256 GB ισχυρή συμπίεση: Kimi K2.5
  10. 512 GB DeepSeek R1 · Kimi K2.5

≈ εκτιμήσεις για context 8K: βάρη + KV cache + επιβάρυνση του runtime σε σχέση με τη μνήμη· ταχύτητα από το εύρος ζώνης της μνήμης. Οι πραγματικοί αριθμοί εξαρτώνται από το runtime και τις ρυθμίσεις.

Ενημερώθηκε · Πηγές: Hugging Face , www.nvidia.com , images.nvidia.com , support.apple.com , www.amd.com

Ενσωμάτωση στον ιστότοπό σας

Επικολλήστε αυτόν τον κώδικα εκεί που πρέπει να εμφανίζεται το infographic: ενημερώνεται μόνο του. Δωρεάν χρήση — κρατήστε τον σύνδεσμο αναφοράς.

JSON Τα δεδομένα μας: CC BY 4.0 με σύνδεσμο προς την πηγή· τα δεδομένα τρίτων διατηρούν την άδεια της πηγής τους.

Τι δείχνει ο πίνακας;

Στις γραμμές βρίσκονται γνωστά μοντέλα με ανοιχτά βάρη, από περίπου 3B έως 1T παραμέτρους. Στις στήλες υπάρχουν κάρτες γραφικών, συνθέσεις με πολλές GPU, μηχανήματα Apple και AMD με ενοποιημένη μνήμη και διακομιστές που τρέχουν το μοντέλο στον επεξεργαστή. Κάθε κελί γράφει την προτεινόμενη κβαντοποίηση και μια κατά προσέγγιση ταχύτητα παραγωγής σε tokens ανά δευτερόλεπτο, ενώ το χρώμα του δείχνει πού βρίσκεται το μοντέλο: στη μνήμη γραφικών (VRAM), σε ενοποιημένη μνήμη, στη RAM διακομιστή, με εκφόρτωση στη RAM ή ότι δεν χωράει.

Πώς υπολογίζεται η μνήμη;

  • Βάρη: παράμετροι επί bits ανά βάρος ή το πραγματικό μέγεθος του αρχείου από το Hugging Face, όταν υπάρχει.
  • KV cache: η μνήμη που κρατά τη συζήτηση. Ο πίνακας υποθέτει context 8192 tokens· σε μακρύ context αυτό το κομμάτι ξεπερνά ακόμη και ένα μικρό μοντέλο.
  • Πρόσθετη κατανάλωση: περίπου 1,5 GB για το περιβάλλον εκτέλεσης και τα buffers, και επιπλέον ο προβολέας εικόνας σε ένα VLM.

Αν το σύνολο δεν χωρά στη VRAM αλλά χωρά μαζί με τη μνήμη συστήματος, το κελί δείχνει εκφόρτωση: το μοντέλο λειτουργεί, απλώς πιο αργά.

Από πού βγαίνει η ταχύτητα;

Η ταχύτητα ισούται με το εύρος ζώνης της μνήμης διαιρεμένο με τα bytes που διαβάζονται για κάθε token. Ένα μοντέλο MoE διαβάζει μόνο τις ενεργές παραμέτρους, γι' αυτό ένα μεγάλο MoE μπορεί να γράφει γρηγορότερα από ένα μικρότερο πυκνό μοντέλο. Οι εκτιμήσεις με ≈ έχουν βαθμονομηθεί σε μετρημένες εκτελέσεις και απέχουν από αυτές περίπου ±35%. Όπου υπάρχει πραγματική μέτρηση, το κελί δείχνει αυτήν και σύνδεσμο προς την πηγή.

Γιατί προτείνεται αυτή η κβαντοποίηση;

Ανεβαίνουμε σε περισσότερα bits, έως το Q8_0, όσο η ταχύτητα μένει τουλάχιστον 10 tokens ανά δευτερόλεπτο· αλλιώς προτείνεται ένα αρχείο κατηγορίας Q4, όπως το Q4_K_M. Το BF16 δεν προτείνεται ποτέ, επειδή διπλασιάζει τη μνήμη για ελάχιστο κέρδος. Κάτω από Q3 πηγαίνουμε μόνο όταν δεν χωρά τίποτα μεγαλύτερο, και τότε το κελί προειδοποιεί για «ισχυρή συμπίεση».

Πώς ελέγχω τον δικό μου υπολογιστή;

Ο «Υπολογιστής: θα χωρέσει;» κάτω από τον πίνακα δέχεται μοντέλο, κβαντοποίηση, context και υλικό, ή απλώς τη δική σας μνήμη γραφικών, RAM και εύρος ζώνης. Σχεδιάζει βάρη, KV cache και πρόσθετη κατανάλωση ως μία μπάρα απέναντι στη χωρητικότητα. Η κλίμακα από κάτω δείχνει τι ανοίγει στα 8, 12, 16, 24, 48, 96 και 128 GB.

Η εκτίμηση αφορά μόνο την παραγωγή κειμένου, όχι την ανάγνωση ενός μεγάλου prompt, και οι οδηγοί, η έκδοση του runtime και οι ρυθμίσεις μετακινούν το αποτέλεσμα. Τα αρχεία GGUF τρέχουν σε llama.cpp, LM Studio, Ollama και Jan — δείτε τις τοπικές εφαρμογές ΤΝ. Τα μοντέλα χωρίς φίλτρα ασφαλείας κρύβονται πίσω από διακόπτη. Για πλήρη μηχανήματα, περάστε στις συνθέσεις PC.