Modelleri kendi bilgisayarınızda çalıştıran uygulamalar: desteklenen sistemler, bellek gereksinimi, GPU desteği ve kataloğumuzdan indirme.
Güncellendi
Ollama, açık ağırlıklı modelleri bilgisayarınızda komut satırından veya masaüstü uygulamasından çalıştırır ve OpenAI uyumlu yerel bir HTTP API sunar. MIT lisanslı açık kaynak bir araçtır.
Komut satırı olmadan yerel model isteyenler için LM Studio, modelleri bulup indirmeye ve sohbet etmeye yarayan, yerel API sunucusu da olan ücretsiz ama kapalı kaynak bir uygulamadır.
Jan, modelleri bilgisayarınızda çevrimdışı çalıştıran ChatGPT tarzı açık kaynak bir sohbet uygulamasıdır. Bulut API'lerine de bağlanır ve OpenAI uyumlu yerel sunucu içerir.
Nomic'in açık kaynak masaüstü uygulaması GPT4All, yerel modelleri CPU veya GPU'da çalıştırır ve LocalDocs ile kendi dosyalarınız hakkında sohbet ettirir; yeni sürümler uzun süredir seyrek.
Belgeler ve ajanlar için özel bir çalışma alanı arıyorsanız AnythingLLM, masaüstünde veya Docker'da çalışan, yerel ya da bulut modelleriyle dosyalarınızla sohbet eden açık kaynak bir uygulamadır.
Open WebUI, Ollama ve OpenAI uyumlu API'ler için kendi sunucunuza Docker veya pip ile kurduğunuz bir web arayüzüdür; birden çok kullanıcıyı destekler.
GGUF modelleri için C ve C++ ile yazılmış açık kaynak çıkarım motoru llama.cpp, CPU ve GPU'da çalışır, komut satırı araçları ve OpenAI uyumlu sunucu içerir; birçok yerel uygulamanın temelidir.
Rol yapma ve kurgu yazımı için KoboldCpp, llama.cpp tabanlı tek dosyalık bir uygulamadır; web arayüzü ile KoboldAI ve OpenAI uyumlu API'ler sunar.
Dil modelini buluttaki bir sunucuda değil, kendi bilgisayarınızda çalıştıran uygulama. Başlıca artısı, istemlerinizin bilgisayardan çıkmamasıdır: kimse okumaz, kimse saklamaz. Bu sayfa bu tür uygulamaları kartlarda toplar.
Desteklenen sistemler, «Min. RAM», GPU desteği, lisans ve haftalık güncellenen «GitHub yıldızları». Uygulama kataloğumuzdaysa bir indirme düğmesi görünür; bu durumda kurulum dosyasının geçerli bir imzası olduğunu kontrol ederiz. Her kart geliştiricinin belgelerine ya da deposuna bağlantı verir.
Bunu RAM, ya da ekran kartının belleği belirler. Büyük model daha fazla bellek ister. GPU yoksa modeller işlemcide çalışır, ama daha yavaş. Uygulama ücretsizdir; model ise kendi boyutu ve kendi lisansıyla ayrıca indirilir.
Pencere ve düğmelerle çalışmayı seviyorsanız LM Studio, Jan veya GPT4All. Terminalde rahatsanız ya da başka uygulamalar için motor istiyorsanız Ollama. Belgeler ve ajanlarla çalışacaksanız AnythingLLM. Bir ekibe ortak sohbet arayüzü kuracaksanız Open WebUI uygundur.
Hayır. İkisi de modele ve donanıma bağlıdır; bu sayfa ikisini de vaat etmez. Aynı model GPU'lu bir bilgisayarda akıcı çalışırken ekran kartı olmayan bir dizüstünde yavaş kalabilir. Güvenli bir yol, önce küçük bir modeli deneyip adım adım büyütmektir.
İki yol var: yapay zekâ için VPS ile kendi sunucunuz ya da API sağlayıcılarından bulut erişimi; bazıları ücretsiz. Model seçerken sıralamalardaki «Açık ağırlıklar» etiketi, indirilebilen modelleri gösterir.