Aplikacije, ki poganjajo modele na vašem računalniku: podprti sistemi, potreben pomnilnik, podpora za GPU in prenos iz našega kataloga.
Posodobljeno
Ollama zažene modele z odprtimi utežmi lokalno iz ukazne vrstice ali namizne aplikacije in odpre lokalni HTTP API, združljiv tudi z OpenAI. Odprta koda z licenco MIT, namenjena razvijalcem, ki želijo lokalne modele za svojimi programi.
Namizna aplikacija za iskanje, prenos in klepet z lokalnimi modeli, z lokalnim strežnikom API. LM Studio je brezplačen, a ni odprta koda, in je primeren za vse, ki se želijo izogniti ukazni vrstici.
Jan je odprtokodni klepetalnik z licenco Apache, ki modele poganja brez povezave, po želji pa se poveže tudi z API v oblaku. Deluje kot zasebna aplikacija v slogu ChatGPT na vašem računalniku, z lokalnim strežnikom, združljivim z OpenAI.
Odprtokodna namizna aplikacija podjetja Nomic z licenco MIT za lokalne modele na procesorju ali grafični kartici, s klepetom nad lastnimi dokumenti (LocalDocs). Novih izdaj GPT4All že dolgo skoraj ni, zato je primeren predvsem za preprost lokalni klepet z datotekami.
AnythingLLM je odprtokodna aplikacija vse v enem z licenco MIT, na namizju ali v Dockerju: klepet z dokumenti, agenti ter lokalni ali oblačni modeli. Zasebni delovni prostor za dokumente in agente.
Spletni vmesnik, ki ga gostite sami, za Ollamo in API-je, združljive z OpenAI, nameščen z Dockerjem ali pipom. Open WebUI podpira več uporabnikov, zato je primeren za skupen klepet z lokalnimi modeli na strežniku.
llama.cpp je odprtokodni pogon v C in C++ za modele GGUF na procesorju in grafični kartici, z orodji za ukazno vrstico in strežnikom API, združljivim z OpenAI. Na njem temelji veliko lokalnih aplikacij, sam pa daje poln nadzor.
Aplikacija v eni datoteki, zgrajena na llama.cpp, s spletnim vmesnikom za klepet in pisanje zgodb ter API-jema KoboldAI in OpenAI. KoboldCpp izberejo ljubitelji igranja vlog in leposlovja z lokalnimi modeli.
Lokalne aplikacije LLM zaženejo jezikovni model na vašem računalniku. Vprašanja in dokumenti tako ostanejo pri vas, za uporabo ne potrebujete računa v oblaku, po prenosu modela pa večina aplikacij deluje tudi brez interneta.
Kartice prikazujejo podprte sisteme, »Najm. RAM«, podporo za grafične kartice, licenco in število zvezdic na GitHubu. Kadar je aplikacija v našem katalogu, ima kartica gumb za prenos, namestitveni program pa smo preverili, ali ima veljaven podpis. Zbrali smo tri vrste orodij:
Aplikacija je samo okvir. Model prenesete posebej; vsak ima svojo licenco in svojo velikost na disku. Preden model uporabite v podjetju ali v izdelku, preberite njegovo licenco, saj se pogoji med modeli razlikujejo.
Ključni sta pomnilnik RAM in pomnilnik grafične kartice. Večji model potrebuje več pomnilnika. Brez grafične kartice modeli tečejo na procesorju, a počasneje. Hitrosti in kakovosti stran ne obljublja, ker sta odvisni od modela in strojne opreme. Dober začetek je manjši model, ki pusti dovolj prostega pomnilnika za druge programe, nato pa postopoma preizkušate večje.
Za začetnike so primerne aplikacije z grafičnim vmesnikom, ki same predlagajo modele. Kdor želi lokalni strežnik za druge programe, bo raje izbral orodje z API, združljivim z OpenAI. Za klepet z lastnimi dokumenti so namenjene aplikacije s funkcijami za datoteke. Za zagon modela na strežniku si oglejte VPS za UI, za primerjavo z oblačnimi asistenti pa aplikacije UI.
Viri: dokumentacija proizvajalcev in repozitoriji na GitHubu (povezava je na vsaki kartici); zvezdice se osvežujejo tedensko.