Aplicații care rulează modele pe propriul computer: sisteme acceptate, memorie necesară, suport GPU și descărcare din catalogul nostru.
Actualizat
Ollama rulează local modele cu ponderi deschise, din linia de comandă și dintr-o aplicație desktop, și oferă un API HTTP local, compatibil și OpenAI. Open source (MIT), pentru programatorii care vor modele locale în spatele unui API.
Aplicație desktop gratuită, dar nu open source, LM Studio vă ajută să găsiți, să descărcați și să discutați cu modele locale, cu server API local. Pentru cine vrea modele locale fără linia de comandă.
Jan este o aplicație de chat open source (Apache-2.0), în stilul ChatGPT, care rulează modele offline și se poate conecta și la API-uri din cloud. Un asistent privat pe propriul calculator, cu server local compatibil OpenAI.
Aplicația desktop open source (MIT) a Nomic, GPT4All, rulează modele locale pe procesor sau pe placa video și permite discuții cu propriile documente prin LocalDocs. Versiunile noi apar rar în ultima perioadă.
AnythingLLM este o aplicație open source (MIT) totul-în-unu, pentru desktop sau Docker: chat cu documente, agenți și modele locale sau din cloud. Un spațiu de lucru privat pentru documente și agenți.
Interfață web găzduită de dumneavoastră, Open WebUI se conectează la Ollama și la API-uri compatibile OpenAI și se instalează cu Docker sau pip. Suportă mai mulți utilizatori, deci servește drept chat comun pentru modele locale pe un server.
llama.cpp este motorul open source de inferență în C/C++ pentru modele GGUF, pe procesor și pe placa video, cu unelte de linie de comandă și server compatibil OpenAI. Multe aplicații locale sunt construite pe el; oferă control complet asupra setărilor.
KoboldCpp este o aplicație dintr-un singur fișier, construită pe llama.cpp, cu interfață web pentru chat și scriere de povești și cu API-uri compatibile KoboldAI și OpenAI. Preferată pentru jocuri de rol și ficțiune cu modele locale.
Aplicațiile de pe această pagină rulează modele de limbaj direct pe calculator, nu în cloud. Local înseamnă că întrebările și documentele rămân pe calculator și nu ajung la un furnizor. Aplicația este gratuită, iar modelul se descarcă separat, cu licența și mărimea lui.
Pagina adună trei tipuri de instrumente: aplicații desktop (Ollama, LM Studio, Jan, GPT4All, AnythingLLM), o interfață web (Open WebUI) și motoare pe care se construiesc alte aplicații (llama.cpp, KoboldCpp).
Memoria RAM, sau memoria plăcii video, decide ce modele puteți rula. Un model mai mare are nevoie de mai multă memorie. Fără placă video, modelele rulează pe procesor, doar mai încet. Nu există o regulă universală de viteză: ea depinde de model, de cantitatea de memorie și de hardware. Pagina nu promite nici viteză, nici calitate; ambele se verifică pe propriul calculator.
Dacă vreți o fereastră de chat și un catalog de modele, alegeți o aplicație desktop precum LM Studio sau Jan. Dacă aveți nevoie de un API local pentru propriile scripturi, Ollama este gândit pentru asta. Pentru discuții cu propriile documente, GPT4All și AnythingLLM au funcții dedicate. Dacă vreți să oferiți acces mai multor persoane din rețea, o interfață web ca Open WebUI se instalează pe un server. Descrierile detaliate sunt pe paginile programelor din catalog.
Datele vin din documentația producătorilor și din depozitele GitHub, cu link pe fiecare card. Pentru rularea unui model pe un server închiriat, vedeți VPS pentru IA.