Apper som kjører modeller på din egen datamaskin: støttede systemer, minnebehov, GPU-støtte og nedlasting fra katalogen vår.
Oppdatert
Med Ollama kjører du modeller med åpne vekter lokalt fra kommandolinjen og en skrivebordsapp, med et lokalt HTTP-API som også er OpenAI-kompatibelt. Åpen kildekode under MIT, for utviklere som vil ha lokale modeller bak et API.
LM Studio er en skrivebordsapp for å finne, laste ned og chatte med lokale modeller, med lokal API-server. Gratis, men ikke åpen kildekode – for deg som vil slippe kommandolinjen.
Jan er en chatteapp med åpen kildekode under Apache-2.0 som kjører modeller uten nett og også kan kobles til sky-API-er. En privat app i ChatGPT-stil på din egen PC.
GPT4All er Nomics skrivebordsapp med åpen kildekode for lokale modeller på prosessor eller grafikkort, der LocalDocs lar deg chatte om egne filer. Nye versjoner kommer nå sjelden.
AnythingLLM er en alt-i-ett-app med åpen kildekode under MIT, som skrivebordsapp eller i Docker: chat med dokumenter, agenter og lokale eller skybaserte modeller i et privat arbeidsområde.
Open WebUI er et nettgrensesnitt du drifter selv for Ollama og OpenAI-kompatible API-er, installert med Docker eller pip og med støtte for flere brukere. Et felles chattevindu for lokale modeller på en server.
llama.cpp er en inferensmotor med åpen kildekode i C/C++ for GGUF-modeller på prosessor og grafikkort, med kommandolinjeverktøy og en OpenAI-kompatibel server. Mange lokale apper bygger på den.
KoboldCpp er en app i én fil, bygget på llama.cpp, med nettgrensesnitt for chat og historiefortelling og API-er kompatible med KoboldAI og OpenAI. For rollespill og fiksjon med lokale modeller.
Denne siden samler apper som kjører språkmodeller på din egen PC. Lokalt betyr at spørsmålene dine blir på maskinen og ikke sendes til en skytjeneste. Det passer når du jobber med følsomme tekster, vil eksperimentere uten abonnement eller trenger å kunne jobbe uten nett.
Skrivebordsapper som Ollama, LM Studio, Jan, GPT4All og AnythingLLM er det enkleste stedet å begynne. Nettgrensesnittet Open WebUI passer når flere skal dele en server. Motorer som llama.cpp og KoboldCpp gir full kontroll for dem som vil justere alt selv.
Appen er gratis, men modellen lastes ned separat, med egen lisens og egen størrelse. Det er mengden arbeidsminne, eller minnet på grafikkortet, som avgjør hvilke modeller du kan kjøre: en større modell krever mer minne. Uten grafikkort kjører modellene på prosessoren, noe som virker, men går tregere. Begynn derfor med en liten modell og gå opp hvis PC-en klarer det.
Hastighet og kvalitet avhenger av modellen og maskinvaren. Siden lover ingen av delene, og samme modell kan føles rask på en spill-PC og treg på en tynn bærbar. Opplysningene på kortene kommer fra produsentenes dokumentasjon og GitHub-repoer, med lenke på hvert kort.
Trenger du modellene som ligger helt i toppen på topplistene, og mangler kraftig maskinvare, er en skytjeneste eller en AI-assistent ofte mer praktisk. Mange kombinerer: lokalt for følsomt materiale, skyen for tunge oppgaver.