Appar som kör modeller på din egen dator: system som stöds, minneskrav, GPU-stöd och nedladdning från vår katalog.
Uppdaterad
Med Ollama kör du modeller med öppna vikter lokalt från kommandoraden och en skrivbordsapp, med ett lokalt HTTP-API som även är OpenAI-kompatibelt. Öppen källkod under MIT, för utvecklare som vill ha lokala modeller bakom ett API.
LM Studio är en skrivbordsapp för att hitta, ladda ner och chatta med lokala modeller, med lokal API-server. Gratis men inte öppen källkod – för dig som vill slippa kommandoraden.
Jan är en chattapp med öppen källkod under Apache-2.0 som kör modeller offline och även kan kopplas till moln-API:er. En privat app i ChatGPT-stil på din egen dator.
GPT4All är Nomics skrivbordsapp med öppen källkod för lokala modeller på processor eller grafikkort, där LocalDocs låter dig chatta om dina egna filer. Nya versioner kommer numera sällan.
AnythingLLM är en allt-i-ett-app med öppen källkod under MIT, som skrivbordsapp eller i Docker: chatt med dokument, agenter och lokala eller molnbaserade modeller i en privat arbetsyta.
Webbgränssnitt som du driftar själv för Ollama och OpenAI-kompatibla API:er, installerat med Docker eller pip och med stöd för flera användare. Ett gemensamt chattfönster för lokala modeller på en server.
llama.cpp är en inferensmotor med öppen källkod i C/C++ för GGUF-modeller på processor och grafikkort, med kommandoradsverktyg och en OpenAI-kompatibel server. Många lokala appar bygger på den, och den ger full kontroll över inställningarna.
KoboldCpp är en app i en enda fil, byggd på llama.cpp, med webbgränssnitt för chatt och berättande samt API:er kompatibla med KoboldAI och OpenAI. För rollspel och fiktion med lokala modeller.
Den här sidan samlar appar som kör språkmodeller lokalt. Lokalt betyder att dina frågor stannar på datorn och inte skickas till en molntjänst. Det passar när du arbetar med känsliga texter, vill experimentera utan abonnemang eller behöver kunna arbeta utan uppkoppling.
Varje kort visar vilka system som stöds, minsta mängd RAM, stöd för grafikkort, licens och antal stjärnor på GitHub, som uppdateras varje vecka. När appen finns i vår katalog finns en knapp för nedladdning; installationsfilen är kontrollerad med en giltig signatur.
Appen är gratis, men modellen laddas ner separat, med egen licens och egen storlek. Det är mängden arbetsminne, eller minnet på grafikkortet, som avgör vilka modeller du kan köra: en större modell kräver mer minne. Utan grafikkort körs modellerna på processorn, vilket fungerar men går långsammare. Börja därför med en mindre modell och gå uppåt om datorn orkar.
Hastighet och kvalitet beror på modellen och på hårdvaran. Sidan lovar ingetdera, och samma modell kan kännas snabb på en speldator och seg på en tunn bärbar. Uppgifterna på korten kommer från tillverkarnas dokumentation och GitHub-repon, med länk på varje kort.
Behöver du de modeller som ligger i topp på topplistorna, och saknar kraftfull hårdvara, är en molntjänst eller en AI-assistent ofta mer praktisk. Många kombinerar: lokalt för känsligt material, molnet för tunga uppgifter.