Apps, der kører modeller på din egen computer: understøttede systemer, hukommelseskrav, GPU-understøttelse og download fra vores katalog.
Opdateret
Kører modeller med åbne vægte lokalt fra kommandolinjen og en skrivebordsapp og stiller en lokal HTTP-API til rådighed, også kompatibel med OpenAI. Ollama er open source under MIT-licensen og henvender sig til udviklere.
LM Studio er en skrivebordsapp, hvor du finder, henter og chatter med lokale modeller, og den har en lokal API-server. Gratis, men ikke open source – til dig, der vil undgå kommandolinjen.
Jan er en open source-chatapp til skrivebordet, der kører modeller offline og også kan forbindes til sky-API'er, med lokal server kompatibel med OpenAI. En privat app i ChatGPT-stil på din egen computer.
GPT4All er Nomics open source-app til lokale modeller på CPU eller GPU, hvor LocalDocs lader dig chatte om dine egne filer. Nye udgivelser har været sjældne i lang tid.
AnythingLLM er en alt-i-én-app med åben kildekode til skrivebordet eller Docker, hvor du chatter med dokumenter, bruger agenter og vælger lokale eller sky-modeller. Et privat arbejdsrum til dokumenter og agenter.
Open WebUI er en selvhostet webbrugerflade til Ollama og OpenAI-kompatible API'er, installeret med Docker eller pip. Den understøtter flere brugere og passer til en fælles chat på en server.
llama.cpp er en inferensmotor med åben kildekode skrevet i C/C++ til GGUF-modeller på CPU og GPU, med kommandolinjeværktøjer og en server med OpenAI-kompatibel API. Mange lokale apps bygger på den.
KoboldCpp er en app i én fil bygget på llama.cpp, med webbrugerflade til chat og historiefortælling samt API'er kompatible med KoboldAI og OpenAI. Til rollespil og fiktion med lokale modeller.
Det er et program, der kører sprogmodeller på din egen computer i stedet for i skyen. Siden viser skrivebordsapps (Ollama, LM Studio, Jan, GPT4All, AnythingLLM), en webbrugerflade (Open WebUI) og motorer (llama.cpp, KoboldCpp). Hvert kort viser understøttede systemer, minimum RAM, GPU-understøttelse, licens, GitHub-stjerner og en knap til download, når appen findes i vores katalog – installationsfilen er tjekket for en gyldig signatur.
Appen er gratis, men modellen er en separat download med sin egen licens og størrelse. Læs licensen, især hvis du vil bruge modellen kommercielt. Nogle apps er open source, andre er gratis, men lukket software; det står på kortet.
RAM – eller grafikkortets hukommelse – afgør, hvilke modeller der kan køre. En større model kræver mere hukommelse. Uden grafikkort kører modellerne på processoren, bare langsommere. Start med en lille model, og gå op, hvis maskinen kan følge med.
Lokalt betyder, at dine prompter bliver på computeren. Det er en fordel ved fortrolige tekster, og du er ikke afhængig af internet eller af en udbyders prisændringer. Til gengæld står du selv for opdateringer og for at vælge en model, der passer til maskinen.
Hastighed og kvalitet afhænger af modellen og hardwaren, og siden lover ingen af delene. Data om apps kommer fra udviklernes dokumentation og GitHub (stjerner opdateres ugentligt). Skal modellen i stedet køre døgnet rundt på en server, så se VPS til AI.