Apps die modellen op je eigen computer draaien: ondersteunde systemen, geheugenbehoefte, GPU-ondersteuning en een download uit onze catalogus.
Bijgewerkt
Opensourceprogramma met MIT-licentie dat open-weight-modellen lokaal draait via de opdrachtregel en een desktop-app. Ollama biedt ook een lokale HTTP-API, compatibel met OpenAI, voor ontwikkelaars.
Desktop-app om lokale modellen te zoeken, te downloaden en ermee te chatten, met een lokale API-server. LM Studio is gratis maar geen opensource, en werkt zonder opdrachtregel.
Opensource chat-app onder de Apache-licentie die modellen offline draait en ook met cloud-API's kan verbinden. Jan is een privé alternatief in ChatGPT-stijl op je eigen computer.
De opensource desktop-app van Nomic voor lokale modellen op processor of videokaart, met LocalDocs om over je eigen bestanden te chatten. Nieuwe versies van GPT4All verschijnen de laatste tijd zelden.
Alles-in-één-app onder MIT-licentie, als desktop-app of in Docker: chatten met documenten, agents en lokale of cloudmodellen. AnythingLLM dient als privéwerkruimte voor je eigen bestanden.
Zelf gehoste webinterface voor Ollama en API's die compatibel zijn met OpenAI, te installeren met Docker of pip. Open WebUI ondersteunt meerdere gebruikers en past bij een gedeelde chat op een server.
Opensource inferentiemotor in C en C++ voor GGUF-modellen op processor en videokaart, met tools voor de opdrachtregel en een server met OpenAI-API. Veel lokale apps zijn op llama.cpp gebouwd.
App in één bestand, gebouwd op llama.cpp, met een webinterface voor chat en verhalen schrijven. KoboldCpp biedt API's in KoboldAI- en OpenAI-stijl en richt zich op rollenspel en fictie.
De apps op deze pagina draaien taalmodellen lokaal, op je eigen pc of laptop. Het grote voordeel: je prompts en documenten blijven op de computer en gaan niet naar een clouddienst. Je vindt hier drie soorten software. Desktop-apps met een chatvenster, zoals Ollama, LM Studio, Jan, GPT4All en AnythingLLM. Een webinterface, Open WebUI, die je in de browser gebruikt bovenop een lokale motor. En motoren zoals llama.cpp en KoboldCpp, die het rekenwerk doen en waar andere programma's op bouwen.
Het werkgeheugen, of het geheugen van de videokaart, bepaalt welke modellen draaien. Een groter model heeft meer geheugen nodig. Zonder videokaart draaien modellen op de processor; dat werkt, maar trager. De apps zelf zijn gratis, maar het model en je hardware bepalen hoe het resultaat uitvalt. Snelheid of kwaliteit belooft deze pagina daarom nergens: die hangen af van de combinatie van model en hardware. Wil je weten hoe een model zich verhoudt tot andere, zoek het dan op in de ranglijsten, bijvoorbeeld tekst, en filter op “Open gewichten”.
De gegevens komen uit de documentatie van de makers en hun GitHub-repository's; bij elke kaart staat een link. De sterren halen we wekelijks van GitHub. Wil je een model niet op je eigen pc maar op een server draaien, kijk dan bij VPS voor AI.