Apps, die Modelle auf Ihrem eigenen Computer ausführen: unterstützte Systeme, Speicherbedarf, GPU-Unterstützung und Download aus unserem Katalog.
Aktualisiert
Führt offene Modelle auf dem eigenen Rechner aus, per Kommandozeile oder kleiner Desktop-App, und stellt sie über eine lokale, OpenAI-kompatible API bereit. Open-Source unter MIT.
Desktop-App zum Suchen, Herunterladen und Chatten mit lokalen Modellen, mit eingebautem API-Server für Entwickler. Kostenlos nutzbar, aber nicht quelloffen.
Quelloffener Chat im Stil von ChatGPT, der Modelle offline ausführt und im selben Fenster zu Cloud-APIs wechseln kann. Nebenbei startet Jan einen lokalen OpenAI-kompatiblen Server.
Die Open-Source-App von Nomic für lokale Modelle auf CPU oder GPU, bekannt für LocalDocs, das Fragen zu eigenen Dateien beantwortet. Seit Februar 2025 erscheinen kaum neue Versionen.
Quelloffener Arbeitsbereich für alles in einem, als Desktop-App oder in Docker: Dokumente, Agenten, lokale und Cloud-Modelle. Geeignet für vertrauliche Arbeit mit eigenen Dateien.
Selbst gehostete Weboberfläche für Ollama und OpenAI-kompatible APIs, installiert per Docker oder pip; mehrere Personen nutzen einen Server bequem im Browser.
Quelloffene C/C++-Engine für GGUF-Modelle auf CPU und GPU, mit Kommandozeilen-Werkzeugen und einem OpenAI-kompatiblen Server. Viele lokale KI-Apps bauen darauf auf.
Programm in einer einzigen Datei auf Basis von llama.cpp, mit Weboberfläche für Chat und Geschichten sowie KoboldAI- und OpenAI-kompatiblen APIs – geschätzt für Fiktion und Rollenspiel.
Eine lokale LLM-App lädt ein Modell mit offenen Gewichten herunter und führt es auf Ihrem PC oder Laptop aus. Eingaben verlassen den Rechner nicht, es gibt keine Token-Rechnung, und nach dem Download funktioniert alles offline. Hier sind solche Programme versammelt: Desktop-Apps (Ollama, LM Studio, Jan, GPT4All, AnythingLLM), eine Weboberfläche für den Heimserver (Open WebUI) und Engines für alle, die volle Kontrolle wollen (llama.cpp, KoboldCpp).
Die App ist kostenlos, das Modell ein eigener Download mit eigener Größe und Lizenz. Es muss in den Arbeitsspeicher passen – oder in den Videospeicher, wenn die Grafikkarte rechnen soll –, ein größeres Modell braucht also einen stärkeren Rechner. Ohne passende GPU laufen Modelle auf dem Prozessor, das geht, dauert aber länger. Die Karten geben die Angaben der Hersteller wieder; eine bestimmte Geschwindigkeit oder Antwortqualität versprechen wir nicht, denn beides hängt von Modell und Hardware ab.
Die stärksten Modelle werden nicht mit offenen Gewichten veröffentlicht und laufen nur in der Cloud. Brauchen Sie diese, sehen Sie bei den API-Anbietern oder den KI-Apps nach. Einige lokale Apps, darunter Jan und AnythingLLM, binden neben lokalen Modellen auch eine Cloud-API an.