App che eseguono i modelli sul tuo computer: sistemi supportati, memoria richiesta, supporto GPU e download dal nostro catalogo.
Aggiornato
Ollama esegue modelli con pesi aperti sul proprio computer, da riga di comando o con l'app desktop, ed espone un'API HTTP locale compatibile con OpenAI. Open source con licenza MIT, piace agli sviluppatori che vogliono modelli locali dietro un'API.
App desktop per cercare, scaricare e usare in chat modelli locali, LM Studio include anche un server API locale. Gratuita ma non open source, è pensata per chi vuole i modelli locali senza riga di comando.
Chat in stile ChatGPT che gira sul proprio computer: Jan è un'app desktop open source che esegue i modelli offline, può collegarsi alle API cloud e offre un server locale compatibile con OpenAI.
App desktop open source di Nomic, GPT4All usa modelli locali su CPU o GPU e permette di chattare con i propri documenti tramite LocalDocs. Le nuove versioni sono diventate rare, ma resta utile per interrogare i propri file.
Tutto in un'unica app: AnythingLLM, open source e disponibile come app desktop o in Docker, unisce chat con i documenti, agenti e modelli locali o cloud in uno spazio di lavoro privato.
Interfaccia web self-hosted per Ollama e per le API compatibili con OpenAI, Open WebUI si installa con Docker o pip e supporta più utenti. Adatta a una chat condivisa su un server con modelli locali.
Motore di inferenza open source in C e C++ per modelli GGUF su CPU e GPU, llama.cpp offre strumenti da riga di comando e un server con API compatibile con OpenAI, e fa da base a molte app locali.
Costruita su llama.cpp, KoboldCpp è un'app in un unico file con interfaccia web per chat e scrittura di storie, più API compatibili con KoboldAI e OpenAI. Molto usata per gioco di ruolo e narrativa con modelli locali.
Vuol dire che il modello linguistico lavora sul tuo computer, non sui server di un'azienda. I prompt restano sulla macchina, puoi lavorare anche senza internet e non paghi a consumo. Questa pagina raccoglie le app che rendono possibile tutto questo: le app desktop Ollama, LM Studio, Jan, GPT4All e AnythingLLM, un'interfaccia web come Open WebUI e i motori llama.cpp e KoboldCpp, su cui si appoggiano molti altri programmi.
L'app e il modello sono due cose diverse. L'app è il motore e l'interfaccia; il modello si scarica a parte, ha una propria licenza e un proprio peso su disco. Prima di usarlo per lavoro, leggi le condizioni di quella licenza: alcune limitano l'uso commerciale.
Decide la memoria. Ogni modello va caricato in RAM, o nella memoria della scheda video: più il modello è grande, più memoria serve. Senza GPU i modelli girano sul processore, solo più lentamente. Un buon approccio è partire da un modello piccolo, verificare come si comporta il PC e salire gradualmente. La pagina non promette velocità o qualità: dipendono dal modello scelto e dall'hardware che hai.
Dalla documentazione degli sviluppatori e dai loro repository, con il link su ogni scheda, e da GitHub per le stelle. Se ti interessa sapere quali modelli aperti hanno buoni risultati, filtra la classifica di testo con «Pesi aperti».