Sovellukset, jotka ajavat malleja omalla tietokoneellasi: tuetut järjestelmät, muistitarve, GPU-tuki ja lataus luettelostamme.
Päivitetty
Ollama ajaa avoimien painojen malleja paikallisesti komentoriviltä ja työpöytäsovelluksesta ja tarjoaa paikallisen HTTP-rajapinnan, joka on myös OpenAI-yhteensopiva. Avointa lähdekoodia MIT-lisenssillä kehittäjille.
LM Studio on työpöytäsovellus paikallisten mallien etsimiseen, lataamiseen ja keskusteluun, ja siinä on paikallinen API-palvelin. Ilmainen mutta ei avointa lähdekoodia – sopii ilman komentoriviä.
Jan on avoimen lähdekoodin keskustelusovellus, joka ajaa malleja ilman verkkoa ja osaa käyttää myös pilvirajapintoja. Yksityinen ChatGPT-tyylinen sovellus omalla koneella.
GPT4All on Nomicin avoimen lähdekoodin sovellus paikallisille malleille suorittimella tai näytönohjaimella, ja LocalDocs keskustelee omista tiedostoistasi. Uusia julkaisuja on tullut harvoin pitkään aikaan.
AnythingLLM on avoimen lähdekoodin kaikki yhdessä -sovellus työpöydälle tai Dockeriin: keskustelu asiakirjoista, agentit sekä paikalliset tai pilvimallit. Yksityinen työtila asiakirjoille ja agenteille.
Open WebUI on itse ylläpidettävä selainkäyttöliittymä Ollamalle ja OpenAI-yhteensopiville rajapinnoille, asennettuna Dockerilla tai pipillä. Tukee useita käyttäjiä yhteisellä palvelimella.
llama.cpp on avoimen lähdekoodin C/C++-moottori GGUF-malleille suorittimella ja näytönohjaimella, ja siinä on komentorivityökalut sekä OpenAI-yhteensopiva palvelin. Moni paikallinen sovellus rakentuu sen varaan.
KoboldCpp on yhden tiedoston sovellus llama.cpp:n pohjalta, ja sen selainkäyttöliittymä on tehty keskusteluun ja tarinankerrontaan. Roolipeleihin ja fiktioon paikallisilla malleilla.
Se on ohjelma, joka ajaa kielimalleja omalla tietokoneellasi pilven sijaan. Sivulla ovat työpöytäsovellukset (Ollama, LM Studio, Jan, GPT4All, AnythingLLM), selainkäyttöliittymä (Open WebUI) ja moottorit (llama.cpp, KoboldCpp). Jokaisessa kortissa on tuetut järjestelmät, pienin RAM-määrä, näytönohjaintuki, lisenssi, GitHub-tähdet ja latauspainike, kun sovellus on luettelossamme – asennustiedoston allekirjoitus on tarkistettu.
Sovellus on ilmainen, mutta malli on erillinen lataus omine lisensseineen ja kokoineen. Lue lisenssi etenkin, jos aiot käyttää mallia kaupallisesti. Osa sovelluksista on avointa lähdekoodia, osa ilmaisia mutta suljettuja; tieto on kortissa.
RAM-muisti – tai näytönohjaimen muisti – ratkaisee, mitkä mallit toimivat. Suurempi malli tarvitsee enemmän muistia. Ilman näytönohjainta mallit toimivat suorittimella, mutta hitaammin. Aloita pienellä mallilla ja siirry suurempaan, jos kone jaksaa.
Paikallinen tarkoittaa, että kehotteesi pysyvät koneella. Se on etu luottamuksellisten tekstien kanssa, etkä ole riippuvainen verkkoyhteydestä tai tarjoajan hinnanmuutoksista. Toisaalta päivitykset ja koneeseen sopivan mallin valinta ovat omalla vastuullasi.
Jos et ole kokeillut paikallisia malleja aiemmin, valitse graafinen sovellus ja pieni malli. Kun perusteet ovat tuttuja, voit siirtyä moottoreihin ja rajapintoihin, joilla malleja käytetään omista ohjelmista.
Nopeus ja laatu riippuvat mallista ja laitteistosta, eikä sivu lupaa kumpaakaan. Sovellusten tiedot tulevat kehittäjien dokumentaatiosta ja GitHubista (tähdet päivitetään viikoittain). Jos mallin pitää toimia palvelimella ympäri vuorokauden, katso VPS tekoälylle.