Aplikasi yang menjalankan model di komputer Anda sendiri: sistem yang didukung, kebutuhan memori, dukungan GPU, dan unduhan dari katalog kami.
Diperbarui
Ollama menjalankan model berbobot terbuka secara lokal lewat baris perintah dan aplikasi desktop, serta menyediakan API HTTP lokal yang kompatibel dengan OpenAI. Open source berlisensi MIT.
LM Studio adalah aplikasi desktop untuk mencari, mengunduh, dan bercakap dengan model lokal, lengkap dengan server API lokal. Gratis, tetapi bukan open source.
Jan adalah aplikasi chat desktop open source (Apache-2.0) yang menjalankan model secara offline dan bisa tersambung ke API cloud, seperti ChatGPT pribadi di komputer sendiri.
GPT4All adalah aplikasi desktop open source (MIT) dari Nomic untuk model lokal di CPU atau GPU, dengan LocalDocs untuk mengobrol tentang dokumen sendiri. Rilis barunya kini jarang terbit.
AnythingLLM adalah aplikasi open source (MIT) untuk desktop atau Docker yang memadukan chat dengan dokumen, agen, serta model lokal atau cloud dalam ruang kerja pribadi.
Open WebUI adalah antarmuka web yang di-host sendiri untuk Ollama dan API kompatibel OpenAI, dipasang lewat Docker atau pip dan mendukung banyak pengguna.
Di balik banyak aplikasi lokal ada llama.cpp, mesin inferensi open source dalam C dan C++ untuk model GGUF di CPU dan GPU, dengan alat baris perintah dan server kompatibel OpenAI.
KoboldCpp adalah aplikasi satu berkas berbasis llama.cpp dengan antarmuka web untuk chat dan menulis cerita, serta API kompatibel KoboldAI dan OpenAI. Populer untuk role-play dengan model lokal.
Halaman ini memuat aplikasi yang menjalankan model bahasa langsung di PC, tanpa mengirim pertanyaan ke cloud. Kartu menampilkan sistem yang didukung, RAM minimum, dukungan GPU, lisensi, dan bintang GitHub. Bila aplikasinya ada di katalog kami, tersedia tombol “Download” menuju penginstal resmi yang sudah diperiksa tanda tangan digitalnya.
Model besar membutuhkan lebih banyak memori. Tanpa GPU, model berjalan di prosesor dan lebih lambat. Kecepatan dan mutu jawaban bergantung pada model dan perangkat keras; halaman ini tidak menjanjikan keduanya. Sebelum memakai model untuk pekerjaan komersial, baca lisensinya.
Aplikasi terasa lambat? Pilih model lebih kecil. Model gagal dimuat? Periksa sisa RAM dan tutup program lain. GPU tidak terpakai? Perbarui driver kartu grafis. Masalah kecil seperti ini biasanya selesai tanpa perlu mengganti aplikasi.
Lokal berarti pertanyaan tetap berada di komputer. Ini berguna untuk dokumen sensitif, bekerja tanpa internet, dan mencoba model berbobot terbuka tanpa bayar per panggilan. Jika komputer Anda tidak punya memori yang cukup, alternatifnya adalah menyewa VPS untuk AI atau memakai model dengan API gratis. Data kartu berasal dari dokumentasi pembuat dan repositori GitHub, dengan bintang GitHub diperbarui setiap minggu.