本機 LLM 應用程式

在自己電腦上執行模型的應用程式：支援的系統、記憶體需求、GPU 支援，並可從我們的目錄下載。

更新日期 2026年10月5日

Ollama

開源

Ollama 以命令列與桌面 App 在本機執行開放權重模型，並提供相容 OpenAI 的本機 API，採 MIT 授權開源。

免費

桌面 App，可搜尋、下載本機模型並與之對話，附本機 API 伺服器。LM Studio 免費但非開源，適合不想碰命令列的人。

開源

Jan 是 Apache 授權的開源聊天 App，能離線執行模型，也可連接雲端 API，像裝在自己電腦上的私人 ChatGPT。

開源

GPT4All 是 Nomic 的 MIT 授權開源桌面 App，可執行本機模型，並透過 LocalDocs 和自己的文件對話；近期很少發佈新版本。

開源

AnythingLLM 是 MIT 授權的開源多合一 App，提供桌面版與 Docker 版，整合文件對話、代理，以及本機或雲端模型。

開源

可自行架設的網頁介面，搭配 Ollama 或相容 OpenAI 的 API 使用，支援多位使用者，適合在伺服器上共用本機模型。

開源

llama.cpp 是以 C 與 C++ 撰寫的開源推論引擎，可在處理器與顯示卡上執行 GGUF 模型，附命令列工具與相容 OpenAI 的伺服器。

開源

KoboldCpp 是以 llama.cpp 為基礎的單一檔案 App，提供聊天與故事創作介面及相容 API，適合用本機模型寫小說。

本機 LLM 應用程式會在您自己的電腦上執行語言模型。提問與文件都留在身邊，不需要雲端帳號；模型下載完成後，大多數 App 即使離線也能使用。

卡片列出支援的作業系統、「最低 RAM」、顯示卡支援、授權與 GitHub 星數。App 在我們目錄中時，卡片會有下載按鈕，安裝程式也經過有效簽章的檢查。這裡整理了三類工具：

App 只是框架。模型需要另外下載，每個模型都有自己的授權與檔案大小。在公司或產品中使用模型前，請先閱讀授權，不同模型的條件差異很大。

關鍵在於記憶體與顯示卡記憶體。模型越大，需要的記憶體越多；沒有顯示卡時，模型會在處理器上執行，速度較慢。本頁不保證速度或品質，因為兩者取決於模型與硬體。建議先選一個能留下足夠記憶體給其他程式的小模型，再逐步嘗試更大的。

初學者適合有圖形介面、會推薦模型的 App；需要給其他程式使用的本機伺服器，就選提供相容 OpenAI API 的工具；想和自己的文件對話，則選有檔案功能的 App。要在伺服器上執行模型，請看 AI 專用 VPS；和雲端助理比較，請看 AI 應用程式。

來源：開發商文件與 GitHub 儲存庫（每張卡片附連結），GitHub 星數每週更新。