แอปที่รันโมเดลบนคอมพิวเตอร์ของคุณเอง: ระบบที่รองรับ หน่วยความจำที่ต้องใช้ การรองรับ GPU และดาวน์โหลดได้จากแคตตาล็อกของเรา
อัปเดตเมื่อ
Ollama รันโมเดลโอเพนเวตบนเครื่องของคุณผ่านคอมมานด์ไลน์และแอปเดสก์ท็อป พร้อม API ในเครื่องที่เข้ากับ OpenAI เป็นโอเพนซอร์สภายใต้ MIT สำหรับนักพัฒนาที่ต้องการโมเดลในเครื่อง
แอปเดสก์ท็อป LM Studio ใช้ค้นหาดาวน์โหลดและแชตกับโมเดลในเครื่องพร้อมเซิร์ฟเวอร์ API ในเครื่อง ใช้ฟรีแต่ไม่ใช่โอเพนซอร์สและเหมาะกับคนที่ไม่อยากใช้คอมมานด์ไลน์
Jan เป็นแอปแชตโอเพนซอร์สหน้าตาคล้าย ChatGPT ที่รันโมเดลแบบออฟไลน์และเชื่อม API คลาวด์ได้ สำหรับคนที่อยากได้ผู้ช่วยส่วนตัวบนคอมพิวเตอร์ของตัวเอง
แอปเดสก์ท็อปโอเพนซอร์สของ Nomic ชื่อ GPT4All รันโมเดลบน CPU หรือ GPU และคุยกับเอกสารในเครื่องผ่าน LocalDocs ได้ แต่ช่วงหลังแทบไม่มีรุ่นใหม่ออกมา
AnythingLLM รวมแชตกับเอกสาร เอเจนต์และโมเดลในเครื่องหรือคลาวด์ไว้ด้วยกันในแอปที่ติดตั้งได้ทั้งบนเดสก์ท็อปและ Docker สำหรับพื้นที่ทำงานส่วนตัว
Open WebUI คือเว็บอินเทอร์เฟซที่โฮสต์เองสำหรับ Ollama และ API ที่เข้ากับ OpenAI ติดตั้งด้วย Docker หรือ pip และรองรับผู้ใช้หลายคนบนเซิร์ฟเวอร์เดียว
เอนจินโอเพนซอร์สภาษา C/C++ อย่าง llama.cpp รันโมเดล GGUF บน CPU และ GPU มีเครื่องมือคอมมานด์ไลน์และเซิร์ฟเวอร์ API แอปโลคัลหลายตัวสร้างบนเอนจินนี้
KoboldCpp เป็นแอปไฟล์เดียวที่สร้างบน llama.cpp มีเว็บอินเทอร์เฟซสำหรับแชตและเขียนเรื่อง พร้อม API แบบ KoboldAI และ OpenAI เหมาะกับงานโรลเพลย์และนิยาย
แอปในหน้านี้รันโมเดลภาษาบนคอมพิวเตอร์ของคุณเอง พรอมต์และคำตอบอยู่ในเครื่อง ไม่ได้ส่งไปยังคลาวด์ของผู้ให้บริการ ตัวแอปใช้ฟรี แต่ตัวโมเดลเป็นไฟล์ที่ดาวน์โหลดแยก มีขนาดและสัญญาอนุญาตของตัวเอง
แต่ละการ์ดบอกระบบที่รองรับ หน่วยความจำขั้นต่ำ การรองรับ GPU สัญญาอนุญาต และจำนวนดาวบน GitHub ซึ่งอัปเดตทุกสัปดาห์ ถ้าแอปอยู่ในแคตตาล็อกของเรา จะมีปุ่มดาวน์โหลดที่พาไปยังตัวติดตั้งที่ตรวจลายเซ็นแล้ว เช่น Ollama หรือ LM Studio
หน่วยความจำ หรือหน่วยความจำของการ์ดจอ เป็นตัวตัดสินว่ารันโมเดลขนาดไหนได้ โมเดลใหญ่ต้องใช้หน่วยความจำมากขึ้น ถ้าไม่มี GPU โมเดลยังรันบน CPU ได้แต่ช้ากว่า หน้านี้ไม่ได้รับประกันความเร็วหรือคุณภาพ เพราะทั้งสองอย่างขึ้นกับโมเดลและฮาร์ดแวร์ของคุณ
ถ้าไม่เคยใช้มาก่อน แอปที่มีหน้าต่างเลือกโมเดลอย่าง LM Studio หรือ Jan เริ่มง่าย ถ้าต้องการ API ในเครื่องสำหรับโปรแกรมอื่น Ollama เหมาะกว่า ส่วนงานคุยกับเอกสารของตัวเองดู GPT4All และ AnythingLLM ข้อมูลอ้างอิงมาจากเอกสารของผู้พัฒนาและคลังโค้ดบน GitHub ของแต่ละโครงการ
ข้อดีของการรันในเครื่องคือพรอมต์ไม่ออกจากคอมพิวเตอร์ เหมาะกับเอกสารภายในหรือข้อมูลส่วนตัว ข้อแลกคือคุณต้องดูแลพื้นที่ดิสก์ อัปเดตแอป และเลือกโมเดลเอง และโมเดลที่รันได้บนเครื่องทั่วไปมักเล็กกว่าโมเดลบนคลาวด์ ตรวจสัญญาอนุญาตของโมเดลก่อนนำไปใช้เชิงพาณิชย์ เพราะแต่ละตัวมีเงื่อนไขต่างกัน