تطبيقات تشغّل النماذج على حاسوبك: الأنظمة المدعومة، والذاكرة المطلوبة، ودعم GPU، والتنزيل من دليلنا.
تاريخ التحديث
تشغيل النماذج مفتوحة الأوزان محليا من سطر الأوامر أو تطبيق سطح المكتب، مع واجهة HTTP محلية متوافقة مع OpenAI. Ollama مفتوح المصدر بترخيص MIT، ويناسب المطورين الذين يريدون نموذجا محليا خلف واجهة برمجية.
تطبيق سطح مكتب للبحث عن النماذج المحلية وتنزيلها والمحادثة معها، مع خادم API محلي. LM Studio مجاني لكنه ليس مفتوح المصدر، ويناسب من يريد نماذج محلية دون سطر أوامر.
تطبيق محادثة مفتوح المصدر بترخيص Apache يشغل النماذج دون إنترنت ويتصل بواجهات سحابية عند الحاجة. يقدم Jan تجربة خاصة شبيهة بتطبيق ChatGPT على حاسوبك، مع خادم محلي متوافق مع OpenAI.
تطبيق Nomic المفتوح المصدر بترخيص MIT لتشغيل النماذج محليا على المعالج أو بطاقة الرسوميات، مع محادثة حول مستنداتك عبر LocalDocs. الإصدارات الجديدة من GPT4All نادرة منذ فبراير من العام الماضي.
مساحة عمل خاصة للمستندات والوكلاء: AnythingLLM تطبيق مفتوح المصدر بترخيص MIT لسطح المكتب أو Docker، يجمع المحادثة مع المستندات والوكلاء والنماذج المحلية أو السحابية.
واجهة ويب تستضيفها بنفسك لتطبيق Ollama والواجهات المتوافقة مع OpenAI، تثبت عبر Docker أو pip وتدعم عدة مستخدمين. يوفر Open WebUI واجهة محادثة مشتركة للنماذج المحلية على خادم.
محرك استدلال مفتوح المصدر بلغة C/C++ لنماذج GGUF على المعالج وبطاقة الرسوميات، مع أدوات سطر أوامر وخادم متوافق مع OpenAI. تبنى عليه تطبيقات محلية كثيرة، ويناسب llama.cpp من يريد تحكما كاملا في الإعدادات.
للقصص التفاعلية والكتابة الإبداعية مع النماذج المحلية، يقدم KoboldCpp تطبيقا في ملف واحد مبنيا على llama.cpp بواجهة ويب وواجهات متوافقة مع KoboldAI وOpenAI.
تشغيل نموذج لغوي على حاسوبك يعني أن ما تكتبه يبقى على الجهاز ولا يرسل إلى خدمة سحابية. هذه الصفحة تجمع التطبيقات التي تفعل ذلك في بطاقات: الأنظمة المدعومة، و«أدنى RAM»، ودعم بطاقات الرسوميات، والترخيص، ونجوم GitHub، وزر تنزيل حين يكون التطبيق في دليلنا، مع التحقق من توقيع ملف التثبيت.
النموذج الأكبر يحتاج إلى ذاكرة أكبر. إن لم تكن لديك بطاقة رسوميات مناسبة، فالنماذج تعمل على المعالج، لكن أبطأ. لذلك اقرأ «أدنى RAM» في البطاقة على أنه الحد الأدنى لتشغيل التطبيق مع نماذج صغيرة، لا ضمانا لتشغيل أي نموذج. وسرعة الإجابة وجودتها تعتمدان على النموذج والعتاد معا، والصفحة لا تعد بأي منهما.
حين تعمل على مستندات أو شيفرة لا تريد إرسالها إلى الخارج، أو حين تحتاج إلى العمل دون إنترنت، أو تريد تجربة نماذج مفتوحة الأوزان دون فاتورة API. أما إن كنت تحتاج إلى نماذج كبيرة جدا لا يتحملها جهازك، فقد تكون مزودو API أو خوادم VPS أنسب.
المصادر: توثيق المطورين ومستودعات GitHub (الرابط في كل بطاقة)، ونجوم GitHub تتحدث أسبوعيا.