Приложения, которые запускают модели на вашем компьютере: поддерживаемые системы, требования к памяти, поддержка GPU и скачивание из нашего каталога.
Обновлено
Запускает открытые модели на вашем компьютере из командной строки или небольшого приложения и отдаёт их через локальный API в формате OpenAI. Открытый код, лицензия MIT.
Настольное приложение, чтобы находить, скачивать локальные модели и общаться с ними, со встроенным API-сервером для разработчиков. Бесплатно, но код закрыт.
Открытый чат в стиле ChatGPT: модели работают офлайн, а в том же окне можно переключиться на облачный API. Заодно поднимает локальный сервер, совместимый с OpenAI.
Открытое приложение Nomic для локальных моделей на процессоре или видеокарте; известно функцией LocalDocs для вопросов по своим файлам. С февраля 2025 года новые версии почти не выходят.
Открытое рабочее пространство «всё в одном» — на компьютере или в Docker: документы, агенты, локальные и облачные модели. Подходит для приватной работы со своими файлами.
Веб-интерфейс для Ollama и API в формате OpenAI, который ставят на свой сервер через Docker или pip; несколько человек могут пользоваться им из браузера.
Открытый движок на C/C++ для моделей GGUF на процессоре и видеокарте, с утилитами командной строки и сервером в формате OpenAI. На нём построено множество локальных приложений.
Программа в одном файле на основе llama.cpp с веб-интерфейсом для чата и сочинения историй, API в форматах KoboldAI и OpenAI; её любят за художественные тексты и ролевые игры.
Локальная программа скачивает модель с открытыми весами и запускает её на вашем ПК или ноутбуке. Запросы не покидают компьютер, счёта за токены нет, а после загрузки модели интернет не нужен. Здесь собраны такие программы: настольные приложения Ollama, LM Studio, Jan, GPT4All и AnythingLLM, веб-интерфейс для домашнего сервера Open WebUI и движки для тех, кому нужен полный контроль, — llama.cpp и KoboldCpp.
Программа бесплатна, а модель — отдельная загрузка со своим размером и лицензией. Модель должна поместиться в оперативную память или, если работать будет видеокарта, в её видеопамять: чем крупнее модель, тем мощнее нужен компьютер. Без подходящей видеокарты модели работают на процессоре — это возможно, но медленнее. На карточках — данные производителей; конкретной скорости и качества ответов мы не обещаем, потому что они зависят от модели и железа.
Самые сильные модели не публикуются с открытыми весами и работают только в облаке. Если нужны они, посмотрите API-провайдеров или ИИ-приложения. Некоторые локальные программы, например Jan и AnythingLLM, умеют подключать облачный API рядом с локальными моделями.