Aplikacje uruchamiające modele na Twoim komputerze: obsługiwane systemy, wymagana pamięć, obsługa GPU i pobieranie z naszego katalogu.
Zaktualizowano
Ollama uruchamia modele o otwartych wagach lokalnie – z wiersza poleceń i w aplikacji okienkowej – i udostępnia lokalne API HTTP zgodne z OpenAI, na licencji MIT. Dla programistów, którzy chcą mieć lokalne modele za API.
Aplikacja do wyszukiwania, pobierania i czatu z lokalnymi modelami, z lokalnym serwerem API; LM Studio jest darmowe, ale nie jest open source. Dla osób, które chcą modeli lokalnych bez wiersza poleceń.
Otwarta aplikacja czatu na licencji Apache-2.0, która uruchamia modele offline, a w razie potrzeby łączy się z API w chmurze. Jan to prywatna aplikacja w stylu ChatGPT na własnym komputerze.
Otwarta aplikacja Nomic na licencji MIT do lokalnych modeli na CPU lub GPU, z czatem o własnych dokumentach (LocalDocs); od lutego nowe wydania GPT4All pojawiają się rzadko. Do rozmów z lokalnym modelem o twoich plikach.
AnythingLLM to otwarta aplikacja „wszystko w jednym” na licencji MIT, na komputer lub w Dockerze: czat z dokumentami, agenci, modele lokalne i chmurowe. Prywatna przestrzeń do pracy z dokumentami i agentami.
Samodzielnie hostowany interfejs webowy dla Ollamy i API zgodnych z OpenAI, instalowany przez Dockera lub pip, z obsługą wielu użytkowników. Open WebUI sprawdzi się jako wspólny czat z lokalnymi modelami na serwerze.
Otwarty silnik inferencji w C/C++ dla modeli GGUF na CPU i GPU, z narzędziami wiersza poleceń i serwerem zgodnym z OpenAI; na llama.cpp opiera się wiele lokalnych aplikacji. Dla tych, którzy chcą pełnej kontroli nad ustawieniami.
Aplikacja w jednym pliku oparta na llama.cpp, z interfejsem webowym do czatu i pisania opowieści oraz API zgodnymi z KoboldAI i OpenAI. KoboldCpp wybierają miłośnicy odgrywania ról i fikcji z modelami lokalnymi.
To programy, które uruchamiają modele językowe bezpośrednio na twoim komputerze, bez wysyłania pytań do chmury. Na tej stronie zebraliśmy aplikacje okienkowe (Ollama, LM Studio, Jan, GPT4All, AnythingLLM), interfejs webowy Open WebUI oraz silniki llama.cpp i KoboldCpp. Na kartach widać obsługiwane systemy, minimalną ilość RAM, obsługę kart graficznych, licencję i gwiazdki na GitHubie. Jeśli aplikacja jest w naszym katalogu, karta ma przycisk pobierania prowadzący do instalatora sprawdzonego pod kątem ważnego podpisu.
Same aplikacje są darmowe, ale model to osobne pobranie – z własną licencją i własnym rozmiarem. Część modeli ma licencje z ograniczeniami użycia komercyjnego, więc przed wdrożeniem w firmie przeczytaj warunki konkretnego modelu. Nie płacisz za tokeny, ale płacisz prądem i miejscem na dysku.
O tym, które modele uruchomisz, decyduje pamięć: RAM, a przy przyspieszaniu kartą graficzną – pamięć karty. Większy model potrzebuje więcej pamięci. Bez karty graficznej modele działają na procesorze, tylko wolniej. Zanim pobierzesz duży model, sprawdź na karcie aplikacji minimalne wymagania i zostaw zapas pamięci na system.
Szybkość i jakość odpowiedzi zależą od modelu i sprzętu – strona nie obiecuje ani jednego, ani drugiego. Modele lokalne mieszczące się na zwykłym laptopie są zwykle mniejsze od tych w chmurze, więc przy trudnych zadaniach mogą odpowiadać słabiej. Informacje na kartach pochodzą z dokumentacji producentów i repozytoriów na GitHubie (link na każdej karcie), a gwiazdki odświeżamy co tydzień. Jeśli potrzebujesz mocniejszych modeli bez własnego sprzętu, sprawdź dostawców API lub serwery VPS.