Εφαρμογές που τρέχουν μοντέλα στον δικό σας υπολογιστή: υποστηριζόμενα συστήματα, απαιτήσεις μνήμης, υποστήριξη GPU και λήψη από τον κατάλογό μας.
Ενημερώθηκε
Το Ollama τρέχει τοπικά μοντέλα ανοιχτών βαρών από γραμμή εντολών και εφαρμογή υπολογιστή, με τοπικό HTTP API συμβατό και με OpenAI. Ανοιχτού κώδικα με άδεια MIT, για προγραμματιστές που θέλουν τοπικά μοντέλα πίσω από API.
Εφαρμογή υπολογιστή για αναζήτηση, λήψη και συνομιλία με τοπικά μοντέλα, με τοπικό διακομιστή API. Το LM Studio είναι δωρεάν αλλά όχι ανοιχτού κώδικα και απευθύνεται σε όσους αποφεύγουν τη γραμμή εντολών.
Το Jan είναι εφαρμογή συνομιλίας ανοιχτού κώδικα που τρέχει μοντέλα εκτός σύνδεσης και συνδέεται και με API cloud, με τοπικό διακομιστή συμβατό με OpenAI. Ένα ιδιωτικό περιβάλλον τύπου ChatGPT στον δικό σας υπολογιστή.
Εφαρμογή ανοιχτού κώδικα της Nomic για τοπικά μοντέλα σε επεξεργαστή ή κάρτα γραφικών, με συνομιλία πάνω στα δικά σας έγγραφα μέσω LocalDocs. Το GPT4All βγάζει πλέον σπάνια νέες εκδόσεις.
Το AnythingLLM είναι εφαρμογή ανοιχτού κώδικα, για υπολογιστή ή Docker, που συνδυάζει συνομιλία με έγγραφα, πράκτορες και τοπικά ή cloud μοντέλα. Ένας ιδιωτικός χώρος εργασίας για έγγραφα και πράκτορες.
Περιβάλλον web που φιλοξενείτε μόνοι σας για το Ollama και API συμβατά με OpenAI, με εγκατάσταση μέσω Docker ή pip. Το Open WebUI υποστηρίζει πολλούς χρήστες σε κοινό διακομιστή.
Το llama.cpp είναι μηχανή εκτέλεσης ανοιχτού κώδικα σε C/C++ για μοντέλα GGUF σε επεξεργαστή και κάρτα γραφικών, με εργαλεία γραμμής εντολών και διακομιστή API. Πάνω του βασίζονται πολλές τοπικές εφαρμογές.
Εφαρμογή ενός αρχείου βασισμένη στο llama.cpp, με περιβάλλον web για συνομιλία και συγγραφή ιστοριών και API τύπου KoboldAI και OpenAI. Το KoboldCpp απευθύνεται σε όσους γράφουν μυθοπλασία ή παιχνίδια ρόλων με τοπικά μοντέλα.
Οι εφαρμογές αυτής της σελίδας τρέχουν γλωσσικά μοντέλα στον δικό σας υπολογιστή. Τα αιτήματα και οι απαντήσεις μένουν στη συσκευή και δεν στέλνονται σε cloud παρόχου. Η εφαρμογή είναι δωρεάν, αλλά το μοντέλο είναι ξεχωριστό αρχείο που κατεβαίνει χωριστά, με δικό του μέγεθος και άδεια.
Κάθε κάρτα δείχνει υποστηριζόμενα συστήματα, ελάχιστη μνήμη, υποστήριξη κάρτας γραφικών, άδεια και αστέρια στο GitHub, που ενημερώνονται κάθε εβδομάδα. Αν η εφαρμογή υπάρχει στον κατάλογό μας, το κουμπί λήψης οδηγεί σε εγκαταστάτη με ελεγμένη ψηφιακή υπογραφή.
Η μνήμη του συστήματος ή η μνήμη της κάρτας γραφικών καθορίζει ποια μοντέλα τρέχουν: μεγαλύτερο μοντέλο σημαίνει περισσότερη μνήμη. Χωρίς κάρτα γραφικών τα μοντέλα τρέχουν στον επεξεργαστή, πιο αργά. Η σελίδα δεν υπόσχεται ταχύτητα ή ποιότητα, γιατί εξαρτώνται από το μοντέλο και το υλικό σας.
Αν είναι η πρώτη σας επαφή, εφαρμογές με παράθυρο επιλογής μοντέλων, όπως το LM Studio ή το Jan, είναι εύκολες. Για τοπικό API που θα χρησιμοποιούν άλλα προγράμματα ταιριάζει το Ollama, ενώ για συνομιλία με δικά σας έγγραφα το GPT4All και το AnythingLLM. Οι πληροφορίες προέρχονται από την τεκμηρίωση των δημιουργών και τα αποθετήρια κάθε έργου στο GitHub.
Το μεγάλο πλεονέκτημα είναι ότι τα αιτήματα δεν φεύγουν από τον υπολογιστή, κάτι σημαντικό για εσωτερικά έγγραφα και προσωπικά δεδομένα. Το αντίτιμο είναι ότι φροντίζετε εσείς για χώρο στον δίσκο, ενημερώσεις και επιλογή μοντέλων, και ότι τα μοντέλα που τρέχουν σε συνηθισμένο υπολογιστή είναι συνήθως μικρότερα από τα μοντέλα cloud. Ελέγξτε την άδεια κάθε μοντέλου πριν από εμπορική χρήση.