Ollama
오픈 소스Ollama는 오픈 웨이트 모델을 명령줄과 데스크톱 앱으로 내 PC에서 돌리는 오픈 소스(MIT) 프로그램으로, OpenAI 호환 로컬 API를 갖췄습니다.
- 운영체제
- Windows, macOS, Linux
- GPU
- Optional: CUDA, ROCm, Vulkan, Metal
- OpenAI 호환 API
- 예
- 라이선스
- MIT
- GitHub 스타
- 181,947
로컬 LLM 앱
내 컴퓨터에서 모델을 실행하는 앱: 지원 운영체제, 필요한 메모리, GPU 지원, 저희 카탈로그에서 다운로드.
업데이트
LM Studio
무료명령어 없이 로컬 모델을 찾아 써 보려면 LM Studio가 맞습니다. 채팅 화면과 로컬 API 서버가 있으며, 무료지만 오픈 소스는 아닙니다.
- 운영체제
- Windows, macOS, Linux
- 최소 RAM
- 16 GB
- GPU
- Optional: 4 GB+ VRAM, Apple Silicon
- OpenAI 호환 API
- 예
- 라이선스
- Proprietary
Jan
오픈 소스Jan은 모델을 오프라인으로 돌리고 필요하면 클라우드 API에도 연결하는 오픈 소스(Apache-2.0) 채팅 앱으로, 내 PC에서 AI를 조용히 씁니다.
- 운영체제
- Windows, macOS, Linux
- 최소 RAM
- 8 GB
- GPU
- Optional: NVIDIA, AMD, Intel Arc, Metal
- OpenAI 호환 API
- 예
- 라이선스
- Apache-2.0
- GitHub 스타
- 44,717
GPT4All
오픈 소스내 문서로 대화하는 LocalDocs가 특징인 GPT4All은 Nomic의 오픈 소스(MIT) 앱입니다. 새 릴리스가 드물다는 점을 감안해 고르십시오.
- 운영체제
- Windows, macOS, Linux
- 최소 RAM
- 8 GB
- GPU
- Optional: Vulkan, Apple M-series
- OpenAI 호환 API
- 예
- 라이선스
- MIT
- GitHub 스타
- 77,386
AnythingLLM
오픈 소스AnythingLLM은 문서 대화, 에이전트, 로컬·클라우드 모델을 한곳에서 다루는 오픈 소스(MIT) 앱으로, 데스크톱판과 Docker판이 있습니다.
- 운영체제
- Windows, macOS, Linux
- 최소 RAM
- 16 GB
- GPU
- Optional: CUDA, ROCm, Vulkan, NPU
- 라이선스
- MIT
- GitHub 스타
- 66,618
Open WebUI
오픈 소스Open WebUI는 Ollama나 OpenAI 호환 API에 붙여 쓰는 셀프 호스팅 웹 화면입니다. 여러 사용자가 서버의 로컬 모델을 함께 쓸 수 있습니다.
- 운영체제
- Windows, macOS, Linux
- GPU
- Not needed: uses Ollama or an API
- OpenAI 호환 API
- 예
- 라이선스
- Open WebUI License
- GitHub 스타
- 153,609
llama.cpp
오픈 소스많은 로컬 앱의 바탕인 llama.cpp는 GGUF 모델을 CPU와 GPU로 돌리는 오픈 소스 추론 엔진으로, 설정을 세밀하게 다루려는 분께 맞습니다.
- 운영체제
- Windows, macOS, Linux
- GPU
- Optional: CUDA, ROCm, Vulkan, SYCL, Metal
- OpenAI 호환 API
- 예
- 라이선스
- MIT
- GitHub 스타
- 129,950
KoboldCpp
오픈 소스KoboldCpp는 llama.cpp 기반의 단일 파일 앱으로, 채팅과 이야기 쓰기용 웹 화면을 갖췄습니다. 로컬 모델로 롤플레이와 소설을 즐기려는 분께 맞습니다.
- 운영체제
- Windows, macOS, Linux
- GPU
- Optional: CUDA, Vulkan, hipBLAS, Metal
- OpenAI 호환 API
- 예
- 라이선스
- AGPL-3.0
- GitHub 스타
- 11,908
내 PC에서 AI 돌리기
로컬 LLM 앱을 쓰면 언어 모델을 내 PC 안에서 실행할 수 있습니다. 질문 내용이 PC 밖으로 나가지 않는다는 것이 가장 큰 차이여서, 사내 자료나 개인 메모를 다룰 때 알맞습니다. 이 페이지에서는 지원 OS, 최소 메모리, GPU 지원, 라이선스, GitHub 스타를 카드로 비교합니다. 저희 카탈로그에 있는 앱에는 다운로드 버튼이 있으며, 설치 파일 서명이 유효한지 확인했습니다.
앱의 종류
- 데스크톱 앱: Ollama, LM Studio, Jan, GPT4All, AnythingLLM.
- 웹 인터페이스: Open WebUI.
- 엔진: llama.cpp, KoboldCpp.
앱과 모델은 별개
앱은 무료여도 모델은 따로 내려받는 것이며, 모델마다 라이선스와 용량이 있습니다. 어떤 모델을 돌릴 수 있는지는 메모리(또는 GPU 메모리)가 정하며, 큰 모델일수록 메모리가 더 필요합니다. GPU가 없어도 CPU로 돌아가지만 그만큼 느립니다.
기대치 조절하기
속도와 답변 품질은 모델과 PC 조합에 따라 크게 달라지며, 이 페이지는 둘 다 약속하지 않습니다. 작은 모델로 먼저 시험해 보고, 모자라면 큰 모델이나 클라우드 API를 검토하십시오. 모델을 고르기 전에 리더보드에서 「오픈 웨이트」 표시가 있는 모델을 찾아 두면 효율적입니다.
시작 예시
화면 조작으로 시작하려면 LM Studio나 Jan, 명령어나 API로 쓰려면 Ollama, 내 문서와 함께 쓰려면 GPT4All이나 AnythingLLM이 입구가 됩니다.