在本地运行AI ——

1. llama.cpp (https://github.com/ggerganov/llama.cpp ) - 纯 C/C++ 的 LLaMA,可在本地 CPU 上运行;

2. Jan (https://github.com/janhq/jan ) - ChatGPT 的开源替代方案,可在电脑上 100% 离线运行;

3. LocalAI (https://github.com/mudler/LocalAI ) - OpenAI、Claude 等人的免费开源替代品。自托管且本地优先,用 Go 编写;

4. ollama (https://github.com/ollama/ollama ) - 用于在本地级别使用 Llama 2 和其他主要语言模型的工具;

5. LM Studio (https://lmstudio.ai/ ) - 用于探索、加载和运行各种大型语言模型(LLM)的软件;

6. llamafile (https://github.com/Mozilla-Ocho/llamafile ) - 允许您在单个文件中运行不同的 LLM;

7. GPT4ALL (https://www.nomic.ai/gpt4all ) - 另一个本地运行 ChatGPT 的著名解决方案。
 
 
Back to Top