Ollama

安装程序

下载 Ollama 安装包并完成所有操作。

可通过环境变量 OLLAMA_MODELS 更改模型路径。

拉取模型

以 Llama3-8B-Chinese-Chat 为例：

# Llama3-8B-Chinese-Chat 的 Q4 量化版本（性能要求最低）
ollama run wangshenzhi/llama3-8b-chinese-chat-ollama-q4

# Llama3-8B-Chinese-Chat 的 Q8 量化版本（性能要求中等）
ollama run wangshenzhi/llama3-8b-chinese-chat-ollama-q8

# Llama3-8B-Chinese-Chat 的 F16 量化版本（性能要求最高）
ollama run wangshenzhi/llama3-8b-chinese-chat-ollama-fp16

https://ollama.com/wangshenzhi/llama3-8b-chinese-chat-ollama-q4https://ollama.com/wangshenzhi/llama3-8b-chinese-chat-ollama-q8https://ollama.com/wangshenzhi/llama3-8b-chinese-chat-ollama-fp16

Chatbox

安装程序

下载 Chatbox 安装包并完成所有操作。

设置模型

设置>模型，模型提供方：OLLAMA。