Ollama本地安装+DeepSeek大模型本地部署+OpenWebUI界面
Ollama本地安装+DeepSeek大模型本地部署+OpenWebUI界面
Ollama本地安装-window11
在 Windows 11 上本地部署 Ollama 是一个相对简单的过程,以下是详细的步骤和注意事项:
1. Ollama 简介
Ollama 是一个开源的大型语言模型(LLM)运行工具,支持在本地部署和运行多种开源大模型(如 Llama2、Qwen、Mistral 等)。它简化了模型的管理和调用,适合开发者、研究人员和 AI 爱好者使用。
2. 安装步骤
2.1 下载与安装
下载 Ollama
访问 Ollama 官网:https://ollama.com/download,选择 Windows 版本下载安装包(OllamaSetup.exe)。
双击安装包,点击「Install」完成安装。默认安装路径为
C:\Users<username>\AppData\Local\Programs\Ollama
。
自动解压到这里
- 慢的可以使用
迅雷
下载,有加速效果
在这里插入图片描述
草泥马 🅰️
配置环境变量
- 修改模型存储路径(可选):默认模型存储在
C:\Users<username>.ollama\models
,如果 C 盘空间不足,可以通过设置环境变量
OLLAMA_MODELS
更改路径。例如:
setx OLLAMA_MODELS "D:\ollama\models"
- 修改 API 端口(可选):默认 API 端口为
11434
,可以通过设置环境变量
OLLAMA_HOST
修改端口。例如:
setx OLLAMA_HOST ":8000"
- 修改后需重启 Ollama 服务。
启动 Ollama
- 安装完成后,Ollama 会自动启动。可以通过任务栏图标右键选择「Quit Ollama」退出,或通过命令行启动:
ollama serve
2.2 下载与运行模型
模型查找
下载模型
ollama run deepseek-r1:8b
输入问题后,模型会生成回答。
首次运行会自动下载模型,下载速度取决于网络和模型大小。
运行模型
- 下载完成后,可以直接与模型交互。
模型卸载
终端输入:ollama rm 模型名称
ollama rm deepseek-r1:8b
3. 高级配置
3.1 使用 Open WebUI
安装 Docker
- 如果未安装 Docker,需先启用 Hyper-V 和 WSL2,然后从 Docker 官网下载并安装 Docker Desktop。
部署 Open WebUI
- 使用以下命令部署 Open WebUI:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
# Gpu supports
docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda
- 部署完成后,访问
即可使用 Web 界面与模型交互。
3.2 内网穿透
安装 Cpolar
- 下载并安装 Cpolar,注册账号后创建隧道,将本地端口(如 3000)映射到公网。
配置固定域名
- 在 Cpolar 中保留二级子域名(如
myollama
),并更新隧道配置,实现固定域名访问。
4. 常见问题与优化
4.1 硬件要求
最低配置:8GB 内存,支持 AVX 指令集的 CPU。
推荐配置:16GB 内存,NVIDIA 或 AMD GPU(支持硬件加速)。
4.2 性能优化
更新显卡驱动,确保硬件加速可用。
关闭不必要的程序,释放系统资源。
根据任务需求选择合适的模型(如 7B 或 14B)。
4.3 常见问题
模型加载失败:检查网络连接,或手动下载模型文件。
API 无法访问:确保端口未被占用,防火墙允许访问。
5. 总结
通过以上步骤,您可以在 Windows 11 上成功部署 Ollama,并运行多种开源大模型。结合 Open WebUI 和内网穿透工具,还可以实现更便捷的交互和远程访问。如果需要更详细的操作指南,可以参考相关教程。