问小白 wenxiaobai
资讯
历史
科技
环境与自然
成长
游戏
财经
文学与艺术
美食
健康
家居
文化
情感
汽车
三农
军事
旅行
运动
教育
生活
星座命理

Ollama本地安装+DeepSeek大模型本地部署+OpenWebUI界面

创作时间:
作者:
@小白创作中心

Ollama本地安装+DeepSeek大模型本地部署+OpenWebUI界面

引用
CSDN
1.
https://m.blog.csdn.net/k316378085/article/details/145622371

Ollama本地安装-window11

在 Windows 11 上本地部署 Ollama 是一个相对简单的过程,以下是详细的步骤和注意事项:

1. Ollama 简介

Ollama 是一个开源的大型语言模型(LLM)运行工具,支持在本地部署和运行多种开源大模型(如 Llama2、Qwen、Mistral 等)。它简化了模型的管理和调用,适合开发者、研究人员和 AI 爱好者使用。

2. 安装步骤

2.1 下载与安装

下载 Ollama

  • 访问 Ollama 官网:https://ollama.com/download,选择 Windows 版本下载安装包(OllamaSetup.exe)。

  • 双击安装包,点击「Install」完成安装。默认安装路径为

C:\Users<username>\AppData\Local\Programs\Ollama

自动解压到这里

  • 慢的可以使用

迅雷

下载,有加速效果

在这里插入图片描述

草泥马 🅰️

配置环境变量

  • 修改模型存储路径(可选):默认模型存储在

C:\Users<username>.ollama\models

,如果 C 盘空间不足,可以通过设置环境变量

OLLAMA_MODELS

更改路径。例如:


setx OLLAMA_MODELS "D:\ollama\models"  
  • 修改 API 端口(可选):默认 API 端口为

11434

,可以通过设置环境变量

OLLAMA_HOST

修改端口。例如:


setx OLLAMA_HOST ":8000"  
  • 修改后需重启 Ollama 服务。

启动 Ollama

  • 安装完成后,Ollama 会自动启动。可以通过任务栏图标右键选择「Quit Ollama」退出,或通过命令行启动:

ollama serve  

2.2 下载与运行模型

模型查找

下载模型


ollama run deepseek-r1:8b  
  • 输入问题后,模型会生成回答。

  • 首次运行会自动下载模型,下载速度取决于网络和模型大小。

运行模型

  • 下载完成后,可以直接与模型交互。

模型卸载

终端输入:ollama rm 模型名称


ollama rm deepseek-r1:8b  

3. 高级配置

3.1 使用 Open WebUI

官网https://www.openwebui.com/

安装 Docker

  • 如果未安装 Docker,需先启用 Hyper-V 和 WSL2,然后从 Docker 官网下载并安装 Docker Desktop。

部署 Open WebUI

  • 使用以下命令部署 Open WebUI:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
 # Gpu supports
docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name 			 open-webui --restart always ghcr.io/open-webui/open-webui:cuda  
  • 部署完成后,访问

http://localhost:3000

即可使用 Web 界面与模型交互。

3.2 内网穿透

安装 Cpolar

  • 下载并安装 Cpolar,注册账号后创建隧道,将本地端口(如 3000)映射到公网。

配置固定域名

  • 在 Cpolar 中保留二级子域名(如

myollama

),并更新隧道配置,实现固定域名访问。

4. 常见问题与优化

4.1 硬件要求

  • 最低配置:8GB 内存,支持 AVX 指令集的 CPU。

  • 推荐配置:16GB 内存,NVIDIA 或 AMD GPU(支持硬件加速)。

4.2 性能优化

  • 更新显卡驱动,确保硬件加速可用。

  • 关闭不必要的程序,释放系统资源。

  • 根据任务需求选择合适的模型(如 7B 或 14B)。

4.3 常见问题

  • 模型加载失败:检查网络连接,或手动下载模型文件。

  • API 无法访问:确保端口未被占用,防火墙允许访问。

5. 总结

通过以上步骤,您可以在 Windows 11 上成功部署 Ollama,并运行多种开源大模型。结合 Open WebUI 和内网穿透工具,还可以实现更便捷的交互和远程访问。如果需要更详细的操作指南,可以参考相关教程。

© 2023 北京元石科技有限公司 ◎ 京公网安备 11010802042949号