使用open webui+ollama部署本地大模型

使用open webui+ollama部署本地大模型

本文将介绍如何使用open webui和ollama在本地部署大模型。该方法支持多种模型，包括qwen和deepseek等。

使用open webui+ollama部署本地大模型

1. 安装docker

为了方便起见，我们选择在Windows系统上安装docker。你可以从docker官网下载适合你系统的安装包：

https://www.docker.com/products/docker-desktop/

安装过程中需要启用虚拟化（Microsoft Hyper-V）。具体操作可以参考这篇文章：

https://www.cnblogs.com/jokingremarks/p/18156334

安装完成后，重启电脑并在Docker Desktop中接受相关协议：

如果遇到Docker Engine停止的问题，可以参考以下链接进行解决：

https://www.cnblogs.com/jokingremarks/p/18156334

2. 拉取open webui镜像

为了加快镜像拉取速度，建议配置阿里云镜像加速器：

https://cr.console.aliyun.com/cn-hangzhou/instances/mirrors

配置方法如下：打开docker desktop，进入设置->Docker Engine，在大括号内输入：

"registry-mirrors": ["复制的网址"]

然后点击Apply &restart即可完成配置。

接下来，我们需要从GitHub上获取open webui的镜像：

https://github.com/open-webui/open-webui?tab=readme-ov-file#how-to-install-

在PowerShell（管理员运行）中执行以下命令：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

等待进度条完成，此时在docker desktop的Images中就能看到下载的open webui了。

3. 启动open webui

启动过程非常简单，只需在Docker Desktop中点击Run即可：

启动后，在浏览器中输入http://localhost:3000/即可进入open webui界面。首次进入需要注册，由于是本地部署，所以不会有任何验证码限制，按照提示正常填写即可。

注册完成后，你可以在模型选择下拉框中看到之前在ollama中下载的所有模型。选择一个模型后，就可以开始问答环节了。

PS：Open webui的中文设置位置