部署你的专属私有AI大模型

部署你的专属私有AI大模型

引用

CSDN

1.

https://blog.csdn.net/qq_33906471/article/details/138955021

本文将指导您在CentOS 7.9系统上部署一个专属的私有AI大模型。通过使用Docker和Docker-Compose，整个部署过程将大大简化。请确保您的系统已经满足以下条件：CentOS 7.9操作系统、网络连接正常。

准备Docker环境

安装Docker

yum install -y yum-utils device-mapper-persistent-data lvm2
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
yum -y install docker-ce docker-ce-cli containerd.io

启动Docker

systemctl start docker
systemctl enable docker

准备Docker-Compose

安装Docker Compose时可能会遇到网络问题，可以尝试开启VPN或联系作者获取帮助。

curl -L "https://github.com/docker/compose/releases/download/1.24.1/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose
ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose
docker-compose --version

准备源代码

git clone https://github.com/open-webui/open-webui.git
[root@bogon ~]# git clone https://github.com/open-webui/open-webui.git
Cloning into 'open-webui'...
remote: Enumerating objects: 22440, done.
remote: Counting objects: 100% (517/517), done.
remote: Compressing objects: 100% (183/183), done.
remote: Total 22440 (delta 301), reused 460 (delta 272), pack-reused 21923
Receiving objects: 100% (22440/22440), 48.51 MiB | 1.70 MiB/s, done.
Resolving deltas: 100% (14679/14679), done.

启动服务

修改docker-compose.yaml文件

version: '3'
services:
  ollama:
    volumes:
- ollama:/root/.ollama
    container_name: ollama
    tty: true
    restart: unless-stopped
    image: ollama/ollama:${OLLAMA_DOCKER_TAG-latest}
  open-webui:
    image: ghcr.io/open-webui/open-webui:${WEBUI_DOCKER_TAG-main}
    container_name: open-webui
    volumes:
- open-webui:/app/backend/data
    depends_on:
- ollama
    ports:
- ${OPEN_WEBUI_PORT-3000}:8080
    environment:
- 'OLLAMA_BASE_URL=http://ollama:11434'
- 'WEBUI_SECRET_KEY='
    extra_hosts:
- host.docker.internal:host-gateway
    restart: unless-stopped
volumes:
  ollama: {}
  open-webui: {}

启动

[root@bogon ~]# cd open-webui/
[root@bogon open-webui]# docker-compose up -d --build
# 启动完成以后查询容器状态
[root@bogon open-webui]# docker-compose ps
   Name           Command        State                    Ports                  
---------------------------------------------------------------------------------
ollama       /bin/ollama serve   Up      11434/tcp                               
open-webui   bash start.sh       Up      0.0.0.0:3000->8080/tcp,:::3000->8080/tcp

测试使用

访问

打开浏览器访问服务器的IP加上3000端口：

http://192.168.207.131:3000

注册账号

选择模型

ollama里面有很多模型可以使用，但是需要我们下载，经过测试觉得比较好用的一个是openchat（当然也有其他的，大家可以多测试测试，选择一个好用的，这里面我们就用openchat为例）。

下载模型

下载完成以后会有>>>提示符输入/bye按回车即可

[root@bogon open-webui]# docker exec -it ollama ollama run openchat
pulling manifest 
pulling 1cecc26325a1... 100% ▕█████████████████████▏ 4.1 GB                         
pulling 43070e2d4e53... 100% ▕█████████████████████▏  11 KB                         
pulling d68706c17530... 100% ▕█████████████████████▏   98 B                         
pulling 415f0f6b43dd... 100% ▕█████████████████████▏   65 B                         
pulling 278996753456... 100% ▕█████████████████████▏  483 B                         
verifying sha256 digest 
writing manifest 
removing any unused layers 
success 
>>> /bye

刷新浏览器，选择模型

接下来你就可以尽情体验了