手把手教你配置本地开源大模型

手把手教你配置本地开源大模型

引用

CSDN

1.

https://m.blog.csdn.net/qq_21324621/article/details/144022965

随着人工智能技术的快速发展，大模型在各个领域的应用日益广泛。本文将详细介绍如何在Linux系统上部署一套开源大模型及知识库，包括环境准备、安装Langchain-chatchat、部署Xinference以及配置Langchain-chatchat等步骤。

一、环境准备

1.1 准备Linux系统

1.2 安装Anaconda

Anaconda是一个开源的，专注于数据分析的Python发行版本，包含了conda、Python等190多个科学包及其依赖项。Anaconda可以便捷获取包且对包进行管理。

1.2.1 下载Anaconda安装包

wget https://repo.anaconda.com/archive/Anaconda3-2023.07-Linux-x86_64.sh

1.2.2 安装Anaconda

bash Anaconda3-2023.07-Linux-x86_64.sh

安装过程中会出现许可协议提示，按 Enter 键查看协议内容，按 Q 键退出查看，然后输入 yes 同意协议。安装路径建议使用默认路径（按 Enter 键确认）。

1.2.3 配置环境变量

使用 vim 指令，手动编辑 .bashrc 文件，在文件末尾添加以下内容：

export PATH="$HOME/anaconda3/bin:$PATH"

保存文件后，输入

source ~/.bashrc

1.2.4 验证安装成功

conda --version

1.3 使用Anaconda创建大模型环境

conda create -n chat python=3.10

1.4 进入环境

conda activate chat

二、安装Langchain-chatchat

2.1 创建文件夹并进入

mkdir Langchain-Chatchat
cd /data/llm/Langchain-Chatchat

2.2 下载Langchain-chatchat

git clone https://github.com/chatchat-space/Langchain-Chatchat.git

2.3 安装Langchain-chatchat依赖

2.3.1 安装 Poetry

pip install Poetry

2.3.2 使poetry使用virtualenv python environment

poetry config virtualenvs.prefer-active-python true

2.3.3 查看刚刚poetry设置的信息，输入下面命令打印“true”就说明设置成功：

poetry config virtualenvs.prefer-active-python

2.3.4 进入主项目目录，并安装 Langchain-Chatchat 依赖

cd Langchain-Chatchat/libs/chatchat-server/
poetry install --with lint,test -E xinference

三、部署并使用Xinference

Xorbits Inference（Xinference）是一个性能强大且功能全面的分布式推理框架。可用于各种模型的推理。

3.1 创建文件夹并进入

mkdir xinference
cd /data/llm/xinference

3.2 使用conda命令创建新环境

conda create -nxinference python=3.10

3.3 部署Xinference

pip install "xinference[all]"
xinference-local --host 0.0.0.0 --port 9997

3.4 查看日志并进入Xinference前端网站

3.5 进入http://127.0.0.1:9997/

下载想要使用的llm模型和Embedding模型

输入必须配置，并下载模型。
进入运行的模型中可试用此模型。

四、配置Langchain-chatchat并使用自己创建的模型

4.1 查看docs文件夹下文件了解项目信息

4.2 执行以下命令初始化项目配置文件和数据目录：

cd libs/chatchat-server
python chatchat/cli.py init

4.3 修改model_settings.yaml文件

将此处改为想要使用的大模型名称

4.4 启动Langchain-chatchat

python chatchat/cli.py start -a

4.5 查看日志

4.6 进入http://0.0.0.0:8522/访问大模型

到此，本地大模型及知识库部署完毕。