智谱CogVLM & CogAgent 本地部署教程
智谱CogVLM & CogAgent 本地部署教程
本文将详细介绍如何在本地部署智谱CogVLM & CogAgent模型。文章将从环境配置、模型下载到最终的项目运行，提供详细的步骤和代码示例。
一.项目介绍
请多结合官方文档阅读本文，如有问题可以在评论区@我
项目地址GitHub - THUDM/CogVLM: a state-of-the-art-level open visual language model | 多模态预训练模型
中文readme：https://github.com/THUDM/CogVLM/blob/main/README_zh.md
智谱·AI 开源模型列表（使用手册补充）：Docs
硬件要求：
我的设备是ubuntu22.04
cuda12.1
显卡4090
二.项目部署
2.1 环境配置
创建并激活环境
conda create -n cogvlm python=3.11 -y
conda activate cogvlm
安装依赖项
pip install -r requirements.txt
python -m spacy download en_core_web_sm
2.2 手动下载模型
官方提供的下载代码很容易中断，需要自己手动下载模型/库
手动下载地址： https://huggingface.co/THUDM
手动拉到最底部能看到下载链接
自选对应模型：
下载tokenizer ：https://huggingface.co/lmsys/vicuna-7b-v1.5vicuna-7b-v1.
2.3 懒人版下载模型（可跳过2.2，直接选这个）
注意：如果觉得官方提供的下载链接速度较慢，这里提供b站up主十字鱼的网盘下载链接，可以直接在此下载上述模型文件和代码：https://www.123pan.com/s/Pf5Yjv-YiAW3.html 提取码:glut
需下载2类文件：
1.tokenizer文件(必选)：
2.model文件(二选一即可):
2.4 配置client.py路径
上述两个文件下载好后，放到根目录，然后修改配置路径：
cd到composite_demo 文件夹
修改composite_demo/client.py 中tokenizer和model的默认路径
指定到自己下载的tokenizer/model的路径
到此已全部配置完成，接下来请使用代码运行项目
conda activate cogvlm
cd composite_demo
streamlit run main.py
2.5 中文对话功能(可选)
官方默认的是英文对话，如果需要进行中文对话，请遵循以下教程修改
若要中文对话功能，需要去conversation.py 中的translate_baidu修改url 后面加上自己的token
注意:该url使用的是百度智能云 文本翻译功能api 并非百度翻译的api!!
百度智能云地址：文本翻译_机器翻译-百度AI开放平台
注册账号 选择"机器翻译功能" 免费领取文本翻译功能 查看文档可获取api