开源 GPU 集群管理器 GPUStack 轻松拉起deepseek各版本模型

开源 GPU 集群管理器 GPUStack 轻松拉起deepseek各版本模型

引用

CSDN

1.

https://blog.csdn.net/m0_61069946/article/details/145468772

GPUStack 是一个用于运行 AI 模型的开源 GPU 集群管理器。它支持多种硬件平台和 AI 模型，具有广泛的兼容性和扩展性。以下是 GPUStack 的核心特性和使用方法。

核心特性

• 广泛的硬件兼容性：支持管理 Apple Mac、Windows PC 和 Linux 服务器上不同品牌的 GPU。
• 广泛的模型支持：从大语言模型 LLM、多模态模型 VLM 到 Diffusion 扩散模型、STT 与 TTS 语音模型、文本嵌入和重排序模型的广泛支持。
• 异构 GPU 支持与扩展：轻松添加异构 GPU 资源，按需扩展算力规模。
• 分布式推理：支持单机多卡并行和多机多卡并行推理。
• 多推理后端支持：支持 llama-box（基于 llama.cpp 和 stable-diffusion.cpp）、vox-box 和 vLLM 作为推理后端。
• 轻量级 Python 包：最小的依赖和操作开销。
• OpenAI 兼容 API：提供兼容 OpenAI 标准的 API 服务。
• 用户和 API 密钥管理：简化用户和 API 密钥的管理流程。
• GPU 指标监控：实时监控 GPU 性能和利用率。
• Token 使用和速率统计：有效跟踪 token 使用情况，并管理速率限制。

安装

Linux 或 macOS

GPUStack 提供了安装脚本，可以将其安装为 Linux 的 systemd 服务或 macOS 的 launchd 服务，默认端口为 80。要使用此方法安装 GPUStack，执行以下命令：

curl -sfL https://get.gpustack.ai | INSTALL_INDEX_URL=https://pypi.tuna.tsinghua.edu.cn/simple sh -s -

Windows

以管理员身份运行 PowerShell（避免使用 PowerShell ISE），然后执行以下命令安装 GPUStack：

$env:INSTALL_INDEX_URL = "https://pypi.tuna.tsinghua.edu.cn/simple"
Invoke-Expression (Invoke-WebRequest -Uri "https://get.gpustack.ai" -UseBasicParsing).Content

其他安装方式

有关手动安装、Docker 安装或详细配置选项，请参考 安装文档。

访问 GPUStack

在浏览器中打开 http://localhost:9090，使用“admin”用户名和默认密码登录 GPUStack。

获取默认密码

Linux or macOS

cat /var/lib/gpustack/initial_admin_password

Windows

Get-Content -Path "$env:APPDATA\gpustack\initial_admin_password" -Raw

部署模型

模型分类 根据自己想要的模型进行部署

选择好模型点保存

之后模型就会开始下载 （running既是代表可用）
模型资源占用情况

测试并发 可以四个问题同时回答

纳管多个 GPU 工作节点

主节点获取 token

cat /var/lib/gpustack/token

注册 Worker (注意：mytoken 为第一步获取到的 Token)

Linux 或 MacOS

curl -sfL https://get.gpustack.ai | sh -s - --server-url http://localhost:9090 --token ${mytoken}

Windows

Invoke-Expression "& { $((Invoke-WebRequest -Uri "https://get.gpustack.ai" -UseBasicParsing).Content) } --server-url http://localhost:9090 --token ${mytoken}"

加入一台同事的 M2 Pro 芯片 mac 电脑测试

work 节点运行

pip3 config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
curl -sfL https://get.gpustack.ai | sh -s - --server-url http://10.176.20.121:9090 --token 8f297e35a55fa652837188acedfd8323

可以看到新增 work
新增 GPU

手动调度 GPU 运行模型

之后重新部署后生效

dify 添加 GPUStack API