AI大模型部署实战：硬件篇

AI大模型部署实战：硬件篇

引用

CSDN

1.

https://blog.csdn.net/John_Lenon/article/details/141174878

最近一直在研究如何部署属于自己的AI大模型，类似于钢铁侠中的机器人管家J.A.R.V.I.S。在部署过程中遇到了不少问题，因此决定写一篇总结，希望能为有类似需求的读者提供一些参考。

硬件要求

总体来说，大模型对硬件的要求还是相对较高的。以Llama3.1为例，它有三个尺寸：8B（中杯）、70B（大杯）和 405B（超大杯）。其硬件要求如下：

• RAM：Llama 3 8B至少需要16GB，Llama 3 70B至少需要64GB或更多。
• GPU：需要具有至少8GB VRAM的强大GPU，最好是支持CUDA的NVIDIA GPU。
• 磁盘空间：Llama 3 8B约为4GB，而Llama 3 70B超过20GB。

此外，还需要满足以下软件要求：

• Docker：ollama依赖Docker容器进行部署。
• CUDA：如果使用NVIDIA GPU，则必须安装并配置相应的CUDA版本。

对于一般的家用电脑来说，很难同时满足这些要求。因此，我选择了一台退役服务器来部署AI大模型。

服务器选型

选择退役服务器的最大优势就是性价比非常高，硬件成本相对较低。我选择的是DELL的PowerEdge R730XD，配置如下：

1. CPU：采用E5 26系列v3、v4 CPU，支持双路配置。如果不用顶级CPU，价格非常实惠。
2. 内存：支持DDR4 ECC内存，有24个内存插槽。在双处理器配置下，RDIMM内存最大容量为768GB，LRDIMM内存最大容量可达3,072GB。
3. 硬盘：前置3.5寸硬盘位12个，中置扩展位4个，后置2.5寸硬盘位2个，总计可扩展18个硬盘位。我只使用了一个3TB硬盘。
4. GPU扩展：R730XD服务器有三个PCI-E插槽。其中，Raiser2位置可以安装一张全高双槽GPU，Raiser3位置是单槽，Raiser1位置是X8，扩展能力有限。这一点需要注意，如果需要扩展更多GPU，建议选择R730。

使用心得

在使用过程中，我发现：

• 功耗：如果满载运行，功耗大约在250W-300W之间。如果不使用GPU，双CPU运行时功耗大约在160-200W之间。
• GPU扩展：我选择了一张24GB的GPU，对于单用户使用来说可能已经足够。但如果需要扩展更多GPU，就需要特别注意服务器的扩展能力了。

总结

如果不在意功耗，选择退役服务器部署AI大模型还是性价比非常高的。在选择服务器时，需要特别注意GPU的扩展能力。对于CPU、内存和硬盘等其他硬件，R730XD的配置已经相当充裕。