AI大模型部署实战：硬件篇
AI大模型部署实战：硬件篇
最近，一位AI爱好者分享了自己部署AI大模型（以Llama3.1为例）过程中遇到的硬件相关问题和经验。文章详细描述了大模型对硬件的具体要求，并分享了作者选择DELL PowerEdge R730XD服务器作为部署平台的决策过程和具体配置。
总体来说，大模型对于硬件的要求还是相对较高的。比如Llama3.1有三个尺寸：8B（中杯）、70B（大杯）和 405B（超大杯）。
Llama3.1公开硬件要求如下：
硬件要求
- RAM：Llama 3 8B至少16GB，Llama 3 70B至少64GB或更多。
- GPU：具有至少8GB VRAM的强大GPU，最好是支持CUDA的NVIDIA GPU。
- 磁盘空间：Llama 3 8B约为4GB，而Llama 3 70B超过20GB。
软件要求
- Docker：ollama依靠Docker容器进行部署。
- CUDA：如果使用NVIDIA GPU，则必须安装并配置相应的CUDA版本
很明显，一般的家用电脑，即使达到部分要求，也很难均衡和稳定地实现相关功能。所以作者从一开始就决定弄台退役服务器来搞这个。
选择退役服务器的最大优势就是性价比超级高，硬件成本相对无限低。
比如作者选择的就是DELL的PowerEdge R730XD（劝大家不要盲从，这里也有一个小坑，后面会讲）。
配制上面简直是桶装面加香肠，压力完全不大：
1、CPU用E5 26系列v3、v4CPU，可以双路（如果不用顶级CPU，基本是白菜价）；
2、内存DDR4 ECC内存（服务器内存，便宜）， 24个内存插槽，RDIMM 内存在双处理器配置下，容量最高为768 GB 的 RDIMM， LRDIMM内存在双处理器配置下，容量最高为 3,072 GB。
3、硬盘配制也是相当给力，12（前置3.5寸硬盘位）+4（中置扩展位）+2（后置2.5寸硬盘位）共计可以最多18个硬盘位可扩展（作者只用了一个，3T硬盘）。
4、GPU位。R730XD服务器有三个PCIE提升卡（RAIS卡）位置。但只能在Raiser2的位置可以装一张全高双槽GPU，Raiser3位置是一个单槽位置，Raiser1位置是X8，不够正常扩展。这点上面R730的设置优势就比较大了。（这也是作者所谓的坑的一点，如果对于GPU要求更多的同学，这里可以选择R730，而不是R730XD）
所以，关于硬件方面的总结：
如果不在意耗电的情况下（个人跑满的话，功率大概在250W-300W之间。不使用GPU，双U跑的话功率大概在160-200W之间），选取退役服务器还是性价比非常高的。其他方面比如CPU，内存，硬盘位置方面，个人觉得应该不存在太大的限制空间，但GPU的可扩展要尤其注意。
比如作者选择了一张24G的GPU，可能一张就可以用了。但如果一张GPU算力不够，或者使用人数够多，需要再扩展GPU的时候，那GPU的扩展空间就需要再斟酌一下了。