CXL分离式内存系统方案实践

创作时间:

作者:

@小白创作中心

CXL分离式内存系统方案实践

引用

CSDN

https://blog.csdn.net/zhuzongpeng/article/details/145508792

随着计算核心数量的增长，对内存带宽和容量的要求也在不断增加。然而，现有平台的供应能力与这些需求之间存在差距。SK Hynix在其研究中提出了一种基于Compute Express Link (CXL) 的分离式内存系统解决方案，旨在通过有效的内存池化和共享来解决数据中心面临的主要挑战。

一、内存带宽与容量的需求挑战

在高性能计算（HPC）和人工智能（AI）领域，核心数量的持续增加对内存带宽和容量提出了更高要求。从数据来看，不同类型工作负载下，如内存密集型、通用型和计算密集型工作负载，对内存容量的需求随时间显著增长。在内存带宽方面，需求同样不断攀升，然而平台的供应能力却难以跟上步伐，两者之间的差距日益扩大。这种差距限制了系统性能的提升，成为阻碍HPC和AI发展的关键因素。传统的内存架构在面对这些不断增长的需求时，逐渐显露出局限性，迫切需要新的技术突破来解决内存带宽和容量的瓶颈问题。

二、数据中心面临的困境

（1）内存闲置与数据溢出

在当前的数据中心中，计算集群内各节点的内存利用率随时间波动。由于节点间内存无法共享，未被使用的内存处于闲置状态，造成内存资源浪费，即内存闲置。同时，当某个节点内存不足时，数据会溢出到存储设备进行交换，这不仅导致存储资源的频繁使用，还会引发性能下降，增加内存成本的同时降低了系统整体效率。

（2）数据传输开销与数据重复

分布式计算系统中，远程节点之间基于网络的数据传输会产生额外开销。数据在传输前需要进行序列化，接收后又要进行反序列化，这一过程消耗了大量时间和资源。此外，节点间共享数据的重复存储增加了本地内存压力，进一步加剧了内存资源的紧张局面，影响了系统的运行效率和性能表现。

三、CXL分离式内存系统的解决方案

（1）内存池化与共享优势

CXL分离式内存系统通过支持内存池化和共享，为上述问题提供了有效解决方案。

在内存池化方面，系统能够在节点间共享内存资源，根据各节点的实际内存使用情况动态分配和分离式内存资源，从而减少内存闲置和数据溢出的发生，提高内存利用率。
在内存共享方面，节点间可以基于零拷贝技术共享数据对象，避免了数据传输开销和数据重复，显著提升了系统性能。

（2）研究平台搭建与特性

SK hynix构建了基于FPGA的Niagara硬件/软件研究平台，这是一款MH - SLD类型的CXL分离式内存原型。该平台为2U内存设备，无需CXL交换机即可连接多达8台CXL主机服务器，支持4通道DDR4 - DIMM（最大1TB），并具备CXL规范3.1中定义的动态容量设备（DCD）功能。通过这一平台，研究人员可以深入探索内存池化和共享的应用场景，为CXL分离式内存技术的实际应用提供了有力的实践基础。

（3）DCD支持的基础设施

在支持DCD的基础设施中，Niagara研究平台通过以太网（RestAPI）与编排器相连，实现对内存资源的统一管理和调度。池化内存管理器（PMM）和池化内存控制器（PMC）协同工作，负责内存的分配和控制。CXL端点（CXL EP）与主机服务器进行通信，通过邮箱机制传递信息，整个系统能够高效地支持DCD功能，确保内存资源的灵活调配和高效利用。

四、CXL分离式内存的应用案例

（1）内存池化的性能提升

与MemVerge合作的内存池化案例中，Niagara能够在不重启的情况下为每个节点动态分配和释放分离式内存资源。以CloudSuite内存分析基准测试为例，将数据溢出到Niagara平台的性能相比NVMe提升了2.5倍。这一结果表明，CXL分离式内存系统在改善内存利用率和提升系统性能方面具有显著优势，即使Niagara只是基于FPGA的原型系统，也展现出了强大的潜力。

（2）内存共享的效率飞跃

在与MemVerge合作的内存共享案例中，基于CXL共享内存的Ray分布式计算框架在AI/ML系统中表现卓越。与原生Ray相比，使用CXL共享内存的Ray在性能上提升了5.9倍。通过消除远程对象访问时的对象序列化、网络传输以及节点间的重复对象拷贝，实现了零拷贝，大大降低了系统延迟，提高了端到端的执行效率，为AI/ML应用提供了更高效的内存共享解决方案。