从CXL路标，看数据中心再解耦

从CXL路标，看数据中心再解耦

CXL 3.0版本相比前两个版本的新增功能和改进。

• 最大链路速率提升到64GT/s（支持PCIe Gen6）
• 引入多级交换支持
• 支持每个根端口多个Type 1和Type 2设备
• 新增点对点直接内存访问
• 256字节Flit的多项增强，包括更高速率、增强一致性、内存共享和Fabric功能

Flit是"Flow Control Unit"的缩写，在CXL等高速互连协议中，它是数据传输的基本单位。

这一变化揭示了以下几个关键需求和技术趋势：

1. 带宽需求增加：

• 256字节Flit能够在每个传输周期内传送更多数据，直接提升了有效带宽。
• 这种升级适应了现代数据中心和高性能计算环境对更高带宽的迫切需求。

2. 传输效率提升：

• 更大的Flit大小减少了每单位数据传输所需的协议开销。
• 这提高了链路利用率，使得在相同时间内可以传输更多的有效负载。

3. 延迟优化：

• 虽然单个Flit变大，但更高的传输效率可以减少整体数据传输所需的时间，从而降低端到端延迟。
• 这对于需要快速响应的应用（如AI训练和推理）至关重要。

特性-1 接口互联

CXL通过三者多路复用协议，打通主机处理器与加速卡之间的通信，主要通过CXL.io协议来实现互联，目前这块的编码工作，NVMe/SNIA等行业协会已完成。

特性-2 低延迟

基于CXL.Cache和CXL.Memory 目标实现接近CPU缓存的延迟水平（200ns以内）。

在FMW-2024上听英韧科技的技术人员分享，目前低延迟这块仍然有不少待攻克。

基于type-3原型实现的内存扩展器，延迟在微秒级别（见下图红底字段）。

特性-3 非对称复杂性

这个问题比较好理解，基于CXL实现了外部内存扩展后，如何保证主机近端内存数据与扩展卡中数据的一致性是必须要解决的，否则内存扩展就失去意义。因此要解决两块内存池的数据非对称问题，即融合内存。

一个融合的内存环境在软件编程和数据移动中是非常重要的。

CXL1.0/1.1 的代表性用例

基于.io/.cache/.memory 三种协议和场景需求，提出Type 1/2/3 不同原型设备。

留意下不同设备的底层组成单元，实际厂商可能并不是按原型来设计的。

其中Type-3 设备作为内存扩展卡，在当前内存密集型应用场景中有巨大需求。