SMI：虚拟化环境下NVMe SSD性能优化

SMI：虚拟化环境下NVMe SSD性能优化

在虚拟化环境中，如何优化NVMe SSD的性能是一个重要的技术课题。本文将介绍Silicon Motion公司推出的PerformaShape技术，通过双状态漏桶算法，在多租户环境中实现性能优化。

8TB SRIOV SSD 性能测试

测试配置

• SSD硬件Silicon Motion 8TB PCIe Gen5企业级SSD，采用Micron B58R QLC NAND技术，接口为U.2
• SSD固件支持4个虚拟功能（VFs）的FIO SR-IOV固件
• 测试平台ASUS PRIME Z690-P主板（处理器为I5-12500，16GB内存）
• 测试程序FIO
• 测试工作负载支持4个虚拟功能（VFs）；使用PerformaShape技术来优化多用户场景下的服务质量（QoS）。

直通超分带宽实测（未优化）

表格显示 VF1/2 的系统带宽上限为6GB/s，VF3/4 为2GB/s，主机请求总带宽为16GB/s。
测试评估了SRIOV环境下，当主机请求总带宽（16GB/s）超出系统限制（13GB/s）时的性能表现。结果显示：

1. VF1和VF2受噪声影响，性能达到5.2GB/s但表现不稳定。
2. VF3和VF4性能限制在1.95GB/s，但噪声影响仍然存在。
3. 整体结果表明，资源分配过载会导致部分虚拟功能的性能下降和干扰，尤其是在高带宽请求情况下。

系统带宽上限
系统限制的13GB/s 带宽是怎么得出来的？
主要由SSD的PCIe链路硬件参数决定，PCIe通道数与版本：测试环境中使用的是PCIe Gen5接口。
PCIe的总带宽计算公式为： 带宽=每通道带宽×通道数

• PCIe Gen5 的每通道理论带宽是**~4GB/s**（单向，双向为 ~8GB/s）。
• 如果测试中使用的是x4通道（常见于U.2接口的SSD），总带宽为： 4GB/s×4=16GB/s
• 实际情况下，由于协议开销（例如NVMe协议、SR-IOV虚拟化开销等），可用带宽会降低，大约为13GB/s左右，这就是系统限制的主要来源。

多租户环境下服务质量（QoS）提升技术

• 为了在多租户环境中进一步增强SSD的QoS，可将QoS管理技术与FDP（Flexible Data Placement）结合部署。
• PerformaShape™是QoS管理的一个示例，基于“双状态漏桶（Dual State Leaky Bucket）”算法开发。
• 每个QoS集分配两个令牌桶（token bucket），当令牌可用时，控制I/O流量。

PerformaShape™的优势：

1. 平滑性能波动。
2. 隔离“噪声邻居”（即资源争用的其他用户）。
3. 充分利用SSD带宽。

关于PerformaShape™技术细节，曾在23年的FMS材料中整理过一份，详见

• SMI：多租户SSD的PerformaShape™算法

图表显示了 NVMe 的虚拟化功能架构，具体包括

1. 主机（Host）通过 PCIe 接口（PCIe IF）连接多个 NVMe 控制器（NVMe Controllers），每个控制器对应一个虚拟机或应用。
2. 性能优化引擎（Performance Shaping Engine）根据不同的层级进行性能优化，包括：

• 虚拟机级别的读取和写入性能优化（VM0, VM1, VM2 等）。
• 应用程序级别的性能优化（如 VM1 APP1_0）。
• 设备级别的读取/写入性能优化。

3. 每个性能优化步骤通过负载均衡模块（LB）和子性能优化模块（SPS）完成。

Note
PerformaShape™要基于ZNS+FDP在Host侧IO路径改造，需要定制 操作系统+文件系统，工作量也不小。

PerformaShape™ 优化后测试

关注 SPS 这一列，该项是基于双桶算法，针对干扰项（VF2/4）优化后的带宽QoS。
PerformaShaping™ 技术在 SRIOV（单根 I/O 虚拟化）环境中提供了以下优势

1. 精确性能映射支持高达 13GB/s 的读取性能请求。
2. 性能隔离与保障确保每个虚拟功能（VF）或命名空间（NS）能够达到预期性能。
3. 消除性能干扰有效解决“噪声邻居”问题，使系统带宽利用率更稳定。

从测试数据看，该技术优化了主机侧性能并提高了存储系统的可预测性，特别适用于共享环境中的 NVMe 存储。

底部图示
左侧显示没有使用 PerformaShape™ 技术的测试结果，右侧显示使用该技术的结果。

• 未使用时带宽波动明显，受到“噪声邻居”影响。
• 使用后带宽曲线稳定，性能得到显著优化。

从测试数据看，该技术优化了主机侧性能并提高了存储系统的可预测性，特别适用于共享环境中的 NVMe 存储。