AI时代下大数据的演进趋势
AI时代下大数据的演进趋势
存储设备要点概览
在过去两年中，AI训练场景受到了业界的极大关注。但是，随着这股热度的降低，人们开始重新审视AI的整个数据生产流程。特别是数据处理平台，作为AI训练的数据源，其处理效率和准确性对于后续操作至关重要。因此，长期建设和维护大数据平台应当得到更多的关注。
在AI/ML（机器学习）开发生命周期中，输入数据的准确性对模型性能有重大影响。同时，大规模数据集的存储位置和读写特性也是需要考虑的关键因素。随着对非结构化数据分类和检索需求的增长，对象存储在数据加工平台建设中的作用将变得更加重要。
存储设备（如SSD和HDD）在AI工作负载的数据处理、训练和推理阶段起着至关重要的作用。数据通过数据湖和数据仓库进行管理，并在推理阶段进行语义检索和增强生成操作。高速存储接口（如PCI Express 6.0）和高容量存储设备（SSD）用于支持AI的高效数据传输与处理。
数据处理环节
数据湖到数据仓库的演化路径中，底层的存储设备主要是大容量的SSDs（固态硬盘）和HDDs（机械硬盘）。对数据处理环境业务特征的总结包括：
- 主导AI/ML开发生命周期
- 输入数据的准确性对模型性能有重大影响
- 大规模数据集存储位置
- 数据湖（非结构化数据）
- 数据库、CSV、Parquet、JSON（结构化数据）
- 读写特性
- 高频读取，写入负载较重
随着非结构化数据分类、检索的需求不断增强，对象存储将在数据加工的平台建设中，发挥更积极的作用。
训练场景特征和存储行为
AI模型训练过程中，快速数据检索和定期检查点是关键，旨在减少GPU空闲时间和提升可观察性。训练过程中的混合读写与突发写入对存储设备的性能提出了高要求，特别是需要高带宽和低延迟的SSD和PCI Express 6.0接口。训练场景可能还是以并行文件系统为主，更关注高并发的随机读写能力。
推理/RAG
RAG（检索增强生成）通过外部数据检索增强LLM的推理能力，特别适用于Chatbot查询和语义搜索任务。由于任务是I/O密集型，需要高性能存储（如SSD）和高速数据接口（PCI Express 6.0）来支持数据的快速读取与处理。大容量向量存储是实现大规模RAG任务的核心需求之一。
George 在 DaaS 节目里对RAG在企业数据系统的集成形态，曾有过精妙的评论，企业数据智能的落地，可能得非常依靠外部向量数据库，这个场景是SSD来做，还是基于CXL-DRAM来实现，可能仍需时间来检验。
AI 基础设施的演化方向
AI基础设施从紧耦合发展到分离存储，最终实现全面分离，以支持超大规模生产。高性能SSD和网络优化是AI基础设施演进过程中关键的存储与性能支持。AI/ML开发阶段的不同需求会直接影响存储和网络的设计与部署。
AI数据生命周期对SSD主控的挑战
闪存控制器设计需满足AI/ML工作负载，提供高速数据传输与低延迟响应。系统基础架构与NAND特性分布式优化设计，进一步提升了系统的容量、性能与可靠性。控制器的关键特性包括：协议支持、PCIe通道管理、计算卸载与硬件加速等，支撑AI/ML应用的高性能需求。
更先进的SSDs （Marvell）
PCIe从3.0到6.0代际，数据传输速度、NAND性能和SSD容量显著提升。PCIe 6.0提供28 GBps的传输速度、4800 MT/s的NAND性能和256TB的SSD容量，满足AI工作负载对性能、容量和可靠性的严苛要求。LDPC纠错技术不断升级（从LDPC到LDPC+++），进一步提升数据传输的可靠性。
随着场景对性能和容量的双重要求，基于PCIe接口的NVMe-SSDs，在数据中心的广泛应用，将是不争的事实。