芯片级到数据中心的互联技术

芯片级到数据中心的互联技术

现代计算体系架构中，从芯片到处理器到数据中心，每一层级均涉及到不同的互联互通技术，这些技术不仅保证了数据快速安全传输，也为新兴的计算需求提供了强大的支持。本文主要介绍不同层级网络互联技术，揭示其如何在当前计算体系架构中进行工作。整体可以分为三个部分：片上系统级芯片（SoC）互联、处理器互联和数据中心互联。

图片来源：Intel

SoC互联

互连领域的革新始于最基础的层面：片上系统。无论位于芯片中、还是封装上，高级互连都意味着数据移动速度更快，性能更易于扩展。

PIPE（Peripheral Component Interconnect Express Physical Layer Protocol）

PIPE是PCIe（Peripheral Component Interconnect Express）的物理层协议。PCIe是一种通用的计算机总线标准，用于计算机内部硬件设备的连接，如显卡、固态硬盘等。物理层协议定义了电气特性和信号传输方式，确保数据可以在硬件设备之间正确地传输。PCIe通过提供不同的数据传输速率和接口，支持各种性能需求的设备连接。

LPIF（Logical PHY Interface）

LPIF是一种接口标准，用于实现处理器之间、处理器与加速器之间以及芯片到芯片（die-to-die）的高速互联。LPIF旨在提供一种灵活、可扩展的方式来支持不同的数据传输需求，并允许不同频率的设备之间进行通信。支持PCIe 6.0、CXL 3.0和UPI 3.0等多种协议。

CPI（CXL Cache-Mem Protocol Interface）

CPI是Compute Express Link（CXL）的一个组成部分，专门用于处理高速缓存和内存的通信协议。CXL是一种开放的、高速的互连技术，旨在连接CPU、GPU和其他加速器，实现它们之间的高速数据传输和资源共享。CPI作为CXL的一部分，定义了缓存和内存之间的接口标准，以支持高效的数据交换和一致性协议。

UFI（Universal Flash Storage Interface）

UFI是一种通用的闪存存储接口标准，它允许不同的存储设备以统一的方式进行通信和数据传输。UFI标准旨在提高存储设备的兼容性和性能，使得设备能够快速、高效地工作。

UCIe（Universal Chiplet Interconnect Express）

UCIe是一种新兴的开放行业标准互连技术，专门设计用于Chiplet之间的连接。UCIe支持多种协议，包括标准的PCIe和CXL，以及通用的Streaming协议或自定义协议。它的目标是采用标准的物理层和链路层，实现die间通信协议的标准化，但保持上层协议的灵活性。UCIe技术的出现是为了应对摩尔定律放缓带来的挑战，通过封装集成多个Chiplet来构建大型系统，以降低成本并提高效率。

处理器互联

在不同的计算引擎、内存和 I/O 及其他外设之间移动数据需要具备一组专门的高带宽和低延迟互连技术。处理器互连技术如NVlink、PCIe、CXL和UPI等，可以使所有这些元素能够结合为一个整体来运行，支持了设备间的快速数据传输。

NVLink

是一种专门设计用于连接 NVIDIA GPU 的高速互联技术。它允许 GPU 之间以点对点方式进行通信，绕过传统的PCIe总线，实现了更高的带宽和更低的延迟。NVLINK 可用于连接两个或多个 GPU，以实现高速的数据传输和共享，为多 GPU 系统提供更高的性能和效率。

PCIe（Peripheral Component Interconnect Express）

是一种通用的计算机总线标准，用于连接计算机内部的硬件设备，如显卡、固态硬盘等。PCIe技术以其高速串行数据传输能力而广泛使用，支持多种设备和广泛的应用场景，包括数据中心、人工智能和处理器互联等。PCIe接口允许设备发起DMA操作来访问内存，只需知道目标物理地址即可。目前提供至6.0版本，7.0版本计划25年推出。

CXL（Compute Express Link）

是一种新型的高速互联技术，由英特尔、AMD等公司联合推出，旨在提供更高的数据吞吐量和更低的延迟，以满足现代计算和存储系统的需求。CXL技术允许CPU和设备、设备和设备之间共享内存，实现更快、更灵活的数据交换和处理方式。CXL包含三个子协议：CXL.io、CXL.cache和CXL.memory，分别用于不同的数据传输和内存共享任务。目前提供至3.1版本。CXL1.x->2.0->3.0->3.1发展演进

CXL的一个显著特点是支持内存一致性，这意味着不同设备之间可以共享数据而无需进行复杂的数据复制。这种一致性对于多处理器系统和大规模计算任务尤为重要，因为它能够提高数据访问效率，减少延迟，从而加速计算速度。此外，CXL还具有灵活性，可用于各种设备和应用，使其成为通用的互联解决方案。

UPI（Ultra Path Interconnect）

是Intel开发的一种点对点连接协议，用于在多核处理器和/或多个处理器之间实现高速通信。它被设计为替代之前的QPI（QuickPath Interconnect）技术，并提供了更高的带宽、更低的延迟和更优的能效比。

Infinity Fabric

是AMD 开发的高速互联技术，被用于连接AMD处理器内部的各个核心、缓存和其他组件，以实现高效的数据传输和通信。Infinity Fabric采用了一种分布式架构，其中包含多个独立的通道，每个通道都可以进行双向数据传输。这种设计使得不同核心之间可以直接进行快速而低延迟的通信，从而提高了整体性能。此外，Infinity Fabric还具备可扩展性和灵活性。它允许在不同芯片之间建立连接，并支持将多颗处理器组合成更强大的系统。

数据中心互联

超大规模数据中心的占地面积可能相当于几个足球场，这对架构速度和智能处理能力产生了前所未有的要求。高速、远程互连技术能够大幅提高性能，同时以低延迟进行计算。数据中心级互联技术是支持现代互联网服务和云计算的基础，从Rack层的高速数据传输到数据中心网络连接，这些技术共同确保了数据中心的高效、稳定和可扩展性。

软件定义网络（SDN）

软件定义网络（SDN, Software-Defined Networking）是一种网络架构理念，它将网络的控制平面与数据平面分离，允许网络管理员通过软件程序来集中管理和配置网络行为。SDN的核心思想是将网络的智能控制功能从网络设备中抽象出来，实现网络流量的动态管理和优化。

以太网和RoCE

以太网是应用最广泛最成熟的网络技术，起源于Xerox PARC公司，可在数据中心的服务器之间传输大量数据，这对于许多加速计算任务至关重要。RoCE协议下，以太网融合RDMA功能，在高性能计算场景下的通信性能大幅提升。为应对AI 和HPC工作负载提出的新挑战，网络巨头联合成立了超以太网联盟（UEC），超以太网解决方案堆栈将利用以太网的普遍性和灵活性处理各种工作负载，同时具有可扩展性和成本效益，为以太网注入了新的活力。

RoCE (RDMA over Converged Ethernet)：RoCE技术允许在标准的以太网网络上实现远程直接内存访问，它通过优化以太网交换机来支持RDMA，提供高性能的网络连接，同时保持与传统以太网的兼容性 。

Infiniband

InfiniBand：一种专为高性能计算（HPC）设计的网络技术，提供高带宽、低延迟的网络连接，支持点对点连接和远程直接内存访问（RDMA），适用于大规模计算和数据中心环境。

网络拓扑结构

常见的有星形网络拓扑、Fat-tree拓扑、Leaf-Spine拓扑、层次化拓扑等，这里主要介绍Fat-tree和leaf-spine两种，两者均基于CLOS网络模型的数据中心网络架构。

Leaf-Spine拓扑

是一种扁平化的网络设计，由Spine层（骨干层）和Leaf层（接入层）组成。每个Leaf交换机都连接到所有Spine交换机，形成一个全网格拓扑。这种设计提供了高带宽、低延迟和非阻塞的服务器到服务器连接，易于水平扩展，并且具有高可靠性和管理简便性。Leaf-Spine架构的优势包括扁平化设计降低延迟、易于扩展、低收敛比、简化管理和多云管理等。

Fat-Tree拓扑

是一种树形结构的网络设计，通常由核心层、汇聚层和接入层三层组成。Fat-Tree拓扑的主要特点是无带宽收敛，即从叶子到树根，网络带宽不收敛，这为构建大规模无阻塞网络提供了基础。它的每个节点（除根节点外）都需要保证上行和下行带宽相等，且所有交换机可以相同，从而降低成本。然而，Fat-Tree拓扑也有其局限性，如扩展性受限、容错性能差、不利于某些高性能分布式应用的部署以及成本依然较高等。

Core/Edge网络

核心网络是高速、高可靠性的网络主干，负责在网络的主要节点之间传输大量数据并提供路由服务。边缘网络是网络的接入层，直接连接终端用户和设备，提供多样化的服务并优化用户体验。