深入浅出谈数据中心光电共封装（CPO）器件的机遇与挑战

深入浅出谈数据中心光电共封装（CPO）器件的机遇与挑战

随着数据中心对高容量、高密度、高能效和高成本效益光链路的需求日益增长，传统的可插拔数据中心光模块面临着功耗、单位容量成本和带宽密度等方面的巨大挑战。为应对这些挑战，光电共封装（CPO）技术应运而生，通过将光学元件集成到更靠近主交换ASIC的位置，为数据中心光互连带来了新的解决方案。本文将深入探讨CPO器件的机遇与挑战，以及其对数据中心网络架构的潜在影响。

数据中心交换机ASIC的演变

商用芯片的兴起极大地改变了过去由专有硬件和软件主导的以太网交换机市场。如今，网络设备通常基于第三方芯片供应商设计和销售的ASIC。这使得生态系统更加开放，网络运营商有了更多的选择来定制自己的网络。

以太网交换机ASIC的发展轨迹令人瞩目，通过交替增加服务器通道数和每通道信号传输速率，其容量大约每两年翻一番（表 1，图 1）。最新一代交换机ASIC的容量为25.6 Tb/s，是通过使用256个以50 Gb/s速率运行、采用PAM4调制的服务器实现的。

展望未来，下一代交换机ASIC可能会采用56 GBd PAM4服务器，使总吞吐量达到51.2 Tb/s。不过，这些高速服务器的能效将非常重要，因为在51.2 Tb/s交换ASIC中，其功耗可能超过300 W。

表 1 交换机ASIC演进。

最右边两列为预测值。数据来源：Broadcom [1］

图 1 交换机ASIC演进。数据来源：Broadcom [1]

数据中心光学技术路线图

面板可插拔（FPP）光模块已成为数据中心光链路的主流部署模式。FPP模块具有多种优势，包括根据使用情况灵活匹配光接口，能够进行现场升级和维修，以及多源协议（MSA）的出现实现了互操作性和多供应商生态系统。

数据中心光学接口由IEEE 802.3以太网标准和各种MSA定义。对于400G以太网，主要PMD选项包括并行多模光纤（SR16、SR8）、带波分复用功能的双工单模光纤（FR8、LR8、ER8）和并行单模光纤（DR4）（表 2）。400GBASE-DR4和-FR4 PMD是数据中心内连接的重点。

除了光接口，数据中心光器件还需要电接口，这些接口通常基于光互联网论坛（OIF）定义的通用电气接口（CEI）。这些接口包括LR、MR、VSR、XSR和USR服务器，在覆盖范围、功率和灵活性之间进行权衡（表 3）。

表 2 400GBASE光端口类型。

(来源：IEEE 802.3： 来源：IEEE 802.3。标有星号的条目尚未最终确定（IEEE 802.3 cu、802.3 cm）。)

表 3 光互联网论坛[2]定义的OIF-CEI-112G链路类型。

其中，IL = 插入损耗，DAC = 直接连接铜缆，C2C = 跨背板的芯片到芯片，C2M = 芯片到模块，C2OE = 芯片到光引擎，D2D = 芯片到芯片

数据中心光互连面临的挑战

尽管FPP模块取得了成功，但正在出现的一些问题可能会限制其进一步扩展：

1. 800G以上的路线图：目前还没有支持800G以上容量的FPP外形。由于连接器密度的原因，将信道数增加到8个以上具有挑战性，而每通道超过200 Gb/s的更高信号传输速率也带来了巨大的信号完整性挑战。

2. 成本：光模块的单位容量成本一直在下降，但现在光学成本已经超过了交换机专用集成电路本身的成本，占满载交换机总成本的50%以上（图 2）。这是因为交换机专用集成电路更多地受益于摩尔定律，而光模块仍然是复杂的微型光学系统，封装成本很高。

3. 功耗：交换机ASIC和光模块之间的电气通道所消耗的功率越来越令人担忧，预计将超过交换机核心本身的功率（图 4）。将信令速率从50 Gb/s提高到100 Gb/s，将使这些电气通道的插入损耗增加大约一倍，从而加剧了功耗挑战。

4. 密度：交换机面板的带宽密度也正在成为限制因素。从12.8 Tb/s过渡到25.6 Tb/s，需要将机箱高度从1RU增加一倍到2RU，以容纳更多的可插拔模块（表 4）。超过51.2 Tb/s，面板可插拔模式可能无法提供足够的带宽密度。

图 2 2010年至2023年以太网交换机和光模块的成本趋势；2020年至2023年的数值为预测值。基于LightCounting[3]和Dell'Oro[4]报告中的数据。

表 4 面板带宽密度，假设每个RU有32个模块。最后两行需要新的FPP外形尺寸

将光器件移入内部：光电共封装（CPO）器件

为应对这些挑战，业界探索将光器件从面板移入交换机机箱并靠近主交换ASIC的概念，这种方法被称为光电共封装器件（CPO）。这可以看作是从目前的面板插接模式到板载光器件，再到完全集成的2.5D和3D CPO的演变（图 3）。

图 3 CPO路线图：光器件和交换机ASIC集成度不断提高。该图示侧重于光器件和ASIC之间的线性距离，但请注意，CPO解决方案的关键指标之一是交换机周边的带宽密度。

CPO的主要优势在于能够：

1. 大幅缩短交换机ASIC和光器件之间的电气通道，降低功耗。

2. 利用先进的封装和集成技术降低单位容量成本。

3. 消除面板安装式可插拔模块的限制，提高带宽密度。

然而，转向CPO还需要克服几个挑战：

1. 保持可插拔光器件的灵活性，包括使用不同光学PMD和支持铜DAC（Direct Attach Copper）实现短距离连接的能力。

2. 确保现场维修和升级的可及性。

3. 通过标准化或多源协议建立多供应商生态系统。

CPO要求和支持技术

与可插拔光器件相比，CPO解决方案必须在能效（目标：10-15 pJ/bit）和单位容量成本方面实现大幅（>50%）改进，才能获得广泛采用。这需要满足几个关键技术要求：

1. 光引擎集成：需要高度集成的光电芯片（PIC），具有高密度的光信道（例如每个引擎16-32个通道）和小尺寸（≤100 mm x 100 mm），以达到所需的带宽密度。

2. 电气接口：CPO引擎应利用XSR电气接口（10 dB插入损耗预算）来最大限度地降低功耗，同时仍然支持LR服务器，以保持与铜DAC和相干光学的兼容性。

3. 封装和热管理：需要采用先进的2.5D和3D封装技术，将PIC、驱动器/TIA IC和光学输入/输出集成在一个紧凑的空间内，同时对热环境进行管理。

4. 激光集成：为解决可靠性问题，最好采用外部、面板安装式激光源架构，尽管这会带来额外的光损耗、占地面积和成本。

5. 标准化：通过行业合作和MSA建立通用的外形尺寸、电气和光学接口以及管理协议，对于建立多供应商生态系统很重要。

光电芯片是实现这些CPO要求的关键因素。虽然存在各种集成平台，包括硅基光电子、磷化铟和氮化硅，但硅基光电子技术因其能够提供广泛的光电子功能、高集成度和批量生产的潜力而脱颖而出。

对网络架构的影响

向CPO过渡将对数据中心网络架构产生重大影响。由于CPO能够实现更高的端口密度和更低的功耗，为网络简化和整合提供了新的可能性。

CPO的一个潜在渐进式采用途径是，首先在spine-leaf结构中使用400GbE-DR4和-FR4 CPO引擎（图 4）。下一步，leaf交换机的上行链路可以迁移到CPO，可能会使用混合CPO和可插拔光器件的混合方法。最后，leaf交换机的下行链路也可以过渡到CPO，从而形成具有不同类型CPO引擎的交换机（例如，上行链路采用FR4引擎，下行链路采用DR4引擎）。

此外，TOR层也可能受到影响，因为CPO可以将许多小型TOR交换机合并为一个大型交换机。这可以大大减少网络中交换机盒的总数，简化管理并提高总体成本和能效。不过，TOR层可能仍需要一些可插拔端口，以支持用于服务器连接的铜缆DAC。

图 4 CPO的逐步采用与网络架构的演变相辅相成

除了“TOR-spine-leaf”架构外，CPO所支持的高级交换机ASIC的全部功能有可能使TOR层完全消失，从而实现更精简的“leaf-spine”网络拓扑结构，并提供光纤到服务器（FTTS）连接。这将需要具有成本效益的较短距离CPO链路，有可能基于多模光纤或经过距离优化的单模光纤PMD。

结论

面板可插拔式光模块为数据中心行业提供了良好的支持，但其路线图在功率、成本和密度方面已达到极限。共封装光学器件（CPO）是有前途的替代方案，通过将光学器件集成到更靠近主交换ASIC的位置来应对这些挑战。

虽然仍存在技术挑战，但整个行业摆脱根深蒂固的可插拔光器件模式的惯性则进一步阻碍了CPO的采用。与可插拔光学件相比，要证明潜在的总拥有成本（TCO）至少可节省50%，才能推动CPO的广泛采用。

CPO的关键推动因素包括先进的光电芯片，特别是硅基光电子技术，以及建立行业标准和多源协议的合作努力。随着CPO的普及，还将促进数据中心网络架构的简化和整合，并有可能导致采用光纤到服务器连接的更精简的“leaf-spine”拓扑结构。

向CPO的过渡代表着数据中心光学领域的重大转变，若成功应用将对未来数据中心基础设施的性能、成本和效率产生深远影响。

参考资料

[1] Verheyde, A.: Broadcom ships first 25.6Tbps switch on 7nm. Tom's Hardware (2019). https://www.tomshardware.com/uk/news/ broadcom‐ships‐first‐256tbps‐switch‐on‐7nm

[2] Optical Internetworking Forum: Common electrical I/O (CEI) 112G. OIF (2017). https://www.oiforum.com/technical‐work/hot‐topics/ common‐electrical‐interface‐cei‐112g‐2/

[3] LightCounting, Lightcounting ethernet optics report. (2020)

[4] Dell'oro datacenter ethernet switch report. Dell'Oro (2019)