大模型时代对PCIe技术进步的需求

PCIe总线协议（Peripheral Component Interconnect Express）作为计算机和服务器中使用最广泛的高速数据传输技术，其传输性能的提升对于满足这些需求至关重要。传统连接方案主要依赖于铜缆进行电信号传输，用于单机内部计算芯片和设备之间互连。众所周知，铜缆在信号完整性、延迟、传输距离和功耗等方面存在日益突出的局限，无法满足PCIe高性能互连系统的需求。

同时，随着AIGC的发展，千亿参数成为大模型智能涌现的临界点，参数规模越大，意味着计算复杂度越高，因此所需要的算力规模也变得越来越大，万卡成为算力系统设计的起点，单机内部的PCIe连接已经不能满足需求，机柜内互连和跨机柜的互连成为新的发展方向，以实现更高效的数据交换和资源共享。光互连技术在这里开始发挥作用，利用光纤来替代铜缆，进一步提升带宽和传输距离。为解决这些问题，包括PCI-SIG（PCI Special Interest Group）和浪潮信息等在内的众多组织或公司，正在积极研究和推进PCIe光互连技术，该技术将颠覆数据中心的互连方式，为Data Center as a Computer的实现奠定基础。

PCIe技术演进中的光互连挑战

经过20多年的发展，PCIe技术已经成为计算系统中数据通信的核心技术，自诞生以来，PCIe协议经历了从1.0到6.0版本的迭代，PCIe数据传输速率也从1.0的2.5GT/s，提升为6.0的64GT/s。这一进步的同时也带来了新的挑战。

PCIe技术快速发展与电互连局限的矛盾日益突出。传统的PCIe电互连传输方式虽然成熟，但在面对日益增长的数据传输需求时，其传输带宽和传输距离方面的限制逐渐凸显，已无法满足高性能PCIe互连对应的业务场景。浪潮信息开始探索使用光互连技术替代传统的电互连方案，光互连技术可以实现更远的距离、更高的带宽和更低的延迟，这为PCIe架构带来了突破的可能，有望成为服务器系统未来高速数据传输的重要发展方向。

在研究过程中，浪潮信息的工程师们发现尽管光互连技术有明显的优势，但PCIe协议与光传输技术之间的兼容性问题却成为了新的挑战。PCIe协议制定之初并未考虑采用光互连来传输，导致现有光传输技术与PCIe协议之间存在许多不兼容的地方，如图1。

图1

首先，PCIe链路的建立包括接收端检测、电气空闲状态和协商链路速率等过程，常规的光模块设计通常针对的是简单的光信号传输，不具备处理这些复杂的协议过程的能力。

其次，PCIe链路的稳定建立需要辅助信号的支持，如PERST#、PRSNT# 等，而光模块内部通常没有预留传输辅助信号的通道。这些不兼容的地方阻碍了PCIe协议与光传输的结合。

众所周知，随着PCIe速率的增加，传统铜缆在长距离传输面临着越来越大的挑战。例如，PCIe 1.0时，铜缆传输距离可达10米，而PCIe 4.0时，这一距离缩短至3、4米；当速率进一步提高到64 GT/s和128 GT/s，也即PCIe 6.0和未来的PCIe 7.0，铜缆传输距离将进一步缩短至几十厘米，无法满足数据中心的长距离传输需求，PCIe光互连变得不可或缺。

浪潮信息PCIe光互连方案：突破距离限制，实现高效能数据中心互连

浪潮信息针对PCIe电互连在传输带宽和距离上的局限性，创新研发了PCIe光互连方案，成功将PCIe信号从1.4米传输距离拓展至30米，满足数据中心对长距离高性能互连网络的需求。

针对光传输中与PCIe协议的不兼容问题，浪潮信息的工程师们深入研究了PCIe协议以及光电转换组件的工作原理，提出了混合速率线性光传输方案，如图2。

图2

该方案包含三大关键技术特征：

• 将辅助信号汇合并编译为600Mbps的低压差分信号，与宽速率范围的高速数据信号一起，通过光纤链路实现同步传输。
• 利用线性直驱技术构建了高速信号的光传输链路，这不仅优化了光电转换过程，还扩大了光电器件的传输带宽，同时减少了光链路的能耗和传输延迟。
• 通过硬件升级来扩展和升级链路，确保能够适应未来PCIe Gen6和Gen7设备的组网互连需求。

基于上述方案，浪潮信息的工程师们开发了PCIe光互连的原型，并进行了传输验证。测试结果显示，该原型不仅实现了30米光纤链路PCIe Gen5信号传输，还实现了PCIe辅助信号的光传输，图3为30米光互连链路眼图测试结果。作为对比，同样的系统架构，铜缆方案最远传输距离约1.4米，因此光互连方案成功实现将PCIe Gen5信号传输距离提升20倍。并且在性能测试环节，PCIe光互连链路通过2小时的NVMe-based FIO读写测试和24小时GPU带宽测试，远距离传输性能与NVMe盘和GPU直连CPU的测试数据基本一致，证明了该方案的有效性和可靠性。

而且在针对不同距离条件下信号传输质量的测试中，30米长度的光纤链路眼高和眼宽结果与1米长度的光纤链路基本一致。这表明信号的传输质量几乎不随光链路长度增加而衰减，这种优势是电互连传输技术所不具备的。

备注：眼高和眼宽是用于评估高速信号质量的两个重要参数，据此可直观地观察高速信号在传输过程中受到的噪声和抖动影响，从而评估信号的整体传输质量。

图3

PCIe协议仍在不断迭代，数据传输速率和功能不断提升，在服务器系统高速互连中的作用愈发关键。光互连传输技术通过提供更远的传输距离、更低的延迟和更低的功耗，克服了传统电互连的局限性。展望未来，PCIe光互连技术将在智算中心、大规模数据中心等领域发挥更大作用，为现代计算和数据通信领域带来更多创新和突破。

免责声明：本网站（http://www.ciotimes.com/）内容主要来自原创、合作媒体供稿和第三方投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
本网站刊载的所有内容（包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等）版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时，请及时通知本站，予以删除。