ICS 33.040.40 M32 YD 中华人民共和国 通信行业标准 2018-2343T-YD 数据中心无损网络典型场景技术要求和测 试方法 Technical requirements and test methods for typical scenes of data center lossless network       （报批稿） XXXX - XX - XX发布 XXXX - XX - XX实施 中华人民共和国工业和信息化部   发 布 2018-2343T-YD I目 次 前言 .................................................................................. II 1　范围 ................................................................................ 1 2　术语、定义和缩略语 .................................................................. 1 3　数据中心无损网络典型场景 ............................................................ 2 4　数据中心无损网络典型场景技术要求 .................................................... 3 5　数据中心无损网络典型场景测试方法 .................................................... 5 2018-2343T-YD II前  言 本标准按照 GB/T 1.1—2009给出的规则起草。 请注意本文件的某些内容可能涉及专利。 本文件的发布机构不承担识别这些专利的责任。 本标准由中国通信标准化协会提出并归口。 本标准起草单位 ：中国信息通信研究院、中国电信集团有限公司、中国移动通信集团有限公司、百 度在线网络技术 （北京）有限公司 、北京三快云计算有限公司 、华为技术有限公司 、北京迈络思科技有 限公司 本标准起草人：郭亮、赵继壮、顾戎、高峰、陈志勇、孙黎阳、宋庆春、李洁、王峰、殷悦、朱朋 志、王少鹏 2018-2343T-YD 1数据中心无损网络典型场景技术要求和测试方法 1　范围 本标准规定了数据中心无损网络典型场景 、数据中心无损网络典型场景技术要求 、数据中心无损网 络典型场景测试方法的相关内容。 本标准适用于数据中心无损网络的设计、制造、测试和使用。 2　术语、定义和缩略语 2.1　术语和定义 下列术语和定义适用于本文件。 2.1.1　 深度学习 deep learning 机器学习 的分支，是一种试图使用包含复杂结构或由多重非 线性变换 构成的多个处理层对数据进行 高层抽象的 算法。 2.1.2　 非易失性内存主机控制器接口规范 non-volatile memory express 存储通信接口和协议 ，从概念设计到利用基于闪存的存储设备 （称为固态驱动器 ）的低延迟和内部 并行性。 2.1.3　 网络拥塞 network congestion 当网络节点或者链接运载的数据超过其可处理能力时带来的服务质量降低的现象 ，通常表现出的结 果有：延时、丢包和阻塞新连接。 2.1.4　 零复制 zero-copy 计算机执行操作时， CPU不需要先将数据从某处 内存复制到另一个特定区域。这种技术通常用于通 过网络传输文件时节省 CPU周期和内存带宽。 2.1.5　 无阻塞网络架构 clos 多级电路交换网络的结构 ，它的最大的优点就是对 Crossbar 结构的改进 ，通过Clos架构可以提供无 阻塞的网络；数据中心 CLOS网络架构一般是使用包交换的多级网络结构。 2018-2343T-YD 22.1.6　 多对一通信 incast 一种后端服务器集群同时响应某一个服务器的数据请求，使得该服务器接收的流量激增的现象。 2.1.7　 队头阻塞 head-of-line blocking 性能受限的现象，某一队列的第一个数据包（队头）受阻而导致整个队列数据包受阻的现象。 2.2　缩略语 下列缩略语适用于本文件。 AFA 全闪存阵列 All Flash Array AOC 有源光缆 Active Optical Cable CPU 中央处理器 Central Processing Unit ECMP 等价多路径路由 Equal-Cost Multi-Path Routing GPU 图形处理器 Graphics Processing Unit HPC 高性能计算 High-Performance computing IP 因特网协议 Internet Protocol NVMe 非易失性内存主机控制器接口规范 Non-Volatile Memory Express OLDI 在线数据密集型 On-Line Data Interchange PFC 基于优先级的流量控制 Priority-based Flow Control RDMA 远程直接内存访问 Remote direct memory access SSD 固态硬盘 Solid-State Drive TCP 传输控制协议 Transmission Control Protocol 3　数据中心无损网络典型场景 数据中心内的应用和存储体系结构在不断发展以满足对实时交互式数字技术日益增长的需求 。当前， 大型在线数据密集（ OLDI）服务，如用于在线购物， 社交媒体和网络搜索的自动推荐系统 ；高性能深度 学习网络； NVMe高速存储业务等应用场景，都对未来数据中心提出了更高的要求和期望。 OLDI需要对高频率 、高速率的请求进行即时回答 。延迟控制是网络的一个关键问题 。最终用户体验 高度依赖于系统响应能力 ，即使是不到一秒钟的适度延迟 ，也会对个人查询及其相关广告收入产生可衡 量的影响。 在深度学习领域 ，构建神经网络和深度学习模型 ，称为训练的过程通常由高性能计算系统完成 。训 练是一项高度并行的应用 ，需要低延迟和高吞吐量 。投入更多的计算资源可以缩短创建模型所需的时间 ； 然而，并行应用中涉及的通信开销可能会抵消更多 CPU或GPU的收益。如果发生同步延迟 ，会导致计算进 程停滞。而当训练过程中使用服务器时 ，网络中存在固有的 Incast问题。工作节点的集群几乎同时将结 果返回给服务器 。此场景会在连接参数服务器的交换机上产生拥塞 ，并可能导致数据包丢失和同步延迟 。 进一步对问题进行并行化只会导致延迟 ，因为需要在大量节点之间进行更多通信 ，从而增加网络拥塞的 影响。 NVMe快速可靠的特点，使得其非常适合未来云数据中心高度并行的环境。全闪存阵列（ AFA）通过 网络进行 NVMe访问，需要极低的延迟才能满足业务的需求 。但是，NVMe存储的延迟和可靠性要求使这种 访问成为一项挑战。 2018-2343T-YD 3综上所述 ，需要在未来数据中心新场景下解决丢包 、时延、吞吐等多方面的挑战 ，实现数据中心网 络的无损失是当前亟待解决的问题。 4　数据中心无损网络典型场景技术要求 4.1　流控技术要求 数据中心无损网络应有效避免 PFC头部阻塞造成的整网拥塞，应具备较低的时延。 4.2　拥塞控制技术要求 数据中心无损网络应为用户提供无丢包损失的相关技术。 数据中心无损网络应提供解决或缓解现有流控技术普遍存在的队头阻塞问题的能力 ，可采用的技术 包括：多队列技术、拥塞控制技术、鼠象流分离技术、拥塞隔离技术等。 数据中心无损网络宜提供多队列技术 ，具体是指无损网络可以基于流使用多个队列 ，实现更加细粒 度的流控 ，尽力预防和缓解队头阻塞 。每个队列对应一个虚通道 ，无损网络中的接收设备从发送设备接 收的数据流报文包含虚通道的标识 ，接收设备可以在接收到流的首包时根据流标识和流对应的候选虚通 道组为流选择一个与原有不同的新虚通道 ，将新的虚通道信息设置到流的表项 ，接收设备在回复应答时 从流的表项获取新的虚通道插入流的应答报文中 ，携带新的虚通道信息的应答报文到达发送设备后 ，发 送设备将流的虚通道更新为新的虚通道 ，后续报文携带新的虚通道标识 。在接收设备中 ，每条流对应一 个可用虚通道组 ，从可用虚通道组中选择的一个或多个拥塞程度较低的虚通道构成候选虚通道组 ，接收 设备动态地更新候选虚通道组 ，接收设备为流选择新的虚通道时可以从候选虚通道组中选择任一虚通道 。 流的表项内容包括据流的标识 、表项是否有效 、流的新虚通道等信息 ，表项初始无效 ，当接收设备需要 更新某条流的虚通道时若新的虚通道与原有不同则设置到该流的表项 ，并将表项设置为有效 ，后面接收 设备判断新虚通道与原有不同且表项有效则在应答报文中携带新虚通道以触发发送设备更新虚通道 ，虚 通道更新成功后将表项设置为无效 。接收设备