YD ICS 35.210 CCS L77 中华人民共和国通信行业标准 YD/T [×××××]-[×× × ×] 算力互联互通能力要求 第 7部分：云环境多 GPU统一开发框架 Computing power interconnection and communication capability requirement -part 7:unified multi-GPU development framework for cloud environments [点击此处添加与国际标准一致性程度的标识 (报批稿） [× × ××]-[××]-[××]发布 [××××]-[××]-[××]实施 中华人民共和国工业和信息化部发布 目 次 前 言 引 言 1范围 5 2规范性引用文件 3术语和定义 4缩略语. 5云环境多GPU统一开发框架， 6计算基础层. 6.1操作系统 6.2设备虚拟化. 6.3共享虚拟内存 7计算执行层. 7.1运行时库， 7.2图执行器. 7.3开源预处理机制 7.4开源集合通信库 8兼容适配层. 8.1算子库适配层 8.1.1算子开发流程 8.2编译器适配层 8.3框架适配层 8.4接口层 9应用层 9 附录A(资料性)基础算子表 10 参考文献 13 前言 本文件按照GB/T1.1一2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草 一一第1部分：总体框架； 一一第2部分：算力调度。 一一第4部分：数据流动。 一一第5部分：算力标识。 一一第7部分：云环境多GPU统一开发框架。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。 本文件由中国通信标准化协会提出并归口。 本文件起草单位：中国信息通信研究院、上海人工智能实验室、上海燧原科技有限公司、杭州谐云科 技有限公司、中兴通讯股份有限公司、中国铁塔股份有限公司、北京中电普华信息技术有限公司、商汤科 技有限公司、浙江大华技术股份有限公司、京东科技信息技术有限公司、中移（苏州）软件技术有限公司 本文件主要起草人：庄祎、栗蔚、郑立、韩思齐、张行程、裴芝林、钟普、王思善、李响、闫亚旗、 边鹏旭、张冀、韩冬、吕海、李旭东、徐军、梁钱友 引言 我国算力产业发展已取得突破性进展，具备算力基础设施和算力资源的体量优势，但由于算力资源尚 未能完成跨主体的互联互通，算力利用率较低，算力供给尚不能满足日益增长的实体经济算力需求。 YD/T6116《算力互联互通能力要求》规定了算力互联互通过程中各环节的关键技术能力及要求，适用 于构建算力互联互通体系，促进算力资源互联互通，实现算力集约化、普惠化发展。 算力互联互通能力要求系列标准拟由以下部分组成。 一一第1部分：总体框架。目的在于明确算力互联互通的定义、流程、技术架构、能力架构等总体架构， 适用于建设算力互联互通体系。 一一第2部分：算力调度。目的在于规范指导算力互联互通体系中算力调度环节的关键流程、主要角色 以及能力要求，适用于指导算力提供商、算力互联网骨干运营商、算力调度服务商在进行平台功能设计、 功能接入、感知调度等过程中，制定规范的操作流程。 一一第3部分：业务互通。目的在于规范指导算力互联互通体系中业务应用的开发、运维以及支撑平台 的能力要求和开发应用架构的使用流程，适用于指导业务应用在算力互联互通体系内的不同算力资源间部 署和运行。 一一第4部分：数据流动。目的在于规范指导算力互联互通体系中数据存储对接、全局数据共享、数据 调度与管理等能力。适用于指导构建算力互联互通体系内数据的流动、共享和管理，实现数据的互联互通。 一一第5部分：算力标识。目的在于规范指导算力标识的编码原则、编码结构、编码规则等内容。适用 于规范算力资源接入的标识符，为算力互联互通中的算力资源接入、感知、调度、交易结算等环节提供统 一的资源描述。 一一第6部分：交易规则。目的在于规范指导算力互联互通体系中各个角色间针对算力资源在算力互联 互通体系中交易、记账、结算等环节的规则。适用于规范算力资源在算力互联互通体系中的交易流程。 一一第7部分：云环境多GPU统一开发框架。目的在于规范指导云环境多GPU统一开发框架的统一编程接 口、应用场景能力、兼容性等要求。适用于搭建统一的GPU计算框架，提高不同架构的GPU兼容性。 算力互联互通能力要求第7部分：云环境多GPU统一开发框架 1范围 本文件规范了算力互联互通的云环境多GPU统一开发框架，包括计算基础层、计算执行层、兼容适配层、 应用层。 本文件适用于支持云环境多GPU统一开发框架的GPU以及相关产品和解决方案，可作为第三方机构设计 和应用的通用要求。 2规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件， 仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文 件。 YDB144-2014云计算服务协议参考框架 YD/T6116.1-2024算力互联互通能力要求第1部分：总体架构 3术语和定义 下列术语和定义适用于本文件。 3. 1 算子库operator 用于构建模型的基本操作单元集合。 3. 2 运行时库 runtime 用来分析和训练模型的数据的集合，包含多个数据样本，每个样本包括一个或多个特征以及对应的标 签。 3. 3 图执行处理器graphexecutor 为硬件平台提供适配工具。 4缩略语 下列缩略语适用于本文件。 API应用编程接口（ApplicationProgrammingInterface） GPU图像处理单元（GraphicProcessingUnit） HDC主机-设备通信（HostDeviceCommunication） I/O输入/输出（Input/Output） OPP开源预处理机制（OpenPre-Processing） OCCL开源集合通讯库（OpenCollectiveCommunicationLibrary） OS操作系统（OperationSystem） ONNX开源神经网络转换（OpenNeuralNetworkExchange） SVM共享虚拟内存（SharedVirtualMemory） VM 设备虚拟化（VirtualMachine） 5云环境多GPU统一开发框架 本文件定义的云环境多GPU统一开发框架规范了YD/Txxxxx-xxxx中算力互联互通技术架构的计算框架 部分。计算框架为算力互联互通平台提供统一的开发框架，云环境多GPU统一开发框架架构如图1所示。 内用层 大模型场罩 视觉场滑 深文学习场员 科学计算 祈架适配层 统一按口层 格容活配层 势子库适配层 编译然适配层 计算执行层 运行时 医执行器 预处性机制 第合通信库 计学基础层 作系统 设备速拟化 共享虚队化 主机设备通信 图1云环境多GPU统一开发框架图 计算基础层：为云环境多GPU统一开发框架提供基础服务，如SVM、VM、HDC等。 计算执行层：包括运行管理器、图执行器、开源预处理机制、开源集合通信库，负责算子和模型的执 行。 兼容适配层：主要包括框架适配层、接口适配层、算子库适配层、编译器适配层。适配器提供统一的 编译环境，使得深度学习框架可兼容不同开发环境、编译语言与编译器；深度学习框架通过对人工智能算 法封装、数据调用等使得研究者可在无需了解算法细节的情况下快速应用深度学习模型。 应用层：基于计算基础层、计算执行层、兼容适配层相关技术实现人工智能应用，如大模型应用场景、 视觉应用场景、深度学习应用场景、科学计算应用场景等。 6 计算基础层 6.1 操作系统 应支持windows、Linux、macos等操作系统。 6.2设备虚拟化