ICS35.210 CCS L77 YD 中华人民共和国通信行业标准 YD/T XXXXX—XXXX 算力互联互通能力要求第4部分：数据流动 Computing power interconnection and communication capability requirementPart 4: Data flow （报批稿） XXXX - XX - XX 发布 XXXX-XX-XX实施 中华人民共和国工业和信息化部 发布 YD/T XXXXX—XXXX 目 次 前 II 引 言 IH 1范围. 2规范性引用文件. 3术语和定义.. 4缩略语... 5数据流动流程 6数据存储对接 6.1概述.... 5.2非结构化存储对接要求 5.3结构化存储对接要求 7全局数据共享 ..1概述.... 7."全局文件存储. i."数据目录... 7.1数据安全流动总线 8数据调度与管理.. 8.1概述.... 8.2元数据接入 8.3元数据管理.... 5.1数据调度管理. 10 s.数据流动服务 s.r数据保护服务. 8.7数据洞察服务 12 9传输网络 13 ".1概述.. 3.2云专线. 13 3.3公共互联网 13 9.1弹性网络.. 13 XXxX—XXXxX1/0A 前言 本文件按照GB/T1.1一2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起 草。 本文件是YD/T6116《算力互联互通能力要求》的第4部分，YD/T6116已经发布了以下部分： 第1部分：总体框架； 第2部分：算力调度。 第4部分：数据流动。 第5部分：算力标识。 第7部分：云环境多GPU统一开发框架。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。 本文件由中国通信标准化协会提出并归口。 本文件起草单位：中国信息通信研究院、华为技术有限公司、中国移动通信集团有限公司、中国电 信集团有限公司、中国联合网络通信集团有限公司、中移（苏州）软件技术有限公司、新华三技术有限 公司、曙光信息产业（北京）有限公司、联想凌拓科技有限公司、天翼云科技有限公司、中兴通讯股份 有限公司、浪潮电子信息产业股份有限公司、西交利物浦大学、中科驭数（北京）科技有限公司、微源 光子（深圳）科技有限公司、联想（北京）有限公司、 浙江省新型互联网交换中心有限责任公司 本文件主要起草人：栗蔚、陈屹力、闫丹、 焦辉、 毛馨纬、纪若冰、张震，刘德华，丁江波，母子 安，陈晓丽，方维，许林，刘先刚、沈玉良、 致立芬 荆文军、曹健伟、张天洁、杨岩、方志祥，卢志 军、陈学伟、李艳、凌曦、张委、杨利锋、张月、 李响、陈飞、刘翰超、张百林、何营、白欣璐、 董芊、洪坤贤、王番、朱晓琪、张士聪 II XXxX—XXXxX1/0A 引言 我国算力产业发展已取得突破性进展，具备算力基础设施和算力资源的体量优势，但由于算力资源 尚未能完成跨主体的互联互通，算力利用率较低，算力供给尚不能满足日益增长的实体经济算力需求。 YD/TXXXXX《算力互联互通能力要求》规定了算力互联互通过程中各环节的关键技术能力及要求， 适用于构建算力互联互通体系，促进算力资源互联互通，实现算力集约化、普惠化发展。 算力互联互通能力要求系列标准拟由以下部分组成。 一第1部分：总体框架。目的在于明确算力互联互通的定义、流程、技术架构、能力架构等总体 架构，适用于建设算力互联互通体系。 一第2部分：算力调度。目的在于规范指导算力互联互通体系中算力调度环节的关键流程、主要 角色以及能力要求，适用于指导算力提供商、算力互联网运营商、算力调度服务商在进行平台功能设计、 功能接入、感知调度等过程中，制定规范的操作流程。 一第3部分：业务互通。目的在于规范指导算力互联互通体系中业务应用的开发、运维以及支撑 平台的能力要求和开发应用架构的使用流程，适用于指导业务应用在算力互联胡同体系内的不同算力资 源间部署和运行。 一第4部分：数据流动。目的在于规范指导算力互联互通体系中数据存储对接、全局数据共享、 数据调度与管理等能力。适用于指导构建算力互联互通体系内数据的流动、共享和管理，实现数据的互 联互通。 一第5部分：算力标识。目的在于规范指导算力标识的编码原则、编码结构、编码规则等内容。 适用于规范算力资源接入的标识符，为算力互联互通中的算力资源接入、感知、调度、交易结算等环节 提供统一的资源描述。 一第6部分：交易规则。目的在于规范指导算力互联互通体系中各个角色间针对算力资源在算力 互联互通体系中交易、记账、结算等环节的规则。适用于规范算力资源在算力互联互通体系中的交易流 程。 一第7部分：云环境多GPU统一开发框架。目的在于规范指导云环境多GPU统一开发框架的统一编 程接口、应用场景能力、兼容性等要求。适用于搭建统一的GPU计算框架，提高不同架构的GPU兼容性。 III XXxX—XXXxX1/0A 算力互联互通能力要求第4部分：数据流动 1范围 本文件规范了算力互联互通数据流动能力要求，包括传输网络、数据存储对接、全局数据共享和数 据调度与管理等。 本文件适用于算力互联互通体系下数据流动建设以及标准参考， 规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件， 仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本 文件。 GB/T35295-2017信息技术大数据术语 GB/T37737-2019信息技术云计算分布式块存储系统总体技术要求 3术语和定义 GB/T37737-2019和GB/T35295-2017界定的以及下列术语和定义适用于本文件 3. 1 数据流动dataflow 利用传输网络将数据传输到目的算力资源的过程。 3. 2 结构化数据structureddata 由二维表结构来逻辑表达和实现的数据，严格的遵循数据格式与长度规范，主要通过关系型数据库 进行存储和管理。 [来源：GB/T37737-2019，3.1.3] 3. 3 非结构化数据unstructureddata 数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。 注：我们日常所见到的办公文档、文本、图片、图像、音频、视频等等均属于非结构化数据。相比结构化数据，非 结构化数据具备丰富多样的信息特征，拥有更大的数据价值空间，但更难标准化和理解，因此在存储、检索以及消费使 用时需要智能化的IT技术与之匹配。 [来源：GB/T35295-2017，2.1.25] 3. 4 元数据metadata 关于数据的数据，对数据以及信息资源的描述性信息。可以理解为提供某种资源的有关信息的结构 数据，用来描述数据属性的信息，例如数据的名称、位置、修改时间、数据Owner、数据大小等。 XXxX—XXXxX1/0A [来源：GB/T35295-2017，2.2.7] 3. 5 数据源datasource 数据的来源，可以是一个存储设备、S3桶、CIFS文件共享或NFS文件共享等。 3. 6 容器container 一种虚拟化技术，这种技术将操作系统内核虚拟化，可以允许用户空间软件实例（instances）被 分割成几个独立的单元，在内核中运行，而不是只有一个单一实例运行。 3. 7 数据data 信息的可再解释的形式化表示，以适用于通信、解释或处理。 3. 8 算力提供者computingpowersupplier 提供通用算力、智能算力、超级算力等不同算力类型的服务提供主体。 3. 9 算力调度者computingpowerscheduler 为算力用户调度算力资源以及算力应用的主体。 3. 10 网络服务提供者networkservicesupplier 提供大规模数据传输服务的主体。 缩略语 4 下列缩略语适用于本文件。 ACL：存取控制清单（AccessControlList） APl：应用程序接口（ApplicationProgrammingInterface） CIFS：公用因特网文件系统（CommonInternetFileSystem） CLI：命令行接口（CommandLineInterface） CPU：中央处理器（CentralProcessingUnit） CSl：容器存储接口（ContainerStorageInterface） DPU：数据处理器（DataProcessingUnit） FC：光纤通道（FibreChannel） HDFS：Hadoop分布式文件系统（HadoopDistributedFileSystem） I/O：输入/输出（Input/Output） IOPS：每秒读写次数（Input/OutputOperationsPerSecond） 2