ICS 35.020 YD CCS L70 中华人民共和国通信行业标准 YD/T××××一×××x 大规模预训练模型技术和应用评估方法 第3部分：模型应用 Large scale pre-training model technology and application evaluation method Part 3: Model application （报批稿） XXXX-XX-Xx 发布 XXXX-XX-XX实施 中华人民共和国工业和信息化部 发布 前言 本文件按照国标GB/T1.1-2020《标准化工作导则第1部分：标准化文件的结构和起 草规则》给出的规则起草。 本文件是YD/TXXX《大规模预训练模型技术和应用评估方法》系列标准的第3部分 YD/TXXX已经发布了以下部分： 第3部分：模型应用； 一一第4部分：可信要求。 本文件是《大规模预训练模型技术和应用评估方法》系列标准的第3部分。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。 本文件由中国通信标准化协会提出并归口。 本文件起草单位：中国信息通信研究院、南京新一代人工智能研究院有限公司、国网山 东省电力公司、中国移动通信集团有限公司、华为技术有限公司、北京百度网讯科技有限公 司、科大讯飞股份有限公司、星河智联汽车科技有限公司、菲特（天津）检测技术有限公司、 中国联合网络通信集团有限公司、蚂蚁科技集团股份有限公司、阿里云计算有限公司、厦门 市美亚柏科信息安全研究所有限公司、中国科学院自动化研究所、上海商汤智能科技有限公 司、中国电信集团有限公司、上海浦东发展银行股份有限公司、北京声智科技有限公司、美 的集团（上海）有限公司、北京希尔贝壳科技有限公司、新华三技术有限公司。 本文件主要起草人：董晓飞、张学强、张丹、陶玥、陶秋雨、曹峰、魏凯、杨阳、王勇、 侯昆明、翟传璞、郑子木、刘俊峰、刘海波、王振利、蒋晓琳、王士进、殷运鹏、刘颖、崔 豪驿、梁伟强、张莹、李强、曹彬、胡江洪、焦璐、魏家馨、吴浩然、彭晋、江潇、孙曦、 付大鹏、杨广贺、许丙蜕、郝义、赵建强、王金桥、吴凌翔、王倩、王倩娜、孟悦、吴庚、 孙佩霞、时晓厚、黄健、李铭梁、何堃、陈孝良、常乐、李良斌、陈戈、卜辉、王雪珊、杨 -帆、殷丹平、田康、王静、刘紫君、李培、徐省委、徐深超。 II 引言 随着《“十四五”数字经济发展规划》《“十四五”国家信息化规划》等政策的发布， 关键技术创新能力、数字技术基础研发能力和创新技术的工程化和产业化成为当下的关注焦 点。作为人工智能新基建的技术底座，大规模预训练模型强力助推自然语言处理、智能语音、 计算机视觉等人工智能技术取得突破，缓解了人工智能开发过程中“碎片化”问题，加快人 工智能落地进程，进而带动国内人工智能基础设施的发展，助力人工智能向实用化、通用化 和普惠化发展。 近两年来，大规模预训练模型能力持续升级，其在对话、生成等方面的能力突出，并涌 现出现象级产品应用；相关工具平台逐渐成熟，工程化路径愈发清晰，在金融、电信、交通、 能源等各个行业均有探索。但随着其应用范围的不断扩大，函需建立应用能力评价体系。为 了引导产业有序发展、规范行业自律，并为用户提供选型参考，特联合相关单位开展YD/T XXX《大规模预训练模型技术和应用评估方法》的编制工作。YD/TXXX规定了大规模预 训练模型研发及应用全生命周期能力要求及评估方法，适用于构建并完善大规模与训练模型 开发、应用、运营、可信能力，规范大规模与训练模型评估方法。 该系列标准的结构、名称和目的如下： 一一第1部分：模型开发。目的在于面向大模型开发过程，从数据管理、模型训练、模 型管理、模型部署、开发流程一体化五大维度，综合评估大模型开发能力。 一第2部分：模型能力。目的在于面向大模型的技术和系统能力，从能力支持度和服 务成熟度两方面对大模型能力进行规范。 一第3部分：模型应用。目的在于面向大模型应用落地阶段，从应用丰富度、应用灵 活度、应用成熟度三个方面对大模型应用过程进行规范。 一第4部分：可信要求。目的在于面向大模型可信可控方面，从可信、安全、自主等 方面对大模型全生命全周期的安全可信进行规范。 第5部分：模型运营。目的在于面向大模型的微调优化及部署交付上线，围绕数据 工程、模型调优、模型交付、服务运营、平台能力等维度对大模型的能力进行规范。 本文件是“大规模预训练模型技术和应用评估方法”系列标准第3部分：模型应用，为 大规模预训练模型技术开发方和应用方提供参考。 III 大规模预训练模型技术和应用评估方法 第3部分：模型应用 1范围 本文件规定了大规模预训练模型在应用阶段的指标要求和评估方法，主要包括应用丰富 度、应用灵活度、应用成熟度三个维度。 本文件适用于指导大模型技术方开展产品研发，可为大模型应用方产品评估、系统建设、 应用管理等方面提供参考。 2规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期 的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括 所有的修改单）适用于本文件。 GB/T41867-2022信息技术人工智能术语 3术语和定义 下列术语和定义适用于本文件。 3. 1 预训练模型pre-trainedmodel 一种深度学习模型，通过自监督或者无监督技术，在大量的训练数据上训练得到初始模 型，可被迁移到目标相近的任务中使用。 3. 2 大规模预训练模型large-scalepre-trainedmodel 简称大模型，一种参数规模较大的预训练模型，通过自监督或者无监督技术从海量的数 据中训练得到基础模型，并结合下游具体任务对其进行微调，最终被训练成具有逻辑推理和 分析能力的人工智能模型。 3. 3 通用大模型 universal large-scale pre-trained model 一种基于海量通用数据训练得到的大规模预训练模型，具备多个领域的任务能力，通用 性较高，但在实际应用场景中仍需结合生产数据进行二次开发。 3. 4 行业大模型 industry large-scale pre-trained model 一种结合行业数据和通用大模型训练得到的人工智能模型，与特定行业的下游任务及场 景的适配度较高。 3. 5 1 大模型平台 large-scale pre-trained model platform 支持大模型训练及服务的平台，提供从数据标注、清洗到模型训练、部署的一站式AI 开发能力。 3. 6 语言大模型largelanguagemodel 一种基于海量文本数据训练得到的大规模预训练模型，可以执行自然语言处理任务。 3.7 视觉大模型largevisionmodel 一种基于海量图像、视频数据训练得到的大规模预训练模型，可以执行视觉处理任务 3. 8 多模态大模型largemultimodalmodel 一种基于海量文本、图像、视频、音频等多模态数据融合训练得到的大规模预训练模型， 可以执行跨模态任务。 4缩略语 下列缩略语适用于本文件： AI 人工智能 Artificial Intelligence APP 手机软件 Mobile Application API 应用程序编程接口 Application Programming Interface CPU 中央处理器 Central Processing Unit MAAS 模型即服务 Model as a Service MTTF 平均无故障时间 Mean Time To Failure NLP 自然语言处理 Natural Language Processing PAAS 平台即服务 Platform as a Service PCIe 高速串行计算机扩展总 Peripheral Component Interconnect Express 线标准 POI 兴趣点 Point of Interest IP 网际互连协议 Internet Protocol SAAS 软件即服务 Software as a Service SDK 软件开发工具包 Software Development Kit SDRAM 同步动态随机存取内存 Synchronous Dynamic Random-Access Memory TPS 每秒事务处理量 Transaction Per Second 5基本框架 2 电信场景 金融场景 电力场景 医疗场景 教育场景 行业 应用 大模型应 语言任务 视觉任务 语音任务 跨模态任务 科学计算任务 模态 D 用 个性化服务 多样化管理 部署方式计量方式服务模式 【数据 模型 服 资源 用户 务 支撑服务（工具+插件） 配套工具插件集成服务反馈 服务反馈交流社区人员配备 图1模型应用技术框架图 a) 应用部分主要关注大模型覆盖的模态、任务、行业、场景的丰富程度； b） 服务部分主要关注大模型在部署方式、计量方式、服务模式方面能够提供的个性 化服务，在数据管理、模型管理、资源管理和用户管理方面能够提供的多样化管 理能力，为保障大模型易用、稳定、可维护运营方面，大模型产品提供的配套服 务。 6评估方法 针对模型应用部分的评估方法包括检查和测试两类评估方法，具体为： a）检查：检查是通过对测评对象进行观察、查验、分析以帮助测评人员理解、澄清或 取得证据的过程。检查主要有评审、核查、审查、观察、研究和分析等，检查对象是文档等； b）测试：测试是指使用预定的方法/工具使测评对象产生特定的结果，将运行结果与 预期的结果进行比对的过程，主要包括