中关村标准化协会 发布ICS35.240.20 CCSL70 任务型智能对话系统的能力评价 Evaluationonthecapabilityforthetask-orientedartificialintelligence dialoguesystem 2021-06-11发布 2021-06-12实施团 体 标 准 T/ZSA15-2021 全国团体标准信息平台 T/ZSA15-2021 I目次 目次..........................................................................................................................................................................I 前言........................................................................................................................................................................II 引言.......................................................................................................................................................................III 1范围.....................................................................................................................................................................1 2规范性引用文件.................................................................................................................................................1 3术语和定义.........................................................................................................................................................1 4总体原则与要求.................................................................................................................................................3 5智能能力类型.....................................................................................................................................................3 6智能能力等级.....................................................................................................................................................5 6.1三类智能能力的等级...................................................................................................................................5 6.2综合评定.......................................................................................................................................................6 7智能能力的评价.................................................................................................................................................6 7.1评价指标.......................................................................................................................................................6 7.2评价方法.......................................................................................................................................................6 7.3评价数据.......................................................................................................................................................6 7.4评价过程.......................................................................................................................................................6 附录A（资料性）对话系统智能等级评价项检查清单及应用示例................................................................8 附录B（资料性）评价用例类型及示例...........................................................................................................11 全国团体标准信息平台 T/ZSA15-2021 II前言 本文件按照GB/T1.1—2020《标准化工作导则第1部分:标准化文件的结构和起草规则》给出的规则 起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。 本文件由中关村标准化协会技术委员会提出并归口。 本文件起草单位：联想（北京）有限公司、北京图拉扬科技有限公司、理光软件研究所（北京）有 限公司、中国信息通信研究院、百度在线网络技术（北京）有限公司、北京小米移动软件有限公司、北 京影谱科技股份有限公司、北京市闪联信息产业协会。 本文件主要起草人：胡长建、孟遥、黎丹、张宇、丁琦城、张惟师、徐鹏、董滨、夏丽娇、孙叔琦、 崔建伟、吉长江、彭方振、段亚锋、吕飞燕、林巍巍、陶宏芝、杨磊、李悠、张博、熊思远、王冉。 全国团体标准信息平台 T/ZSA15-2021 III引言 人工智能理论和技术兴起以来，各种理论观点和应用分析大量涌现，导致各种技术规范、指南、文 件条文复杂，术语繁多。其中，以人工智能应用为最大特点的对话机器人研究领域，细分领域众多，评 价标准不一致、不兼容、不互通，给研究人员、开发者和使用产品的用户都带来了很多困扰。因此，为 对话机器人或人工智能对话系统，建立智能能力评价标准，有助于构建兼容社会规范的、安全的、系统 扩展性良好的人工智能设施。 本文件在人工智能领域内，对以完成任务为目标的智能对话系统，确立了评价体系，把智能能力分 为三个类型、五个等级，明确了各自的能力组成和相应的能力表现要求。本文件与国内已有的智能语音 交互系统、人工智能等级评估等国家标准、团体标准都兼容。本文件适用于面向任务型的智能对话系统， 非任务型的其他智能对话系统也可参考使用。 本文件可供人工智能系统的设计和开发人员、理论研究人员，以及实际使用对话系统的用户参考使 用。依托本文件，可评价对话系统的智能等级水平，并指导对话系统的研究、设计、生产和应用分析。 全国团体标准信息平台 T/ZSA15-2021 1任务型智能对话系统的能力评价 1范围 本文件确立了任务型对话系统的智能能力评价体系，明确了能力分类，并对每类能力给出分级评价 表，明确了各等级的能力表现要求。 本文件适用于智能对话系统能力的分类、分级与评价。 2规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，