ICS 35.040 T CCS L 80 白 ISEAA 体 标 团 准 T/ISEAA 005—2024 大模型系统安全保护要求 Security protection requirements for large model system 2024-04-30 发布 2024-06-01实施 发布 中关村信息安全测评联盟 中国标准出版社 出版 T/ISEAA 005—2024 目 次 前言 引言 范围 1 规范性引用文件 3 术语和定义 概述 大模型系统架构 4.1 4.2 大模型系统安全 通用安全要求 5 5.1 物理环境 5.2 网络架构 5.3 边界防护 5.4 身份鉴别 5.5 访问控制 安全审计 5.6 人侵防范 5.7 5.8 恶意代码防范 集中管控 5.9 5.10 供应链管理 5.11 个人信息保护 5.12 数据安全保护 5.13 备份恢复 5.14 数据溯源 6设计开发安全要求 6.1 数据处理 模型保护 6.2 内容安全 6.3 测试安全要求 模型评估 7.1 模型更新 7.2 8部署与运行安全要求 8.1 模型部署 8.2 攻击检测 T/ISEAA 005—2024 8.3 运行监测 8.4 系统管理…· 10 8.5 变更管理· 10 8.6 安全事件处置 10 8.7 应急预案管理· 10 退役安全要求 9 11 模型退役· 9.1 11 9.2 数据删除· 11 参考文献 12 中国标准出版社 T/ISEAA 005—2024 前言 本文件按照GB/T1.1一2020《标准化工作导则 第1部分：标准化文件的结构和起草规则》的规定 起草。 本文件由中关村信息安全测评联盟提出并归口。 本文件起草单位：公安部第三研究所、北京百度网讯科技有限公司、蚂蚁科技集团股份有限公司、 浙江大学、北京天融信网络安全技术有限公司、启明星辰信息技术集团股份有限公司、快手科技有限公 司、上海商汤智能科技有限公司、北京远鉴信息技术有限公司、华为技术有限公司、阿里云计算有限公 司、深信服科技股份有限公司、科大讯飞股份有限公司、北京百川智能科技有限公司、北京小桔科技有限 公司、优刻得科技股份有限公司、浙江君同智能科技有限责任公司。 本文件主要起草人：袁静、文煜乾、张国鹏、刘楠、刘金鑫、陆臻、陈广勇、苏艳芳、刘继顺、郭建领、 唐佳伟、李荣昌、杨剑、邵英杰、谷晨、徐浩、郑榕、王、蒋发群、孙钰娆、严敏瑞、孙勇、叶润国、常炳涛、 张宏达、樊玉杰、冯明、韩蒙、林昶廷。 中国标准出版社 II T/ISEAA 005—2024 引言 为规范大模型系统安全保护工作的开展，对大模型系统设计、开发、测试、部署、运行、退役等环节涉 及的安全保护要求提出详细的指导，帮助主管部门、网络运营者及大模型开发者对大模型及大模型系统 开展安全保护工作，特制定本文件。 本文件是大模型系统安全保护相关系列标准之 一。 与本文件相关的标准包括： -T/ISEAA0062024 大模型系统安全测评要求。 中国标准出版社 IV T/ISEAA 005—2024 大模型系统安全保护要求 1范围 本文件规定了大模型系统的通用安全以及设计开发、测试、部署与运行以及退役等阶段的全生命周 期安全的保护要求。 本文件适用于指导开发者及运营者对大模型及大模型系统进行全生命周期安全保护，大模型系统 安全保护的其他方参考使用。 2规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文 件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单)适用于 本文件。 GB/T22239—2019信息安全技术网络安全等级保基本要求 GB/T25069信息安全技术‧术语 3术语和定义 GB/T22239、GB/T 25069 界定的以吸下刻术语和定义适用于本文件。 3.1 大模型 large model 基于大量数据集训练得到的，具备大参数量、复杂结构的机器学习模型。 3.2 大模型服务 large model service 基于数据、算法、模型、规则，能够根据使用者提示生成文本、图片、音频、视频等内容的人工智能 服务。 注：大模型服务根据行业应用分为通用大模型服务和行业大模型服务。 3.3 大模型系统 large model system 由计算机或者其他信息终端及相关设备组成的按照一定的规则和程序，基于大模型进行数据处理 或提供大模型服务的系统或平台。 4概述 4.1大模型系统架构 大模型系统可抽象为基础设施层、平台层、模型层和应用层，如图1所示。 1 T/ISEAA 005—2024 应用服务 应用层 应用数据 基础大模型 行业大模型 模型库 专属大模型 . 模型层 版本维护 模型部署 模型管理 权限控制 . 模型调优 模型交付 平台服务 服务运营 平台层 公开数据策 私有数据集 数据服务 数据工程 基础设施层 网络 存储 计算 大模型系统参考架构 基础设施层为大模型系统提供算力支持，可直接提供灵活调取的智能算力服务，降低模型落地的算 力门槛，一般包括计算、网络、存储等资源。 平台层为模型定制提供全套的工具链及全流程管理功能，包括平台服务和数据服务两部分。平台 服务包括但不限于模型调优、模型交付、服务运营等；数据服务包括但不限于提供数据集、数据工程等。 平台层可搭载基础设施以公有服务方式直接对用户提供服务，也可以私有化方式部署，供内部员工定制 场景专属模型。 模型层为用户提供可直接调取的模型服务，该层具备丰富的模型库以及通过模型管理功能。模型 库包括通用的基础大模型、行业大模型、多模态大模型以及经过平台层精调后的专属大模型等；模型管 理包括对模型的版本维护、部署、权限控制等。 应用层作为框架的最顶层，为用户提供面向细分场景的垂类应用及大模型应用的定制开发，可通过 Agent、RAG、GPTs、API等模式对外提供服务。用户可直接使用某场景下的智能应用，也可基于模型 服务打造自已的智能体应用。 4.2大模型系统安全 大模型系统全生命周期一般包括设计开发、测试、部署、运行、退役等几个阶段。其中测试阶段主要 是对大模型及大模型系统进行安全测试，既包括设计开发阶段中对大模型业务功能和安全功能的测试 验证，也包括大模型系统上线运行前和正式运行过程中的安全测试， 大模型系统安全包括通用安全和全生命周期安全。通用安全作为大模型系统安全的基础安全，从 2