ICS35.020 CCS L70 标 团 准 体 T/CCSA 573—2024 向量数据库技术要求 Technical requirements of vector database 2024 - 11 - 11 发布 2025－01－01实施 发布 中国通信标准化协会 版权声明 本技术文件的版权属于中国通信标准化协会，任何单 位和个人未经许可，不得进行技术文件的纸质和电子等任 何形式的复制、印刷、出版、翻译、传播、发行、合订和 宣贯等，也不得引用其具体内容编制本协会以外各类标准 和技术文件。如果有以上需要请与本协会联系。 邮箱： [email protected] 电话：62302847 T/CCSA 573—2024 次 目 前言 II 引言 III 1 范围 规范性引用文件 2 术语和定义 3 4 缩略语， 总体框架 5 6技术要求 6.1基本功能 6.2运维管理技术要求 6.3安全性技术要求 6.4兼容性技术要求 扩展性技术要求 6. 5 6. F 高可用技术要求 6.7应用要求 T/CCSA 573—2024 前言 本文件按照GB/T1.1一2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定 起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。 本文件由中国通信标准化协会提出并归口。 本文件起草单位：中国信息通信研究院、腾讯云计算（北京）有限责任公司、阿里云计算有限公司、 华为云计算技术有限公司、拓尔思信息技术股份有限公司、星环信息科技（上海）股份有限公司、中移 （苏州）软件技术有限公司、中国移动通信集团有限公司、中国电信集团有限公司、北京抖音信息服务 有限公司、杭州海康威视数字技术股份有限公司、中移动信息技术有限公司、中兴通讯股份有限公司、 郑州信大捷安信息技术股份有限公司、北京人大金仓信息技术股份有限公司、亚信科技（中国）有限公 司、新华三技术有限公司、 上海法熹科技有限公司、武汉达梦数据库股份有限公司、中国第一汽车集团 有限公司、甲骨文(中国)软件系统有限公司 本文件主要起草人：刘思源、刘蔚、齐丹阳、姜春宇、马鹏玮、代威、罗云、邹鹏、黄超、陈薏竹 伍旭飞、朱松、樊文凯、杨锐、张浩、 李银松、刘熙、康毅、谭力鸣、刘宽、乔月、王宝晗、于巍、朱 晓亮、李旭东、朱文思、雷珺、 吴楠、 谭修光、 郑皓月、 金洁华、葛欣、许跃鸿、盛茂家、谢剑桥、高 丽萍、董明、钱燕、郑园园、刘亚杰、 郑鸿健、 郑展奋、 徐珂、赵春阳、吴坤、屠要峰、刘海军、刘为 华、冷建全、黄葳唯、董文、顾鸿翔、吕亚宁、 洪建辉、宸立仁、徐田原、张晖、魏可伟、赵衍衍、程 静、陈飞、董铭民、温婧。 II T/CCSA 573—2024 引言 团体标准”，推荐有关方面采用。有关对本标准的建议和意见，向中国通信标准化协会反映， III T/CCSA 573—2024 向量数据库技术要求 1范围 本文件规定了向量数据库的技术要求，包括基本功能、运维管理技术要求、安全性技术要求、兼容 性技术要求、扩展性技术要求、高可用技术要求和应用要求。 本文件适用于向量数据库的设计、开发、测试及应用能力的评价与指导。 2规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件， 仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本 文件。 GB/T 5271.17 信息技术词汇第17部分：数据库 YD/T 3774 大数据分布式分析型数据库技术要求与测试方法 3术语和定义 GB/T5271.17和YD/T3774界定的以及下列术语和定义适用于本文件 3: 向量数据 vector data 由数值向量组成的数据集合，其中每个向量表示一个多维空间中的点或特征。每个向量由一组有序 的数值组成，这些数值可以是整数、浮点数等数值类型。 3. 2 向量数据库 vector database 种以向量嵌入方式存储和管理向量数据的数据库，其存储的向量主要来自于对文本、语音、图像、 视频等非结构化数据的向量化。 3 3 模式 schema 属于考虑的特定级的数据库结构的完整描述。 [来源：GB/T5271.17-2010，定义17.01.02] 3. 4 查询query 基于规定的条件，从数据库中直接提取数据或导出数据的请求。 [来源：GB/T5271.17-2010，定义17.07.08] 3. 5 索引 index 种单独的、物理的对数据库表中一列或多列的值进行排序的一种存储结构，它是某个表中一列或 若干列值的集合和相应的指向表中物理标识这些值的数据页的逻辑清单。 [来源：YD/T3774-2020，定义3.1.24] 3 ( 节点 node 连接至网络中的一个连接点，具体的定义根据所应用的网络和协议各有不同。在分布式系统中，一 个节点指代系统中一台连接至网络的计算或存储设备。 4缩略语 1 T/CCSA 573—2024 下列缩略语适用于本文件。 ANNS：最近邻检索（Approximate Nearest Neighbors Search) API：应用编程接（Application Programming Interface） CLI：命令行界面（Command Line Interface） CPU：中央处理器（Central Processing Unit） DDL：数据定义语言（Data Definition Language） FPGA：现场可编程逻辑门阵列（Field Programmable Gate Array） GPU：图形处理器（Graphics Processing Unit） GUI：图形用户界面（GraphicalUserInterface） HNSW：分层-可导航-小世界-图算法（Hierarchical Navigable Small World graphs） IVF-PQ：基于量化的向量检索算法（Indexed Vector Fields － Probabilistic Quantization） LSH：局部哈希敏感算法（Locality Sensitive Hashing） PQ：乘积量化算法（ProductQuantization） TTL：生命周期（Time-To-Live） Zstd：Zstandard无损压缩算法（Zstandard） 5总体框架 向量数据库是一种以向量嵌入方式存储和管理向量数据的数据库，其存储的向量主要来自于对文 本、语音、图像、视频等非结构化数据的向量化，向量数据库总体框架如图1。 运维管理 向量存储 向量数据 稠密向量 向量维度 数据导入 部署方式 监控巡检 参数配置 类型 半结构化 单行数据支持 向量存储 运维管理 备份与 稀疏向量 压缩 数据类型 多个向量字段 升级 恢复 接口 向量检索 故障节点恢复 系统日志 标量向量 近似检索 精确检索 向量索引 融合查询 数据筛选 CPU兼容性 游标读取 二进制距离 编程接口 兼容性 过滤重排序 节点动态 节点动态 安全性 权限管理 操作审计 身份认证 数据加密 扩展性 扩容 缩容 多模态数据 AI大模型开 高可用 数据高可用 服务高可用 应用 向量化能力 发工具集成 图1向量数据库总体框架 向量数据库总体框架如图1所示，具体包括如下： 向量存储：包括稠密向量、向量维度、向量数据类型、数据导入、稀疏向量、半结构化数据类 a) 型、单行数据支持多个向量字段、向量存储压缩等技术能力。 b) 向量检索：包括近似检索、精确检索、标量向量融合查询、向量索引、游标读取、二进制距离、 数据筛选过滤重排序、存储/计算异构的向量索引等技术能力。 运维管理：包括部署方式、监控巡检、参数配置、运维管理接口、升级、系统日志、备份与恢 c) 复等技术能力。 安全性：包括权限管理、操作审计、身份认证、数据加密等技术能力。 (p 兼容性：包括CPU 兼容性、编程接口等技术能力。 e) f) 扩展性：包括节点动态扩容和节点动态缩容等技术能力。 高可用：包括数据高可用和服务高可用等技术能力。 g) h) 应用：包括多模态数据向量化、AI大模型开发工具集成等技术能力。 2