ICS35.040.50 CCS L71 团 准 体 标 T/CCSA 572—2024 搜索型数据库技术要求 Technical requirements of search-engine database 2024 - 11 - 11 发布 2025-01-01实施 发布 中国通信标准化协会 版权声明 本技术文件的版权属于中国通信标准化协会，任何单 位和个人未经许可，不得进行技术文件的纸质和电子等任 何形式的复制、印刷、出版、翻译、传播、发行、合订和 宣贯等，也不得引用其具体内容编制本协会以外各类标准 和技术文件。如果有以上需要请与本协会联系， 邮箱： IPR@ccsa. org. cn 电话：62302847 T/CCSA 572—2024 目 次 前言 II 引言 III 范围 1 规范性引用文件 术语和定义 3 缩略语. 4 总体框架 5 6基本能力技术要求 6.1数据内容检索 6. 2 索引 6. : 数据导入导出 数据存储 6. 4 6. F 数据一致性 6. 6 排序 6. 7 检索语法 6. 自定义插件. 6. 数据类型丰富度 7管理能力技术要求 7.1监控告警 7.2数据备份与恢复 7.：日志与审计 8兼容性技术要求 可扩展性技术要求. 9 10 高可用性技术要求 1 T/CCSA 572—2024 前言 本文件按照GB/T1.1一2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定 起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。 本文件由中国通信标准化协会提出并归口。 本文件起草单位：中国信息通信研究院、拓尔思信息技术股份有限公司、星环信息科技（上海）股 份有限公司、中国移动通信集团有限公司、阿里云计算有限公司、北京优特捷信息技术有限公司、郑州 信大捷安信息技术股份有限公司、科大讯飞股份有限公司、北京百度网讯科技有限公司、武汉达梦数据 库股份有限公司、甲骨文（中国）软件系统有限公司。 本文件主要起草人：刘思源、齐丹阳、刘蔚、马嘉慧、马鹏玮、姜春宇、田稼丰、李银松、谭力鸣、 吴德健、刘熙、黄鸿发、肖锋、江敏、王弘蔚、智文婷、李一佳、尹立亚、赵弘扬、牛俊、朱松、黎吾 平、尹鹏、陈文翰、倪修峰、王慧敏、刘为华、张晓阳、吕作、张义、武兆辉、苏照军、程静、温婧、 罗中伟。 II T/CCSA 572—2024 引言 为适应信息通信业发展对标准文件的需求，由中国通信标准化协会组织制定“中国通信标准化协会 团体标准”，推荐有关方面采用。有关对本标准的建议和意见，向中国通信标准化协会反映。 III T/CCSA 572—2024 搜索型数据库技术要求 1范围 本文件规定了搜索型数据库的技术要求，包括数据库基本能力、管理能力、兼容性、可扩展性和高 可用性等技术要求。 本文件适用于搜索型数据库的设计、开发、测试及应用能力的评价与指导，可供各行业组织参考。 2规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件， 仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本 文件。 GB/T5271.17 信息技术词汇第17部分：数据库 YD/T3774 大数据分布式分析型数据库技术要求与测试方法 3术语和定义 GB/T5271.17和YD/T3774界定的以及下列术语和定义适用于本文件。 3 数据库database 支持一个或多个应用领域，按概念结构组织的数据集合，其概念结构描述这些数据的特征及其对应 实体间的联系。 [来源：GB/T5271.17-2010，定义17.01.01] 3 2 查询query 基于规定的条件，从数据库中直接提取数据或导出数据的请求。 [来源：GB/T5271.17-2010，定义17.07.08] 3. 3 索引 index 种单独的、物理的对数据库表中一列或多列的值进行排序的一种存储结构，它是某个表中一列或 若干列值的集合和相应的指向表中物理标识这些值的数据页的逻辑清单。 [来源：YD/T3774-2020，定义3.1.24] 3. 4 节点node 连接至网络中的一个连接点，具体的定义根据所应用的网络和协议各有不同。在分布式系统中，一 个节点指代系统中一台连接至网络的计算或存储设备。 3.5 全文检索数据库full-textdatabase 一种支持对入库的文档内容进行分词和索引，提供全文查询并根据相关度算法及时返回最相关文 档的数据库系统。 3. 6 向量数据库vectordatabase -种以向量嵌入方式存储和管理向量数据的数据库，其存储的向量主要来自于对文本、语音、图像、 视频等非结构化数据的向量化。 1 T/CCSA 572—2024 4缩略语 下列缩略语适用于本文件。 API：应用程序接（ApplicationProgrammingInterface） BM25：最佳匹配25算法（BestMatching25） CPU:中央处理器（Central ProcessingUnit） TF-IDF：术语频率-文档逆向频率算法（TermFrequency-InverseDocumentFrequency） 5总体框架 搜索型数据库是一类专门用于数据内容搜索的非 通过对索引和检索过程的优化，以 高效处理和检索大规模文本、半结构化或非结构化数据 总体框架见图1。 基本能力 兼容性 数据内容检索 非结构化数据检素 地理信息查询 多语种支持 聚合分析 全文检素 向量检素 CPU兼容性 操作系统兼容性 数据导入导出 索引定义与管理 数据存储 数据导入 数据导出 扩展性 相关度排序基于字段值的排序】 排序 组合排序 检索语法 集群扩容 集群缩容 数据一致性 自定义插件 数据类型丰富度 高可用性 管理能力 监控告警 数据备份与恢复 数据备份 数据库监控 数据高可用 服务高可用 日志与审计 数据库告警 数据恢复 图1 搜索型数据库总体框架 如图1所示，搜索型数据库总体框架包括如下： 基本能力：包括数据内容检索、索引、数据导入导出、数据存储、数据一致性、排序、检索语 法、自定义插件、数据类型丰富度； 管理能力：包括监控告警、数据备份与恢复和日志与审计； b) 兼容能力：包括硬件兼容和操作系统兼容； 扩展能力：包括集群扩容和集群缩容； 高可用能力：包括数据高可用和服务高可用。 e) 基本能力技术要求 6 61 数据内容检索 具体要求如下： 非结构化数据检索：面向全文检索数据库，应支持分词检索；面向向量数据库，应支持图片、 a) 音视频等至少一种非结构化数据的内容检索； b) 全文检索：面向全文检索数据库，应支持模糊匹配、同义词查询、正则表达式、拼音检索、相 似性检索、词根检索、按词的位置关系检索等至少三种搜索方式； 向量检索：面向向量数据库，应支持向量相似性检索； ) 2