全网唯一标准王
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211324298.2 (22)申请日 2022.10.27 (71)申请人 杭州用九智汇科技有限公司 地址 310000 浙江省杭州市余杭区五常街 道西坝路51号B座217室 (72)发明人 冯春培 张英 王世纪 薛峰  张俊 林博 邱伟峰 楼景华  沈健 赵雯尔  (74)专利代理 机构 浙江英普律师事务所 3 3238 专利代理师 王炎军 (51)Int.Cl. G06F 16/906(2019.01) G06F 16/22(2019.01) G06F 9/50(2006.01) G06F 9/48(2006.01)G06F 9/455(2006.01) (54)发明名称 一种快速分类分级方法 (57)摘要 本发明公开了一种快速分类分级方法, 包 括: 数据分类分级模块、 分流解析模块、 多个识别 处理模块, 识别处理模块还包括识别处理模块 一、 识别处理模块二和识别处理模块三, 分类分 级模块与识别处理模块一、 识别处理模块二和识 别处理模块三交互连接, 识别处理模块一、 识别 处理模块二和识别处理模块三与分流解析模块 连接, 采用 将单个字段拼接, 通过大字段进行识 别传输, 加快后期解析速度, 针对每个库和表进 行分类分级, 针对多个类型识别器, 可 以将各种 类型识别器进行标号, 放置在一个总的类型识别 中, 这样在进行识别时, 可以进行一次操作, 就将 所有的类型识别器执行完成, 并通过结果中的标 号来匹配具体是哪种类型, 加快反馈速度, 提高 数据传输 速度。 权利要求书1页 说明书5页 附图1页 CN 115470391 A 2022.12.13 CN 115470391 A 1.一种快速分类分级方法, 其特征在于, 包括: 数据分类分级模块、 分流解析模块、 多个 识别处理模块, 识别处理模块还包括识别处理模块一、 识别处理模块二和识别处理模块三, 分类分级模块与识别处理模块一、 识别处理模块二和识别处理模块三交互连接, 识别处理 模块一、 识别处 理模块二和识别处 理模块三与分流 解析模块连接; 其中, 数据分类分级模块用于对多个数据库进行分别分类和分级处 理; 其中, 数据分类分级模块中还 包括调度模块, 用于对数据库进行分配调度; 其中, 数据分类分级模块中还包括解析模块, 解析模块为服务器识别处理, 通过rpc调 用到其它应用分析机器进行 数据处理, 处理完成后, 返回分析 结果到分类分级模块中; 其中, 数据分类分级模块还包括组装模块, 根据解析模块的分析结果, 和分配数据库的 分配数据进行对应, 组装数据, 一 起写入到分析 结果数据库中进行存 储。 2.根据权利要求1所述的一种快速分类分级方法, 其特征在于: 数据分类分级模块中分 类根据数据的用途和含义去定义数据, 分级依据数据分类的结果以及数据价值对数据进 行 分级, 不同数据库和数据表采用不同分类分级方法。 3.根据权利要求1所述的一种快速分类分级方法, 其特征在于: 在数据分类分级模块中 的调度模块中, 每个服务器根据分配的数据库进行分类分级, 调度服务器通过分类分级应 用调用不同的应用服 务器进行分类分级识别处 理。 4.根据权利要求1所述的一种快速分类分级方法, 其特征在于: 在识别处理模块一、 识 别处理模块二和识别处理模块三中, 根据每个数据库中表的数量分配线程数量, 每个表单 独分配一个线程, 组成线程并发, 单个线程识别单个表。 5.根据权利要求1所述的一种快速分类分级方法, 其特征在于: 识别处理模块一、 识别 处理模块二和识别处理模块三还包括数据组装模块, 在线程并发识别单个表完成后, 使用 BaseApiWrapeer进行组装识别数据和每 个表的原 始数据信息 。 6.根据权利要求1所述的一种快速分类分级方法, 其特征在于: 服务器采用linux虚拟 机服务器。 7.根据权利要求1所述的一种快速分类分级方法, 其特征在于: 在分流解析模块中, 使 用识别处理模块一、 识别处理模块二和识别处理模块三中数据 组装模块中的数据包, 对数 据包进行字段拼接和处 理器组装。 8.根据权利要求1所述的一种快速分类分级方法, 其特征在于: 数据分类分级模块中还 包括数据冗余模块, 在分类分级模块中出现字段多处重复统一通过数据冗余模块记录保 存。权 利 要 求 书 1/1 页 2 CN 115470391 A 2一种快速分类分级方 法 技术领域 [0001]本发明涉及数据处 理技术领域, 具体为 一种快速分类分级方法。 背景技术 [0002]随着监管合规的不断深入, 公司主体对系统数据的认识要求越来越高, 这其中重 要的一环, 就是对数据按照国家法律法规要求进 行分类分级但是目前的分类分级主要有以 下问题, 数据量比较大, 要识别的类型比较多; 比如在关系型数据库中, 会发现包含有很多 个数据库, 每个数据库中包含有多张表, 每个表中包含有多个字段, 每个字段都会有多行数 据, 特别的有的表会包含百万, 千万数据; 识别的类型多 是指数据的种类多, 包含隐私数据, 财务数据, 位置数据, 等等; 比如一家公司有20个库, 每个库10张表, 每个表10个字段, 每个 字段会有万行以上数据; 如果识别的类型为50种类型, 则需要进 行操作20*10*10*100(抽样 万行数据)*50=10000000次, 每次运行1ms, 则需要运行1w秒, 大概需要2.8个小时才能运行 完成, 整体处 理速度较慢, 大 大影响数据的传输, 为此, 需要一种快速分类分级方法。 发明内容 [0003]本发明的目的在于提供一种快速分类分级方法, 以解决上述背景技术中提出的问 题。 [0004]为实现上述目的, 本发明提供如下技术方案: 一种快速分类分级方法, 包括: 数据 分类分级模块、 分流解析模块、 多个识别处理模块, 识别处理模块还包括识别处理模块一、 识别处理模块二和识别处理模块三, 分类分级模块与识别处理模块一、 识别处理模块二和 识别处理模块三交互连接, 识别处理模块一、 识别处理模块二和识别处理模块三与分流解 析模块连接; [0005]其中, 数据分类分级模块用于对多个数据库进行分别分类和分级处 理; [0006]其中, 数据分类分级模块中还 包括调度模块, 用于对数据库进行分配调度; [0007]其中, 数据分类分级模块中还包括解析模块, 解析模块为服务器识别处理, 通过 rpc调用到其它应用分析机器进行数据处理, 处理完成后, 返回分析结果到分类分级模块 中; [0008]其中, 数据分类分级模块还包括组装模块, 根据解析模块的分析结果, 和分配数据 库的分配数据进行对应, 组装数据, 一 起写入到分析 结果数据库中进行存 储。 [0009]优选的, 数据分类分级模块中分类根据数据的用途和含义去定义数据, 分级依据 数据分类的结果以及数据价值对数据进行分级, 不同数据库和数据表采用不同分类分级方 法。 [0010]优选的, 在数据分类分级模块中的调度模块中, 每个服务器根据分配 的数据库进 行分类分级, 调度服务器通过分类分级应用调用不同的应用服务器进行分类分级识别处 理。 [0011]优选的, 在识别处理模块一、 识别处理模块二和识别处理模块三中, 根据每个数据说 明 书 1/5 页 3 CN 115470391 A 3

PDF文档 专利 一种快速分类分级方法

文档预览
中文文档 8 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共8页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种快速分类分级方法 第 1 页 专利 一种快速分类分级方法 第 2 页 专利 一种快速分类分级方法 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-02-24 01:00:29上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。