(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210814682.4 (22)申请日 2022.07.12 (65)同一申请的已公布的文献号 申请公布号 CN 114896295 A (43)申请公布日 2022.08.12 (73)专利权人 云启智慧科技有限公司 地址 430024 湖北省武汉市江汉经济开发 区江兴路11号创智中心C 栋 (72)发明人 胡琦　严鹤　王俊　杨权　 (74)专利代理 机构 北京集智东方知识产权代理 有限公司 1 1578 专利代理师 吴倩 (51)Int.Cl. G06F 16/2457(2019.01) G06F 16/245(2019.01)G06F 16/25(2019.01) G06F 9/48(2006.01) G06F 9/50(2006.01) 审查员 陈飞 (54)发明名称 大数据场景下的数据脱 敏方法、 脱 敏装置及 脱敏系统 (57)摘要 本发明涉及一种大数据场景下的数据脱敏 方法、 脱敏装置及脱敏系统， 其包括： S1、 将作业 队列中的作业进行切分， 以形成若干脱敏任务队 列； S2、 对所述脱敏任务队列进行调度， 以将脱敏 任务分配至对应的数据脱敏单元； S3、 数据脱敏 单元按照脱敏规则对分配的脱敏任务进行数据 脱敏。 本发明采用自适应脱敏任务队列调度、 脱 敏任务线程数调度方法进行任务分配以及脱敏 线程数调整， 以提高脱敏效率， 以满足TB级大数 据的脱敏需求。 权利要求书2页 说明书7页 附图5页 CN 114896295 B 2022.10.04 CN 114896295 B 1.一种大 数据场景 下的数据脱敏 方法， 其特 征在于， 包括如下步骤： S1、 将作业队列中的作业进行切分， 以形成若干脱敏任务队列； S2、 对所述脱敏任务队列进行调度， 以将脱敏任务分配至对应的数据脱敏 单元； S3、 数据脱敏 单元按照脱敏规则对分配的脱敏任务进行 数据脱敏； 所述步骤S2包括如下步骤： S21、 获取当前数据脱敏单元服务器的负 载L， 且若该负 载L< ， 则执行下一步骤S22， 否则执行步骤S25， 其中， 为当前数据脱敏 单元服务器的最大负载； S22、 获取当前数据脱敏单元正在 执行的脱敏任务数T， 且若该脱敏任务数T< ， 则执 行下一步骤S23， 否则执行步骤S25， 其中， 为当前数据脱敏单元可执行的最大脱敏任务 数； S23、 获取当前数据脱敏单元服务器的CPU使用率C， 且若该CPU使用率C满足 则执行下一步骤S24， 否则执 行步骤S25； 其中， 为当前数据脱敏单元服务器的最大CPU使用率； CoreNum为当前数据脱敏单 元服务器的CPU核心数量； Avg(r)为N个数据脱敏单元在预定时间段内一共执行n个脱敏规 则时， 各数据脱敏 单元服务器的CPU平均使用率； r为脱敏规则类型； S24、 将至少一个脱敏任务分配至当前 数据脱敏 单元； S25、 重复步骤S21 ‑S24， 直至将每一脱敏任务分配至对应的数据脱敏 单元； 所述步骤S2中， 在将脱敏任务分配至对应的数据脱敏 单元后， 还包括如下步骤： S21’、 获取当前数据脱敏单元服务器的负载L， 且若该负载L< ， 则执行下一步骤 S22’， 否则执行步骤S25 ’， 其中， 为当前数据脱敏 单元服务器的最大负载； S22’、 获取当前数据脱敏单元执行当前脱敏任务时的线程数H， 且若该线程数H< ， 则执行下一步骤S23 ’， 否则执行步骤S25 ’， 其中， 为当前数据脱敏单元执行当前脱敏 任务时的最大线程数； S23’、 获取当前 数据脱敏 单元服务器的CPU 使用率C， 且若该CPU 使用率C满足 则执行下一步骤S24’， 否则执行步骤S25 ’； S24’、 增加当前数据脱敏 单元执行当前脱敏任务时的线程数； S25’、 重复步骤S21 ’ ‑S24’。 2.如权利要求1所述的数据脱敏 方法， 其特 征在于，Avg(r)根据下述公式获取： 权　利　要　求　书 1/2 页 2 CN 114896295 B 2其中， 为当前数据脱敏 单元在执行脱敏规则r时， 与其对应的数据脱敏 单元服务器的 CPU使用率。 3.一种用于实现权利要求1所述数据脱敏 方法的数据脱敏装置， 其特 征在于， 包括： Master节点， 其用于将作业队列中的作业进行切分， 以形成若干脱敏任务队列， 以及完 成脱敏任务队列调度和/或脱敏任务线程数调度； 以及若干W orker节点， 其用于按照脱敏规则对分配的脱敏任务进行 数据脱敏。 4.如权利要求3所述的数据脱敏装置， 其特 征在于， 所述Master 节点包括： 作业切分单 元， 其用于将作业队列中的作业进行切分， 以形成若干脱敏任务队列； 脱敏任务调度单元， 其用于对所述脱敏任务队列进行调度， 以将脱敏任务分配至对应 的数据脱敏 单元； 脱敏任务线程数调度单元， 其用于对数据脱敏单元执行脱敏任务时的线程数进行调 度。 5.如权利要求 4所述的数据脱敏装置， 其特 征在于， 所述Master 节点还包括： 监测分析器， 其用于获取W orker节点的工作运行 数据， 以及获取N个数据脱敏 单元在预 定时间段内一共执行n个脱敏规则时， 各数据脱敏单元服务器的CPU平均使用率Avg (r)。 6.如权利要求3所述的数据脱敏装置， 其特 征在于， 每一 Worker节点包括： 数据抽取器， 其用于按照抽取规则从明文数据源中抽取待 脱敏数据； 数据脱敏器， 其用于获取待脱敏数据， 且按照脱敏规则对分配的脱敏任务进行数据脱 敏； 以及数据装载器， 其用于根据装载规则将脱敏后的数据装载存 储至目标 数据源。 7.如权利 要求3所述的数据脱敏装置， 其特征在于， 所述Master节点与Worker节点为分 布式集群架构。 8.一种数据脱敏系统， 其特征在于， 包括： 明文数据源、 权利要求3 ‑7任一项所述的数据 脱敏装置以及目标 数据源。权　利　要　求　书 2/2 页 3 CN 114896295 B 3