(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210365443.5 (22)申请日 2022.04.07 (71)申请人 深圳TCL新技术有限公司 地址 518052 广东省深圳市南 山区西丽 街 道中山园路10 01号国际E城D4栋9 楼 (72)发明人 王蓝军　 (74)专利代理 机构 深圳紫藤知识产权代理有限 公司 44570 专利代理师 徐世俊 (51)Int.Cl. G06F 16/28(2019.01) G06F 16/27(2019.01) G06F 16/25(2019.01) G06F 16/23(2019.01) G06F 16/215(2019.01)G06F 9/54(2006.01) (54)发明名称 基于Kafka的媒资数据存储 方法、 装置、 电子 设备及存 储介质 (57)摘要 本申请公开了一种基于Kafka的媒资数据存 储方法、 装置、 电子设备及存储介质， 该方法包 括： 对待存储媒资数据进行预处理得到第一数 据， 并所述第一数据写入到分布式消息队列 Kafka中； 消费所述分布式消息队列Kafka， 以将 所述第一数据写入至数据运营层； 对 所述数据运 营层中的所述第一数据进行清洗转换得到第二 数据， 并将所述第二数据写入数据明细层； 对所 述数据明细层中的所述第二数据进行处理后， 将 处理后的所述第二数据写入到数据服务层。 实现 了在数据存储 过程中， 提高了数据写入和存储的 时效性， 同时降低了数据存储的冗余问题， 减少 了数据存 储空间。 权利要求书2页 说明书12页 附图4页 CN 114817419 A 2022.07.29 CN 114817419 A 1.一种基于Kafka的媒资数据存 储方法， 其特 征在于， 包括： 对待存储媒资数据进行预处理得到第 一数据， 并所述第 一数据写入到分布式消息队列 Kafka中； 消费所述分布式消息队列Kafka， 以将所述第一数据写入至数据运营层； 对所述数据运营层中的所述第 一数据进行清洗转换得到第 二数据， 并将所述第 二数据 写入数据明细 层； 对所述数据明细层中的所述第 二数据进行处理后， 将处理后的所述第 二数据写入到数 据服务层。 2.根据权利要求1所述的方法， 其特征在于， 所述对待存储媒资数据进行预处理， 并将 预处理后的第一数据写入到分布式消息队列Kafka 中， 包括： 对所述待存储媒资数据进行格式转换， 并识别所述待存储媒资数据中每一数据包含的 数据标签； 当所述待存储媒资数据完成格式转换时， 基于所述数据标签对完成格式转换后的所述 待存储媒资数据进行分类； 根据得到的分类结果， 将完成分类后的所述待存储媒资数据写入到分布式消息队列 Kafka的topic中。 3.根据权利 要求1所述的方法， 其特征在于， 所述消费所述分布式消息队列Kafka， 以将 所述第一数据写入至数据运营层， 包括： 消费所述分布式消息队列Kafka的topic， 得到所述第一数据； 对所述第一数据中每一数据进行 数据筛选和格式转换， 得到对应的第二数据； 将所述第二数据写入至数据运营层。 4.根据权利要求1所述的方法， 其特征在于， 所述在所述数据运营层对所述第 一数据进 行清洗转换， 并将清洗转换 得到的第二数据写入数据明细 层， 包括： 对所述第一数据进行数据解析和信 息提取， 得到所述第 一数据中每一数据对应的字段 信息； 将所述字段信息写入至对应的数据表格中， 并对所述数据表格进行异常值处理， 以所 述第一数据写入至数据明细 层中。 5.根据权利要求1所述的方法， 其特征在于， 所述对所述数据明细层中的所述第 二数据 进行处理后， 将处 理后的所述第二数据写入到数据服 务层， 包括： 基于所述第二数据所包含的数据类别， 创建各数据类别对应的关系表， 并基于所述关 系表对所述第二数据进行信息提取， 得到特 征信息； 根据所述特征信息， 确定所述第二数据的写入类型， 其中所述写入类型包括新增和更 新； 根据所述写入类型将所述第二数据基于所述关系表写入至数据服 务层中。 6.根据权利要求5所述的方法， 其特征在于， 所述根据所述特征信息， 确定所述第二数 据的写入类型， 包括： 根据所述特征信 息在已存储关系表中进行查询， 确定所述特征信 息是否存在于所述已 存储关系表中； 若所述特 征信息存在于所述已存 储关系表中， 则所述第二数据的写入类型为更新；权　利　要　求　书 1/2 页 2 CN 114817419 A 2若所述特 征信息不存在于所述已存 储关系表中， 则所述第二数据的写入类型为 新增。 7.根据权利要求1至 6中任一项所述的方法， 其特 征在于， 所述方法还 包括： 当接收到数据分析指令时， 识别所述数据分析指令包 含的数据标识； 根据所述数据标识在所述数据明细层中进行数据查询和分析得到第 一分析结果， 以及 在所述数据服 务层中进行 数据查询和分析 得到第二分析 结果； 将所述第一分析 结果和所述第二分析 结果进行汇总， 并展示汇总结果。 8.一种基于Kafka的媒资数据存 储装置， 其特 征在于， 包括： 数据处理模块， 用于对待存储媒资数据进行预处理得到第一数据， 并所述第一数据写 入到分布式消息队列Kafka 中； 第一写入模块， 用于消费所述分布式消息队列Kafka， 以将所述第一数据写入至数据运 营层； 第二写入模块， 用于对所述数据运营层中的所述第一数据进行清洗转换得到第二数 据， 并将所述第二数据写入数据明细 层； 第三写入模块， 用于对所述数据明细层中的所述第二数据进行处理后， 将处理后的所 述第二数据写入到数据服 务层。 9.一种电子设备， 其特征在于， 包括处理器、 存储器以及存储在所述存储器中且被配置 为由所述处理器执行 的计算机程序， 所述存储器与所述处理器耦接， 且所述处理器执行所 述计算机程序时， 实现如权利要求1至7任一项所述的基于Kafka的媒资数据存储方法中的 步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机程 序， 其中， 在所述计算机程序运行时控制所述计算机可读存储介质所在的设备执行如权利 要求1至7任一项所述的基于Kafka的媒资数据存 储方法中的步骤。权　利　要　求　书 2/2 页 3 CN 114817419 A 3