(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210543864.2 (22)申请日 2022.05.18 (71)申请人 浙江工商大 学 地址 310012 浙江省杭州市西湖区教工路 149号 (72)发明人 刘东升　刘礼芳　陈亚辉　刘彦妮　 (74)专利代理 机构 杭州惟臻专利代理事务所 (普通合伙) 33398 专利代理师 陈辉 (51)Int.Cl. G06V 10/774(2022.01) G06N 3/04(2006.01) G06V 10/82(2022.01) G06V 10/44(2022.01) G06V 40/16(2022.01) (54)发明名称 基于深度学习的分布式异构数据处理方法、 装置和设备 (57)摘要 本公开的实施例公开了基于深度学习的分 布式异构数据处理方法、 装置和设备。 该方法的 一具体实施方式包括： 确定节点信息组序列； 根 据节点信息组序列中的每个节点信息组对应的 节点配置信息和模型结构信息， 确定节点信息组 对应的训练样本集合； 对节点信息组对应的训练 样本集合中的训练样本进行样 本重构， 以生成目 标训练样 本集合； 通过子模型对应的目标训练样 本集合， 对子模型进行模型训练， 以生成子训练 结果； 响应于确定得到的多个子训练结果均收 敛， 根据各个子模型中的子模型对应的当前模型 参数信息， 生成训练完成的初始模型。 该实施方 式提高了分布式中的节点的节 点使用效率、 且提 高模型训练效率。 权利要求书3页 说明书11页 附图3页 CN 115063647 A 2022.09.16 CN 115063647 A 1.一种基于深度学习的分布式异构数据处 理方法， 包括： 确定节点信息组序列， 其中， 所述节点信息组序列中的每个节点信息组对应的节点组 部署有初始模型包括的各个子模型中的一个子模型； 根据所述节点信 息组序列中的每个节点信 息组对应的节点配置信 息和模型结构信 息， 确定所述节点信息组对应的训练样本集合， 其中， 模型结构信息表征节点信息组对应的子 模型的模型 结构； 对于所述节点信 息组序列中的每个节点信 息组， 根据所述节点信 息组对应的模型结构 信息， 对所述节点信息组对应的训练样本集合中的训练样本进行样本重构， 以生成目标训 练样本集 合； 对于所述各个子模型中的每个子模型， 通过所述子模型对应的目标训练样本集合， 对 所述子模型进行模型训练， 以生成子训练结果； 响应于确定得到的多个子训练结果均收敛， 根据 所述各个子模型中的子模型对应的当 前模型参数信息， 生成训练完成的初始模型。 2.根据权利要求1所述的方法， 其中， 所述确定节点信息组序列， 包括： 获取初始 节点信息序列； 确定所述各个子模型中的每 个子模型对应的算力需求信息； 对于所述各个子模型中的每个子模型， 根据所述子模型对应的算力需求信息， 从所述 初始节点信息序列中筛 选出与所述子模型对应的初始 节点信息 子集， 作为节点信息组。 3.根据权利要求2所述的方法， 其中， 节点配置信息包括： 任务调度器配置信息、 内存配 置信息和数据处理器配置信息， 内存配置信息包括： 内存大小信息， 内存读写速度信息； 以 及 所述根据所述节点信息组序列中的每个节点信息组对应的节点配置信息和模型结构 信息， 确定所述节点信息组对应的训练样本集 合， 包括： 根据所述节点信 息组对应的节点配置信 息包括的任务调度器配置信 息， 确定所述节点 信息组对应的节点组的任务调度能力 信息； 根据所述节点信息组对应的节点配置信息包括的内存配置信息包括的内存大小信息 和内存读写速度信息， 确定所述节点信息组对应的节点组的内存缓存能力 信息； 根据所述节点信 息组对应的节点配置信 息包括的数据处理器配置信 息， 确定所述节点 信息组对应的节点组的数据处 理能力信息； 根据所述任务调度能力信息、 所述内存缓存能力信息、 所述数据处理能力信息和所述 模型结构信息， 确定所述节点信息组对应的节点组的训练样本需求信息； 根据所述训练样本需求信息， 确定所述节点信息组对应的训练样本集 合。 4.根据权利要求3所述的方法， 其中， 所述各个子模型包括： 人脸识别模型、 人种识别模 型和姿态 识别模型； 以及 所述对于所述各个子模型中的每个子模型， 通过所述子模型对应的目标训练样本集 合， 对所述子模型进行模型训练， 以生成子训练结果， 包括： 响应于确定所述子模型为所述人脸识别模型， 通过所述人脸识别模型对应的目标训练 样本集合， 对所述人脸识别模型进行模型训练， 以生成所述人脸识别模型对应的子训练结 果；权　利　要　求　书 1/3 页 2 CN 115063647 A 2响应于确定所述子模型为所述人种识别模型， 通过所述人种识别模型对应的目标训练 样本集合， 对所述人种识别模型进行模型训练， 以生成所述人种识别模型对应的子训练结 果； 响应于确定所述子模型为所述姿态识别模型， 通过所述姿态识别模型对应的目标训练 样本集合， 对所述姿态识别模型进行模型训练， 以生成所述姿态识别模型对应的子训练结 果。 5.根据权利要求4所述的方法， 其中， 所述根据所述各个子模型中的子模型对应的当前 模型参数信息， 生成训练完成的初始模型， 包括： 响应于确定人脸识别模型对应的子训练结果收敛， 确定人脸识别模型的当前模型参 数， 以生成人脸识别模型对应的当前模型参数信息； 响应于确定人种识别模型对应的子训练结果收敛， 确定人种识别模型的当前模型参 数， 以生成人种识别模型对应的当前模型参数信息； 响应于确定姿态识别模型对应的子训练结果收敛， 确定姿态识别模型的当前模型参 数， 以生成姿态 识别模型对应的当前模型参数信息； 根据得到的多个当前模型参数信息， 对所述初始模型进行模型参数更新， 以生成候选 初始模型。 6.根据权利要求5所述的方法， 其中， 所述根据所述各个子模型中的子模型对应的当前 模型参数信息， 生成训练完成的初始模型， 还 包括： 从所述各个子模型对应的多个训练样本集合中抽取训练样本， 以生成目标样本， 得到 目标样本集 合； 通过所述目标样本集 合对所述 候选初始模型进行模型训练； 响应于确定所述候选初始模型对应的目标训练结果收敛， 生成所述训练完成的初始模 型。 7.根据权利要求6所述的方法， 其中， 所述方法还 包括： 获取目标图像， 其中， 所述目标图像包 含目标对象； 将所述目标图像输入所述训练完成的初始模型， 以生成所述目标图像对应的用户身份 信息， 其中， 所述用户身份信息包括： 人脸 位置信息、 人种信息和用户姿态信息； 根据所述用户身份信息包括的人脸位置信息、 人种信息和用户姿态信息， 对所述目标 图像进行图像标注， 以生成标注后的目标图像； 对所述标注后的目标图像进行图像存 储。 8.一种基于深度学习的分布式异构数据处 理装置， 包括： 信息确定单 元， 被配置成确定节点信息组序列； 样本确定单元， 被配置成根据 所述节点信 息组序列中的每个节点信 息组对应的节点配 置信息和模型结构信息， 确定所述节 点信息组对应的训练样本集合， 其中， 模型结构信息表 征节点信息组对应的子模型的模型 结构； 样本重构单元， 被配置成对于所述节点信息组序列中的每个节点信息组， 根据所述节 点信息组对应的模型结构信息， 对所述节点信息组对应的训练样本集合中的训练样本进 行 样本重构， 以生成目标训练样本集 合； 模型训练单元， 被配置成对于所述各个子模型中的每个子模型， 通过所述子模型对应权　利　要　求　书 2/3 页 3 CN 115063647 A 3