(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210768923.6 (22)申请日 2022.07.01 (71)申请人 北京沃东天骏信息技 术有限公司 地址 100176 北京市北京经济技 术开发区 科创十一 街18号院2号楼4层A402室 申请人 北京京东世纪贸易有限公司 (72)发明人 黎沛含　邢召龙　张克丰　王文生　 刘倩欣　原武军　裴杨　舒俊华　 (74)专利代理 机构 中原信达知识产权代理有限 责任公司 1 1219 专利代理师 韩黎捷　张效荣 (51)Int.Cl. G06F 16/23(2019.01) G06F 16/2455(2019.01) G06N 20/00(2019.01) (54)发明名称 一种模型训练数据的更新方法和装置 (57)摘要 本发明公开了一种模型训练数据的更新方 法和装置， 涉及计算机技术领域。 响应于模型训 练数据的更新请求， 分别将每个训练器节点的第 一参数服务器中的模型训练数据缓存至每个训 练器节点的第二参数服务器中； 对每个训练器节 点， 从目标训练器节点的第二参数服务器和除目 标训练器节点之外的非目标训练器节点的第二 参数服务器中获取模型训练数据； 使用所获取的 模型训练数据， 通过目标训练器节 点的训练器对 模型进行训练生成训练结果； 将训练结果保存至 各训练器节 点的第一参数服务器， 以使每个训练 器节点根据训练结果更新模型训练数据。 该实施 方式能够提高拉取和更新的通信速率， 降低数据 传输所耗费的时间， 提高模型的训练效率和训练 器资源的使用效率。 权利要求书4页 说明书14页 附图7页 CN 115129734 A 2022.09.30 CN 115129734 A 1.一种模型训练数据的更新方法， 其特 征在于， 包括： 响应于模型训练数据的更新请求， 分别将每个训练器节点的第 一参数服务器中的模型 训练数据缓存至所述每个训练器节点的第二参数服务器中， 所述第二参数服务器的访问速 度高于所述第一 参数服务器的访问速度； 对所述每个训练器节点， 从 目标训练器节点的第 二参数服务器和除所述目标训练器节 点之外的非目标训练器节点的第二 参数服务器中获取 所述模型训练数据； 使用所获取的模型训练数据， 通过所述目标训练器节点的训练器对模型进行训练， 生 成训练结果； 将所述训练结果保存至所述目标训练器节点的第一参数服务器和所述非目标训练器 节点的第一参数服务器中， 以使 所述每个训练器节点根据所述训练结果更新所述模型训练 数据。 2.根据权利要求1所述的方法， 其特征在于， 所述更新请求包括模型训练数据标识， 所 述响应于模型训练数据的更新请求， 分别将 每个训练器节点的第一参数服务器中的模型训 练数据缓存至所述每 个训练器节点的第二 参数服务器中， 包括： 根据所述模型训练数据标识， 分别将所述每个训练器节点的第 一参数服务器中与 所述 模型训练数据标识对应的模型训练数据缓存至所述每 个训练器节点的第二 参数服务器中。 3.根据权利要求2所述的方法， 其特征在于， 所述第 二参数服务器为高带宽 内存参数服 务器， 不同训练器节点的第二参数服务器之间通过多对多通信模式进行通信， 从除所述 目 标训练器节点之外的非目标训练器节点的第二参数服务器中获取所述模型训练数据， 包 括： 根据所述模型训练数据标识， 通过所述多对多通信模式从除所述目标训练器节点之外 的非目标训练器节点的第二参数服务器中获取与所述模型训练数据标识对应的模型训练 数据。 4.根据权利要求3所述的方法， 其特征在于， 在同一所述训练器节点中， 所述第一参数 服务器和所述第二参数服务器通过点对点通信模式进 行通信， 所述将每个训练器节点的第 一参数服务器中的模型训练数据缓存至所述每 个训练器节点的第二 参数服务器中， 包括： 根据所述模型训练数据标识， 通过所述点对点通信模式将所述每个训练器节点的第 一 参数服务器中与所述模型训练数据标识对应的模型训练数据缓存至所述每个训练器节点 的第二参数服务器中。 5.根据权利要求4所述的方法， 其特征在于， 将所述训练结果保存至所述非目标训练器 节点的第一 参数服务器中， 包括： 根据所述模型训练数据标识， 通过所述多对多通信模式将所述训练结果保存至所述非 目标训练器节点的第二 参数服务器中； 通过所述点对点通信模式将所述非目标训练器节点的第二参数服务器中的训练结果 保存至非目标训练器节点的第一 参数服务器中。 6.根据权利要求1所述的方法， 其特征在于， 所述使用所获取的模型训练数据， 通过所 述目标训练器节点的训练器对 模型进行训练， 生成训练结果， 包括： 对所获取的模型训练数据进行分批得到分批训练数据； 分别使用每一分批训练数据， 通过所述目标训练器节点的训练器对所述模型进行训权　利　要　求　书 1/4 页 2 CN 115129734 A 2练， 生成分批训练结果； 对所述分批训练结果进行汇总得到所述训练结果。 7.根据权利要求1所述的方法， 其特征在于， 所述更新请求包括多个批次的模型训练数 据标识； 所述从目标训练器节点的第二参数服务器和除所述目标训练器节点之外的非目标训 练器节点的第二 参数服务器中获取 所述模型训练数据， 包括： 根据每个批次的模型训练数据标识， 分别从目标训练器节点的第 二参数服务器和除所 述目标训练器节点之外的非目标训练器节点的第二参数服务器中获取每个批次的模型训 练数据作为分批训练数据； 所述使用所获取的模型训练数据， 通过所述目标训练器节点的训练器对模型进行训 练， 生成训练结果， 包括： 分别使用每一分批训练数据， 通过所述目标训练器节点的训练器对所述模型进行训 练， 生成分批训练结果； 对所述分批训练结果进行汇总得到所述训练结果。 8.一种模型训练数据的更新方法， 其特 征在于， 包括： 响应于模型训练数据的更新请求， 将第 一参数服务器中的模型训练数据缓存至第 二参 数服务器中， 所述第二参数服务器与所述第一参数服务器位于同一训练器节点， 且所述第 二参数服务器的访问速度高于所述第一 参数服务器的访问速度； 从所述第二参数服务器和与本训练器节点不同的第一训练器节点的第二参数服务器 中获取所述模型训练数据； 使用所获取的模型训练数据， 通过训练器对 模型进行训练， 生成训练结果； 将所述训练结果保存至所述第一参数服务器和所述第一训练器节点的第一参数服务 器中， 以使每 个训练器节点 根据所述训练结果更新所述模型训练数据。 9.根据权利要求8所述的方法， 其特征在于， 所述更新请求包括模型训练数据标识， 所 述响应于模型训练数据的更新请求， 将第一参数服务器中的模型训练数据缓存至第二参数 服务器中， 包括： 根据所述模型训练数据标识， 将第 一参数服务器中与 所述模型训练数据标识对应的模 型训练数据缓存至第二 参数服务器中。 10.根据权利要求9所述的方法， 其特征在于， 所述第二参数服务器为高带宽内存参数 服务器， 不同训练器节点的第二参数服务器之间通过多对多通信模式进行通信， 从与本训 练器节点 不同的第一训练器节点的第二 参数服务器中获取 所述模型训练数据， 包括： 根据所述模型训练数据标识， 通过所述多对多通信模式从所述第 一训练器节点的第 二 参数服务器中获取与所述模型训练数据标识对应的模型训练数据。 11.根据权利要求10所述的方法， 其特征在于， 在同一所述训练器节点中， 所述第一参 数服务器和所述第二参数服务器通过点对点通信模式进行通信， 所述将第一参数服务器中 的模型训练数据缓存至第二 参数服务器中， 包括： 根据所述模型训练数据标识， 通过所述点对点通信模式将所述第 一参数服务器中与 所 述模型训练数据标识对应的模型训练数据缓存至所述第二 参数服务器中。 12.根据权利要求11所述的方法， 其特征在于， 将所述训练结果保存至所述第 一训练器权　利　要　求　书 2/4 页 3 CN 115129734 A 3