(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211326187.5 (22)申请日 2022.10.27 (71)申请人 中国银联股份有限公司 地址 201203 上海市浦东 新区含笑路36号 (72)发明人 骆浩楠　王钰　蒋海俭　俞晓强　 闵青　 (74)专利代理 机构 北京市中伦律师事务所 11410 专利代理师 操寒 (51)Int.Cl. G06F 16/9535(2019.01) G06Q 30/06(2012.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06F 40/30(2020.01)G06F 16/35(2019.01) (54)发明名称 推荐模型训练方法、 推荐方法、 装置及计算 机可读存 储介质 (57)摘要 本发明提供了一种推荐模型训练方法， 推荐 方法、 装置及计算机可读存储介质， 推荐模型包 括： 第一BERT网络、 第二BERT网络和预测网络， 该 方法包括： 获取训练样本， 训练样本包括： 用户针 对历史营销活动的历史响应行为， 候选营销活动 的文本数据以及用户针对候选营销活动的响应 标签； 根据历史响应行为构建时序数据， 将时序 数据输入第一BERT网络， 以提取具有时序动态权 重的时序特征； 根据候选营销活动的文本数据构 建营销活动特征， 将营销活动特征输入第二BERT 网络， 以提取语义特征； 将时序特征和语义特征 输入预测网络， 得到用户对于候选营销活动的响 应概率， 利用响应概率和响应标签训练推荐模 型。 利用上述方法， 能够实现精准推荐。 权利要求书2页 说明书10页 附图3页 CN 115525831 A 2022.12.27 CN 115525831 A 1.一种推荐模型训练方法， 其特征在于， 所述推荐模型包括： 第一BERT网络、 第二BERT 网络和预测网络， 包括： 获取训练样本， 所述训练样本包括： 用户针对历史营销活动的历史响应行为， 候选营销 活动的文本数据以及用户针对所述 候选营销活动的响应标签； 根据所述历史响应行为构建时序数据， 将所述时序数据输入第一BERT网络， 以提取具 有时序动态权 重的时序特 征； 根据所述候选营销活动的文本数据构建营销活动特征， 将所述营销活动特征输入第 二 BERT网络， 以提取语义特 征； 将所述时序特征和所述语义特征输入预测网络， 得到所述用户对于所述候选营销活动 的响应概 率， 利用所述响应概 率和所述响应标签训练所述推荐模型。 2.根据权利要求1所述的方法， 其特征在于， 根据所述历史响应行为构建时序数据,还 包括： 获取所述用户针对最近N次历史营销活动的N个历史响应行为， 生成第一时序数据； 对所述行为序列进行MLM预训练任务， 输出第二时序数据； 对所述第二行为序列进行词嵌入处 理， 输出第三时序数据作为所述时序数据。 3.根据权利要求1所述的方法， 其特征在于， 所述训练样本还包括： 所述用户的静态属 性信息， 所述方法还 包括： 对用户的所述静态属性信息进行词嵌入处 理， 加入所述时序数据。 4.根据权利要求2所述的方法， 其特 征在于， 生成第一时序数据,还 包括： 获取所述用户针对最近N次历史营销活动的N个历史响应行为， 并进行向量 化处理； 根据时间关系确定每 个所述历史营销活动与所述 候选营销活动的相关性； 根据所述相关性确定对应于每 个所述历史营销活动的权 重； 根据所述历史响应行为和所述权 重， 生成所述时序数据。 5.根据权利要求4所述的方法， 其特征在于， 根据时间关系确定每个所述历史营销活动 与所述候选营销活动的相关性， 还 包括： 根据每个所述历史营销活动距离当前的时间差 定义时序衰减情况； 根据所述时序衰减情况确定所述相关性。 6.根据权利要求4所述的方法， 其特征在于， 根据时间关系确定每个所述历史营销活动 与所述候选营销活动的相关性， 还 包括。 7.根据权利要求6所述的方法， 其特征在于， 利用所述Transformer编码器的位置编码 机制对所述行为序列进行时序编码， 还 包括： 其中， 利用如下公式定义时序编码规则： 其中， TE(t,2i)为时序t的时序编码向量 的第2i维， TE(t,2i+1)为时序t的时序编码向 量的第2i+1 维， dmodel是时序编码向量的维度。权　利　要　求　书 1/2 页 2 CN 115525831 A 28.根据权利要求1所述的方法， 其特征在于， 所述候选营销活动的文本数据包括： 获取 所述候选营销活动的文案信息、 权益信息和 属性信息中的一种或多种。 9.根据权利要求1所述的方法， 其特征在于， 将所述 时序特征和所述语义特征输入预测 网络之后， 还 包括： 利用如下公式学习所述时序特 征Vu与指定的所述 候选营销活动Vs之间的相关性关系： 其中， 所述Vi是指所述用户u的第i个消费响应行为， 取值为1 ‑N之间的正整数， Vs为指定 营销活动， wi＝g(Vi,Vs)是指待学习的Vi和Vs之间的相关性关系。 10.根据权利要求1所述的方法， 其特征在于， 利用所述响应概率和所述响应标签训练 所述推荐模型， 还 包括： 定义动态权重Wi＝f(Vu,Vs)， 所述Wi为待训练的模型参数， 是指所述行为序列Vu与所述 候选营销活动Vs之间的相关性权 重； 将所述动态权 重Wi加入改进损失函数LOS S， 以训练所述推荐模型。 11.根据权利要求1所述的方法， 其特 征在于， 获取训练样本， 还 包括： 根据用户在不同消费平台的历史消费信 息构建营销网络， 通过图算法形成营销族群划 分方案； 获取营销族群中的多个用户的多平台历史消费信息， 获取 所述训练样本生成样本集。 12.一种推荐方法， 其特 征在于， 包括： 获取用户先前一段时间的历史营销活动响应序列， 输入利用如权利要求1 ‑11中任一项 所训练出的推荐模型， 得到推荐的目标 营销活动。 13.一种推荐模型的训练装置， 其特 征在于， 包括： 至少一个处理器； 以及， 与至少一个处理器通信连接的存储器； 其中， 存储器存储有可 被至少一个处理器执行 的指令， 指令被至少一个处理器执行， 以使至少一个处理器能够执 行： 如权利要求1 ‑11中任一项所述的方法。 14.一种推荐装置， 其特 征在于， 包括： 至少一个处理器； 以及， 与至少一个处理器通信连接的存储器； 其中， 存储器存储有可 被至少一个处理器执行 的指令， 指令被至少一个处理器执行， 以使至少一个处理器能够执 行： 如权利要求12所述的方法。 15.一种计算机可读存储介质， 所述计算机可读存储介质存储有程序， 当所述程序被多 核处理器执行时， 使 得所述多核处理器执行如权利要求 1‑11中任一项 所述方法或权利要求 12所述的方法。权　利　要　求　书 2/2 页 3 CN 115525831 A 3