(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210210795.3 (22)申请日 2022.03.03 (71)申请人 中国人民解 放军国防科技大 学 地址 410003 湖南省长 沙市开福区德雅路 109号 (72)发明人 罗廷金　周浩　 (74)专利代理 机构 北京风雅颂专利代理有限公 司 11403 专利代理师 李博瀚 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06T 5/00(2006.01) (54)发明名称 面向数据双重不平衡的降偏场景图生成方 法及系统 (57)摘要 本发明公开了一种面向数据双重不平衡的 降偏场景图生成方法及系统， 该方法包括： 获取 原图像； 将原图像输入到图像识别组合模型， 并 获取模型输出的多个对象候选区域及其对应的 对象类别； 根据多个对象候选区域和获取的平均 外部对象构建因果干预树， 并学习无偏关系特 征； 将无偏关系特征输入到根据 偏阻损失函数优 化后的分类器中， 并获取分类器输出的预测关 系； 根据图像识别结果和预测关系生成降偏场景 图。 本发明通过因果干预树来减少因数据不平衡 产生的上下文偏见， 消除虚假相关并学习无偏关 系特征， 同时通过偏阻损失函数优化分类器来减 少场景图生成任务中数据双重不平衡的偏见， 显 著提高了关系预测的准确度， 从而达到有效生成 降偏场景图的目的。 权利要求书4页 说明书14页 附图4页 CN 115546626 A 2022.12.30 CN 115546626 A 1.一种面向数据双重不平衡的降偏场景图生成方法， 其特 征在于， 包括： 获取原图像； 将所述原图像输入到预设的图像识别组合模型， 并获取所述图像识别组合模型输出的 图像识别结果； 所述图像识别结果包 含多个对象候选区域及其对应的对象类别； 获取平均外部对象， 根据多个所述对象候选区域和所述平均外部对象构建因果干预 树， 并基于所述因果干预树学习无偏关系特 征； 构建偏阻损失函数， 根据 所述偏阻损失函数优化分类器； 其中， 所述偏阻损失函数用于 解耦前景关系与背景关系的识别， 以及不同前 景关系的分类； 将所述无偏关系特征输入到优化后的所述分类器中， 并获取所述分类器输出的预测关 系； 根据所述图像识别结果和所述预测关系生成降偏场景图。 2.根据权利要求1所述的面向数据双重不平衡的降偏场景图生成方法， 其特征在于， 所 述获取平均外部对 象， 根据多个所述对 象候选区域和所述平均外部对 象构建因果干预树， 并基于所述因果干预树学习无偏关系特 征， 包括： 对于生成n个所述对象候选区域的所述原图像， 通过最小生成树算法构建n个初始节点 的初始树； 通过在所述初始树中增加一个附加节点构建(n+1)个节点的因果干预树； 所述附加节 点表示平均外 部对象； 对所述因果干预树中的每 个所述节点进行 特征赋予， 确定每 个所述节点的特 征； 将每个所述节点的特征输入门控循环单元网络， 通过所述门控循环单元网络对每一个 候选关系的主语对 象、 宾语对 象和平均外部对 象之间进行消息传递， 并通过全连接层输出 候选关系的l ogit向量。 3.根据权利要求2所述的面向数据双重不平衡的降偏场景图生成方法， 其特征在于， 所 述对所述因果干预树中的每 个所述节点进行 特征赋予， 确定每 个所述节点的特 征， 包括： 将所述因果干预树的每一个所述初始节点的特征设置为通过深度神经网络从对应的 所述对象候选区域中学习的对象特征， 并将所述因果干预树的所述附加节点的特征设置为 所述平均外部对象的特征； 所述平均外部对象的特征为通过移动平均方法对所有外部对象 的特征进行计算得到平均特 征。 4.根据权利要求1所述的面向数据双重不平衡的降偏场景图生成方法， 其特征在于， 所 述构建偏阻损失函数， 根据所述偏阻损失函数优化分类 器， 包括： 构建二分类损失函数， 所述 二分类损失函数用于识别前 景与背景关系； 构建多分类损失函数， 所述多分类损失函数用于分类各个前 景关系； 通过对所述二分类损失函数和所述多分类损失函数进行联合构建偏阻损失函数， 并对 分类器进行优化。 5.根据权利要求4所述的面向数据双重不平衡的降偏场景图生成方法， 其特征在于， 所 述构建二分类损失函数， 所述 二分类损失函数用于识别前 景与背景关系， 包括： 设定深度神经网络输出的logit向量为X＝(x0,x1,…,x|R|)， |R|为关系类别的数量， 并 设定logit向量对应的概率分布为P＝(p0,p1,…,p|R|)以及对应的真实标签向量为Y＝(y0, y1,…,y|R|)；权　利　要　求　书 1/4 页 2 CN 115546626 A 2获取用于前景与背景二分类所需的二维logit向量Xbf与所述深度神经网络输出的 logit向量X的第一 转换关系； 所述第一 转换关系为： 其中， x0、 xi分别为logit向量X中的第一个logit值和第i个logit值， 且i＝(1,2, …,|R |)； p0、 pi分别为概率分布P中的第一个 概率和第i个 概率； β 为第一权重 参数， 用于控制logit 向量X中背景关系类别； 获取用于前景与背景二分类所需的二维真实标签向量Ybf与所述logit向量X对应的所 述真实标签向量Y的第二 转化关系； 所述第二 转化关系为： 其中， y0为真实标签向量Y中的第一个真实关系标签； 根据二值交叉熵损失函数、 所述第 一转换关系和所述第 二转化关系构建二元类损失函 数lbf； 所述二元类损失函数lbf表示为： 其中， 为用于前景与背景二分类所需的lo git向量； 为用 于前景与背景二分类所需的真实标签向量； σ 为sigmoid函数； α为前景关系样本的权重参 数。 6.根据权利要求5所述的面向数据双重不平衡的降偏场景图生成方法， 其特征在于， 所 述构建多分类损失函数， 所述多分类损失函数用于分类各个前 景关系， 包括： 定义权重项ω， 该权 重项ω表示 为： 其中， r为 候选关系； 通过在softmax交叉熵损失函数中引入所述权重项ω， 构建多分类损失函数lfore； 所述 多分类损失函数lfore表示为： 其中， pj为概率分布P中的第j个概率， 且j＝(0,1,2, …,|R|)； yj为概率pj对应的真实关 系标签。 7.根据权利要求6所述的面向数据双重不平衡的降偏场景图生成方法， 其特征在于， 所 述构建多分类损失函数， 所述多分类损失函数用于分类各个前 景关系， 还 包括： 根据softm ax均衡损失函数更新所述多分类损失函数lfore中的概率pj， 更新后的所述概 率pj表示为：权　利　要　求　书 2/4 页 3 CN 115546626 A 3