(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211174872.0 (22)申请日 2022.09.26 (71)申请人 OPPO广东移动通信有限公司 地址 523860 广东省东莞 市长安镇乌沙海 滨路18号 (72)发明人 涂勇军　江秀　 (74)专利代理 机构 深圳市联鼎知识产权代理有 限公司 4 4232 专利代理师 刘抗美 (51)Int.Cl. G06V 20/00(2022.01) G06V 10/40(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 图像描述方法及装置、 电子设备、 存 储介质 (57)摘要 本公开实施例是关于一种图像描述方法及 装置、 电子设备、 存储介质， 涉及图像处理技术领 域， 该图像描 述方法包括： 获取待处理图像， 并对 所述待处理图像进行目标检测， 确定所述待处理 图像中包含的至少一个主体的主体信息； 根据所 述待处理图像中除各所述主体 之外的剩余图像， 获取背景信息； 对所述待处理图像中的主体进行 分类检测， 确定各所述主体的细节信息； 基于各 所述主体确定目标主体， 根据所述目标主体的所 述主体信息、 所述细节信息以及所述背景信息生 成所述待处理图像的描述信息。 本公开实施例中 的技术方案， 能够提高描述信息的准确性和全面 性。 权利要求书3页 说明书19页 附图7页 CN 115512213 A 2022.12.23 CN 115512213 A 1.一种图像描述方法， 其特 征在于， 包括： 获取待处理图像， 并对所述待处理图像进行目标检测， 确定所述待处理图像中包含的 至少一个主体的主体信息； 根据所述待处 理图像中除各 所述主体之外的剩余图像， 获取背景信息； 对所述待处 理图像中的主体进行分类 检测， 确定各 所述主体的细节信息； 基于各所述主体确定目标主体， 根据所述目标主体的所述主体信息、 所述细节信息以 及所述背景信息生成所述待处 理图像的描述信息 。 2.根据权利要求1所述的图像描述方法， 其特征在于， 所述对所述待处理图像进行目标 检测， 确定所述待处 理图像中包 含的至少一个主体的主体信息， 包括： 通过目标检测模型确定所述待处理图像中的所有主体的主体类别， 并获取各所述主体 的位置信息 。 3.根据权利要求1所述的图像描述方法， 其特征在于， 所述根据 所述待处理图像中除各 所述主体之外的剩余图像， 获取背景信息， 包括： 将各所述主体进行提取获取剩余图像， 并对所述剩余图像进行背景补齐获取补齐图 像； 通过目标检测模型对所述补齐图像进行识别， 得到背景类别作为背景信息 。 4.根据权利要求1所述的图像描述方法， 其特征在于， 所述对所述待处理图像中的主体 进行分类 检测， 确定各 所述主体的细节信息， 包括： 获取所述待处理图像的上下文图像， 结合所述上下文图像对待处理图像中的主体进行 分类检测， 确定各 所述主体的细节信息 。 5.根据权利要求4所述的图像描述方法， 其特征在于， 所述结合所述上下文图像对待处 理图像中的主体进行分类 检测， 确定各 所述主体的细节信息， 包括： 对所述待处 理图像的主体进行分类 检测， 获取主体的细节信息； 获取所述上下文图像中主体的参 考细节信息； 根据所述上下文图像的参考细节信 息以及所述待处理图像的细节信 息， 更新各所述主 体的细节信息 。 6.根据权利要求5所述的图像描述方法， 其特征在于， 所述根据 所述上下文图像中主体 的参考细节信息以及所述待处 理图像的细节信息， 更新各 所述主体的细节信息， 包括： 获取所述参考细节信息和所述细节信息的交集结果； 对所述交集结果进行合并获取所述参考细节信 息和所述细节信 息的并集结果， 以更新 所述细节信息 。 7.根据权利要求6所述的图像描述方法， 其特征在于， 所述对所述交集结果进行合并获 取所述参考细节信息和所述细节信息的并集结果， 以更新所述细节信息， 包括： 若根据所述交集结果确定所述参考细节信 息与所述细节信 息部分相似， 获取所述参考 细节信息和所述细节信息之 间的目标信息， 并根据所述目标信息对所述细节信息进行补充 得到并集结果， 以获取 所述主体的细节信息； 若根据所述交集结果确定所述参考细节信 息与所述细节信 息相似， 将所述参考细节信 息或所述细节信息确定为所述主体的细节信息 。 8.根据权利要求1所述的图像描述方法， 其特征在于， 所述细节信 息包括位置关系信 息权　利　要　求　书 1/3 页 2 CN 115512213 A 2以及属性信息； 所述根据 所述目标主体的所述主体信 息、 所述细节信 息以及所述背景信 息生成所述待 处理图像的描述信息， 包括： 根据所述 位置关系信息， 获取 所述目标主体关联的参 考主体； 将所述目标主体的所述主体信息、 所述属性信息、 所述背景信息以及所述参考主体的 细节信息进行组合， 获取 所述描述信息 。 9.根据权利要求8所述的图像描述方法， 其特征在于， 所述根据所述位置关系信息， 获 取所述目标主体关联的参 考主体， 包括： 根据所述位置关系信息中， 多个主体与所述目标主体之间的距离确定所述参考主体； 所述距离与所述 参考主体的关联程度负相关。 10.根据权利要求8所述的图像描述方法， 其特征在于， 所述将所述目标主体的所述主 体信息、 所述属性信息、 所述背 景信息以及所述参考主体的细节信息进 行组合， 获取所述描 述信息， 包括： 获取描述类型， 并将所述目标主体的所述主体信息、 所述属性信 息以及所述背景信 息、 所述参考主体的细节信息中的至少部分属性信息组合成满足所述描述类型的描述信息 。 11.根据权利要求10所述的图像描述方法， 其特征在于， 所述属性信 息包括至少一个动 作以及其 他属性信息； 所述将所述目标主体的所述主体信息、 所述属性信息以及所述背景信息、 所述参考主 体的细节信息中的至少部分属性信息组合成满足所述描述类型的描述信息， 包括： 根据至少一个动作的动作权 重， 确定所述目标主体的目标动作； 按照语言规则， 将所述目标主体的所述主体信 息、 所述目标动作、 其他属性信 息以及所 述背景信息、 所述 参考主体的至少部分属性信息组合成所述描述信息 。 12.根据权利要求5所述的图像描述方法， 其特征在于， 在获取所述上下文图像的参考 细节信息之前， 所述方法还 包括： 若存在上下文图像且所述待处理图像与 所述上下文图像之间的时间差小于时间阈值， 对所述上 下文图像进行主体识别， 获取 所述上下文图像中的主体信息； 将所述上下文图像中， 除所述主体之外的剩余图像进行目标检测， 获取所述上下文图 像的背景信息 。 13.根据权利要求1所述的图像描述方法， 其特征在于， 所述基于各所述主体确定目标 主体， 包括： 响应于选择操作， 将所述选择操作对应的主体确定为所述目标主体； 或 获取各主体的优先级信息， 并根据所述优先级信息确定目标主体。 14.一种图像描述方法， 其特 征在于， 包括： 获取待处理图像， 并生成所述待处理图像的描述信息； 所述描述信息根据所述待处理 图像中目标主体的主体信息、 细节信息以及背景信息生成； 对所述描述信息进行播 放， 以对所述待处 理图像进行阅读。 15.根据权利要求14所述的图像描述方法， 其特征在于， 所述对所述描述信息进行播 放， 包括： 通过文本方式或语音方式对所述描述信息进行播 放。权　利　要　求　书 2/3 页 3 CN 115512213 A 3