(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210676387.7 (22)申请日 2022.06.15 (71)申请人 中国工商银行股份有限公司 地址 100140 北京市西城区复兴门内大街 55号 (72)发明人 高亦然　 (74)专利代理 机构 北京康信知识产权代理有限 责任公司 1 1240 专利代理师 周春枚 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/77(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/56(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 图像描述信息的生 成方法及其系统、 电子设 备及存储介质 (57)摘要 本发明公开了一种图像描述信息的生成方 法及其系统、 电子设备及存储介质， 涉及人工智 能领域， 其中， 该生成方法包括： 接收待处理图 像， 并对待处理图像进行分割， 得到多张分割后 的子图像， 基于子图像以及每张子图像对应的 图 像序列信息， 构建初始特征向量， 向初始特征向 量注入预设权重信息， 得到权重特征向量， 对权 重特征向量进行解码， 生成候选信息序列， 并解 析候选信息序列， 得到多个图像描述信息， 选取 最高评估分值表征的图像描述信息作为待处理 图像的目标图像描述信息。 本发 明解决了相关技 术中生成的图像描述信息存在逻辑混乱以及情 感分析容 易出现歧义的技 术问题。 权利要求书2页 说明书12页 附图6页 CN 115049877 A 2022.09.13 CN 115049877 A 1.一种图像描述信息的生成方法， 其特 征在于， 包括： 接收待处 理图像， 并对所述待处 理图像进行分割， 得到多张分割后的子图像； 基于所述子图像以及每张所述子图像对应的图像序列信息， 构建初始特 征向量； 向所述初始特 征向量注入预设权 重信息， 得到 权重特征向量； 对所述权重特征向量进行解码， 生成候选信 息序列， 并解析所述候选信息序列， 得到多 个图像描述信息， 其中， 每 个所述图像描述信息对应有一个信息 评估分值； 选取最高评估分值表征的图像描述信息作为所述待处 理图像的目标图像描述信息 。 2.根据权利要求1所述的生成方法， 其特 征在于， 在接收待处 理图像之后， 还 包括： 获取预设图像信息， 其中， 所述预设图像信息包括下述至少之一： 颜色、 边界、 灰度； 基于所述预设图像信息， 对所述待处 理图像进行 预处理。 3.根据权利要求1所述的生成方法， 其特征在于， 对所述待处理图像进行分割， 得到多 张分割后的子图像的步骤， 包括： 对所述待处理图像进行识别， 得到目标信息， 其中， 所述目标信息包括下述至少之一： 物体、 场景； 基于所述目标信息， 对所述待处 理图像进行分割， 得到多张分割后的所述子图像。 4.根据权利要求1所述的生成方法， 其特征在于， 在向所述初始特征向量注入预设权重 信息， 得到 权重特征向量之后， 还 包括： 在所述待处理图像为连续图像集合中的某一中间图像的情况下， 接收前一图像的编码 信息， 其中， 所述中间图像为所述连续图像集合中除了开始图像的任何一张图像， 所述前一 图像为在所述连续图像集合的时间序列上， 相对于所述待处理图像所 处时间的前一时间的 图像； 将所述编码信息注入到所述权 重特征向量， 得到目标权 重特征向量。 5.根据权利要求4所述的生成方法， 其特征在于， 在将所述编码信 息注入到所述权重特 征向量， 得到目标权 重特征向量之后， 还 包括： 基于预设降维策略， 对所述目标权 重特征向量进行降维， 得到降维特 征向量； 判断所述降维特征向量是否存在相似分类关系， 得到判断结果， 其中， 所述相似分类关 系是指存在权 重值相等的图像描述信息； 在所述判断结果指示所述降维特征向量存在相似分类关系的情况下， 将所述前一图像 中的图像描述信息作为所述待处 理图像中的图像描述信息 。 6.根据权利要求4所述的生成方法， 其特征在于， 在解析所述候选信息序列， 得到多个 图像描述信息之后， 还 包括： 基于预设评估策略， 对所述多个图像描述信息进行评估， 得到每个所述图像描述信息 对应的信息 评估分值； 对所述信息 评估分值进行排序， 得到排序结果； 基于所述排序结果， 选择位于预设位数之前的所有所述信息评估分值为目标评估分 值； 在所述待处理图像不是所述连续图像集合中最后一张图像的情况下， 将所述目标评估 分值指示的图像描述信息的编码信息传入下一张图像的图像描述信息生成过程中。 7.一种图像描述信息的生成系统， 其特 征在于， 包括：权　利　要　求　书 1/2 页 2 CN 115049877 A 2图像信息解析模块， 用于接收待处理图像， 并对所述待处理图像进行分割， 得到多张分 割后的子图像， 基于所述子图像以及每张所述子图像对应的图像序列信息， 构建初始特征 向量， 将所述初始特 征向量传送至图像信息编码模块； 图像信息编码模块， 与所述图像信 息解析模块连接， 用于接收所述初始特征向量， 并向 所述初始特征向量注入预设权重信息， 得到权重特征向量， 将所述权重特征向量传送至信 息编码处 理模块； 语法检查评估模块， 与所述图像信息编码模块以及图像描述生成模块连接， 用于向所 述图像信息编 码模块传输所述预设权重信息， 并接收所述图像描述生成模块传送的图像描 述信息， 对所述图像描述信息进行评估， 将得到的信息评估分值返回至所述图像描述生成 模块； 信息编码处理模块， 与所述图像信 息编码模块连接， 用于接收所述权重特征向量， 并对 所述权重特征向量进行解码， 生成候选信息序列， 并将所述候选信息序列传送至所述图像 描述生成模块； 图像描述生成模块， 与所述信息编码处理模块连接， 用于接收所述候选信息序列， 并解 析所述候选信息序列， 得到多个图像描述信息， 选取最高评估分值表征 的图像描述信息作 为所述待处理图像的目标图像描述信息， 其中， 每个所述图像描述信息对应有一个信息评 估分值。 8.根据权利要求7 所述的生成系统， 其特 征在于， 所述语法检查评估 模块包括： 权重信息处理单元， 用于接收所述预设权重信息， 其中， 所述预设权重信息至少包括： 动作权重信息、 位置 权重信息、 主从权 重信息； 继承信息处理单元， 用于在所述待处理图像为连续图像集合中的某一中间图像的情况 下， 接收前一图像的编码信息， 并将所述编码信息注入到所述权重特征向量， 其中， 所述中 间图像为所述连续图像集合中除了开始图像的任何一张图像， 所述前一图像为在所述连续 图像集合的时间序列上， 相对于所述待处 理图像所处时间的前一时间的图像； 图像描述评估单元， 用于基于预设评估策略， 对所述图像描述信 息进行评估， 得到每个 所述图像描述信息对应的信息 评估分值。 9.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质包括存储的计算 机程序， 其中， 在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行权利 要求1至6中任意一项所述的图像描述信息的生成方法。 10.一种电子设备， 其特征在于， 包括一个或多个处理器和存储器， 所述存储器用于存 储一个或多个程序， 其中， 当所述一个或多个程序被所述一个或多个处理器执行时， 使得所 述一个或多个处 理器实现权利要求1至 6中任意一项所述的图像描述信息的生成方法。权　利　要　求　书 2/2 页 3 CN 115049877 A 3