(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210302717.6 (22)申请日 2022.03.25 (71)申请人 华为技术有限公司 地址 518129 广东省深圳市龙岗区坂田华 为总部办公楼 (72)发明人 李文硕　陈汉亭　郭健元　张子阳　 王云鹤　 (74)专利代理 机构 深圳市深佳知识产权代理事 务所(普通 合伙) 44285 专利代理师 陈松浩 (51)Int.Cl. G06V 10/44(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种图像处理方法、 神经网络的训练方法以 及相关设备 (57)摘要 本申请实施例公开一种图像处理方法、 神经 网络的训练方法以及相关设备， 该方法可将人工 智能技术应用于图像处理领域中， 方法包括： 通 过第一神经网络对待处理图像进行特征提取， 得 到待处理图像的特征信息； 前述通过第一神经网 络对待处理图像进行特征提取， 包括： 获取待处 理图像所对应的第一特征信息， 待处理图像包括 多个图像块， 第一特征信息包括图像块的特征信 息； 将至少两组图像块的特征信息依次输入LIF 模块， 得到LIF模块生成的目标数据； 根据目标数 据， 获取待处理图像包括图像块的更新后的特征 信息。 实现了通过LIF模块对单个的图像进行特 征提取， 进而能够实现将LIF模块应用于执行主 流的通用视 觉任务。 权利要求书3页 说明书20页 附图11页 CN 114821096 A 2022.07.29 CN 114821096 A 1.一种图像处 理方法， 其特 征在于， 所述方法包括： 将待处理图像输入第 一神经网络， 通过所述第 一神经网络对所述待处理图像进行特征 提取， 得到所述待处 理图像的特 征信息； 其中， 所述通过所述第一神经网络对所述待处 理图像进行 特征提取， 包括： 获取所述待处理图像所对应的第一特征信息， 所述待处理图像包括多个图像块， 所述 第一特征信息包括所述图像块的特 征信息； 将至少两组所述图像块的特征信息依次输入累积 ‑泄露‑激发LIF模块， 得到所述LIF模 块生成的目标 数据， 一组所述图像块的特 征信息包括至少一个图像块的特 征信息； 根据所述目标数据， 获取所述待处理图像所对应的第二特征信息， 所述第二特征信息 包括所述图像块的更新后的特征信息， 所述第一特征信息和所述第二特征信息均为所述待 处理图像的特 征信息。 2.根据权利要求1所述的方法， 其特征在于， 所述将至少两组所述图像块的特征信 息依 次输入LIF模块， 得到所述 LIF模块生成的目标 数据， 包括： 将至少两组所述图像块的特征信息依次输入所述LIF模块， 当满足所述LIF模块的激发 条件时， 利用激活函数生成所述目标 数据， 所述目标 数据不是二 值化数据。 3.根据权利要求1或2所述的方法， 其特征在于， 所述第一神经网络为多层感知机MLP、 卷积神经网络或采用自注意力机制的神经网络 。 4.根据权利要求1或2所述的方法， 其特 征在于， 所述方法还 包括： 通过第二神经网络对所述待处理图像的特征信 息进行特征处理， 得到所述待处理图像 所对应的预测结果， 其中， 所述第一神经网络和所述第二神经网络包含于同一个目标神经 网络， 所述目标神经网络所 执行的任务 为如下任一种： 分类、 分割 、 目标检测或超分。 5.一种神经网络的训练方法， 其特 征在于， 所述方法包括： 将待处理图像输入第 一神经网络， 通过所述第 一神经网络对所述待处理图像进行特征 提取， 得到所述待处理图像的特征信息， 通过第二神经网络对所述待处理图像的特征信息 进行特征处理， 得到所述待处 理图像所对应的预测结果； 根据所述待处理图像所对应的预测结果和正确结果， 利用损失函数对所述第 一神经网 络和所述第二神经网络进 行训练， 所述损失函数指示所述预测结果和所述正确结果之 间的 相似度； 其中， 所述 通过所述第一神经网络对所述待处 理图像进行 特征提取， 包括： 获取所述待处理图像所对应的第一特征信息， 所述待处理图像包括多个图像块， 所述 第一特征信息包括所述图像块的特 征信息； 将至少两组所述图像块的特征信息依次输入累积 ‑泄露‑激发LIF模块， 得到所述LIF模 块生成的目标 数据， 一组所述图像块的特 征信息包括至少一个图像块的特 征信息； 根据所述目标数据， 获取所述待处理图像所对应的第二特征信息， 所述第二特征信息 包括所述图像块的更新后的特征信息， 所述第一特征信息和所述第二特征信息均为所述待 处理图像的特 征信息。 6.根据权利要求5所述的方法， 其特征在于， 所述将至少两组所述图像块的特征信 息依 次输入LIF模块， 得到所述 LIF模块生成的目标 数据， 包括： 将至少两组所述图像块的特征信息依次输入所述LIF模块， 当满足所述LIF模块的激发权　利　要　求　书 1/3 页 2 CN 114821096 A 2条件时， 利用激活函数生成所述目标 数据， 所述目标 数据不是二 值化数据。 7.一种图像处 理装置， 其特 征在于， 所述装置包括： 输入单元， 用于将待处 理图像输入第一神经网络； 特征提取单元， 用于通过所述第一神经网络对所述待处理图像进行特征提取， 得到所 述待处理图像的特 征信息； 其中， 所述特 征提取单元， 包括： 获取子单元， 用于获取所述待处理图像所对应的第一特征信息， 所述待处理图像包括 多个图像块， 所述第一特 征信息包括所述图像块的特 征信息； 生成子单元， 用于将至少两组所述图像块的特征信息依次输入累积 ‑泄露‑激发LIF模 块， 得到所述LIF模块生 成的目标数据， 一组所述图像块的特征信息包括至少一个图像块的 特征信息； 所述获取子单元， 用于根据所述目标数据， 获取所述待处理图像所对应的第二特征信 息， 所述第二特征信息包括所述图像块的更新后的特征信息， 所述第一特征信息和所述第 二特征信息均为所述待处 理图像的特 征信息。 8.根据权利要求7所述的装置， 其特征在于， 所述生成子单元， 具体用于将至少两组所 述图像块的特征信息依次输入所述LIF模块， 当满足所述LIF模块的激发条件时， 利用激活 函数生成所述目标 数据， 所述目标 数据不是二 值化数据。 9.根据权利要求7或8所述的装置， 其特征在于， 所述第一神经网络为多层感知机MLP、 卷积神经网络或采用自注意力机制的神经网络 。 10.根据权利要求7或8所述的装置， 其特 征在于， 所述装置还 包括： 特征处理单元， 用于通过第二神经网络对所述待处理图像的特征信息进行特征处理， 得到所述待处理图像所对应的预测结果， 其中， 所述第一神经网络和所述第二神经网络包 含于同一个目标神经网络， 所述 目标神经网络所执行的任务为如下任一种： 分类、 分割、 目 标检测或超分。 11.一种神经网络的训练装置， 其特 征在于， 所述装置包括： 特征提取单元， 用于将待处理图像输入第一神经网络， 通过所述第一神经网络对所述 待处理图像进行 特征提取， 得到所述待处 理图像的特 征信息； 特征处理单元， 用于通过第二神经网络对所述待处理图像的特征信息进行特征处理， 得到所述待处 理图像所对应的预测结果； 训练单元， 用于根据所述待处理图像所对应的预测结果和正确结果， 利用损 失函数对 所述第一神经网络和所述第二神经网络进 行训练， 所述损失函数指示所述预测结果和所述 正确结果之间的相似度； 其中， 所述特 征提取单元包括： 获取子单元， 用于获取所述待处理图像所对应的第一特征信息， 所述待处理图像包括 多个图像块， 所述第一特 征信息包括所述图像块的特 征信息； 生成子单元， 用于将至少两组所述图像块的特征信息依次输入累积 ‑泄露‑激发LIF模 块， 得到所述LIF模块生 成的目标数据， 一组所述图像块的特征信息包括至少一个图像块的 特征信息； 所述获取子单元， 还用于根据所述目标数据， 获取所述待处理图像所对应的第二特征 信息， 所述第二特征信息包括所述图像块的更新后的特征信息， 所述第一特征信息和所述 第二特征信息均为所述待处 理图像的特 征信息。权　利　要　求　书 2/3 页 3 CN 114821096 A 3