(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210174117.6 (22)申请日 2022.02.24 (71)申请人 四川大学 地址 610065 四川省成 都市武侯区一环路 南一段24号 (72)发明人 高绍兵　姚智伟　 (74)专利代理 机构 成都虹盛汇泉专利代理有限 公司 51268 专利代理师 陈婷 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/56(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于颜色拮抗与注意力机制的脉冲神经网 络训练方法 (57)摘要 本发明公开了一种基于颜色拮抗与注意力 机制的脉冲神经网络训练方法， 包括以下步骤： S1、 进行基于颜色信息的视觉通路处理和基于 Gabor算子的轮廓通 路处理， 得到脉冲特征图A和 脉冲特征图B； S2、 获得融合脉冲特征图C； S3、 引 入注意力机制， 得到C中每个特征图的权重； 使用 颜色拮抗机制与脉冲时序 依赖可塑性调整权重； 使用注意力机制分配不同的权重给不同的特征 图， 将得到的C中每个特征图的权重与C中对应的 特征图相乘 来作为新的特征图。 本发 明能有效地 将彩色输入图像中的颜色信息与轮廓信息结合 起来， 得到具有更加丰富信息的脉冲特征图提供 给脉冲神经网络学习。 权利要求书3页 说明书7页 附图3页 CN 114549852 A 2022.05.27 CN 114549852 A 1.基于颜色拮抗与注意力机制的脉冲神经网络训练方法， 其特 征在于， 包括以下步骤： S1、 并行地进行基于颜色信息的视觉通路处理和基于Gabor算子的轮廓通路处理， 分别 得到脉冲特 征图A和脉冲特 征图B； S2、 获得融合脉冲特征图C： 将脉冲特征图A与脉冲特征图B首尾拼接， 随后进行池化操 作， 得到脉冲特 征图C； S3、 引入注意力机制， 得到C中每个特征图的权重； 使用颜色拮抗机制与脉冲 时序依赖 可塑性调整权重； 使用注意力机制分配不同的权重给不同的特征图， 将得到的C中每个特征 图的权重与C中对应的特征图相乘来作为新的特征图， 然后再将这个新的特征图与卷积核 进行卷积操作； C中的颜色特征图使用颜色拮抗机制与脉冲时序依赖可塑性调整权重， 图C 中的轮廓特 征图只使用脉冲时序依赖可塑性调整权 重。 2.根据权利要求1所述的基于颜色拮抗与注意力机制的脉冲神经网络训练方法， 其特 征在于， 步骤S1具体实现方法为： 基于颜色信息的视觉通路将RGB彩色图像转化到LMS颜色 空间， 根据像素值大小决定释放脉冲的时间， 得到脉冲特 征图A； 具体处 理方法为： 其中， 分别代表原始图像在RGB颜色空间、 XYZ颜色空间、 LMS颜色空 间中的矩阵表示； 公式(1)和公式(2)表示了将原 始RGB图像转换到LMS空间的过程； 基于Gabor算子的轮廓通路处理使用多个Gabor算子提取图像轮廓， 根据像素值大小决 定释放脉冲的时间， 得到脉冲特征图B； 具体方法为： 使用4个具有不同方 向( π/8、 π/4+π/8、 π/2+π/8、 3 π/4+π/8)的Gabor算子与灰度图像进行 卷积来提取图像中的轮廓信息 。 3.根据权利要求1所述的基于颜色拮抗与注意力机制的脉冲神经网络训练方法， 其特 征在于， 步骤S3具体实现方法为： 进行注意力机制处理， 实现方法是： 先在脉冲特征图C上进行卷积操作， 得到卷积后的 脉冲特征图D， 根据C和D来计算C中每 个特征图的权 重： 其中， af代表的是第f个特征图的权重， p+和p‑分别代表对该特征图增强或者抑制的参 数， 和 分别代表的是卷积前后的特征图上所有点释放脉冲的平均时间， Sigmoid() 函数用于对 进行放缩； 将得到的C中每 个特征图的权 重与C中对应的特 征图相乘来作为 新的特征图； 颜色拮抗机制的实现方式为：权　利　要　求　书 1/3 页 2 CN 114549852 A 2DSL表示的是LMS空间对应的S特征图和L特征图的对应的权重变化量的数值， DSM表示的 是LMS空间对应的S特征图和M特征图的对应的权重变化量的数值， T代表最大时间步； 参数ρ 用来放缩指数部分参 数， 为[0， 3]内的任意实数； | ΔtSL|代表的是S特征图与L特征图上每个 位置的释放脉冲的时间点的差 值的绝对值； | ΔtSM|代表的是S特征图与M特征图上每个 位置 的释放脉冲的时间点的差值的绝对值； 公式(6)、 (7)、 (8)、 (9)分别表示最终作用于S、 L、 M特征图对应的权重的变化量； ΔWS＝ ΔWS1+ΔWS2表示最终作用于S特征图对应的权重的变化量， ΔWL表示最终作用于L特征图对 应的权重的变化量， ΔWM表示最终作用于M特征图对应的权重的变化量， α +和α ‑分别表示一 个正参数和一个负参数， 用于控制权重的增加和减少； Δtpre‑post代表卷积前神经元与卷积 后神经元释放脉冲的时间差； 脉冲时序依赖可塑性的具体实现为： ΔW代表计算出的某条连接的权重的改变量， W代表该连接的权重的当前值； p+和p‑分别 代表一个正参数和一个负参数， 用于控制权重的增加或者降低， 这里的p+和p‑的值分别为 0.05和‑0.015； tpre和tpost分别代表该条连接的前后神经 元释放脉冲的时间； 基于颜色拮抗与脉冲时序依赖可塑性调整权 重， 训练脉冲神经网络的方法为：权　利　要　求　书 2/3 页 3 CN 114549852 A 3