(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210776039.7 (22)申请日 2022.07.04 (65)同一申请的已公布的文献号 申请公布号 CN 114819114 A (43)申请公布日 2022.07.29 (73)专利权人 南京大学 地址 210023 江苏省南京市栖霞区仙林大 道163号 (72)发明人 杜源　马鸣远　杜力　 (74)专利代理 机构 北京弘权知识产权代理有限 公司 11363 专利代理师 逯长明　许伟群 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/063(2006.01)G06V 10/44(2022.01) G06V 10/82(2022.01) G06V 10/94(2022.01) (56)对比文件 CN 111340194 A,2020.0 6.26 CN 114611684 A,202 2.06.10 CN 113128675 A,2021.07.16 CN 111831254 A,2020.10.27 US 201710 3308 A1,2017.04.13 Li Du等.“A Reconfigurable Streami ng Deep Convolutional Neural Netw ork Accelerator for I nternet of Thi ngs”. 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTE MS》 .2018,第6 5卷(第1期), 审查员 王丹丹 (54)发明名称 脉冲神经网络硬件加速器及其在卷积运算 中的优化方法 (57)摘要 本申请涉及图像识别技术领域， 提供一种脉 冲神经网络硬件加速器及其在卷积运算中的优 化方法， 该方法在第一卷积层作准确卷积操作的 启动时刻， 对待识别图像的第一输入 特征图作预 估卷积操作， 经过神经元模型后， 得到待识别图 像的第一预估脉冲输出， 在第二卷积层上， 对第 一预估脉冲输出作准确卷积操作， 得到待识别图 像的第二预估输出特征图， 再通过修正得到第二 准确输出特征图。 在前一层卷积运算未完成时即 可开始下一层的卷积运算， 利用时间的重叠， 加 快脉冲神经网络的正向传播卷积计算， 不会占用 额外的硬件资源。 权利要求书3页 说明书9页 附图2页 CN 114819114 B 2022.09.13 CN 114819114 B 1.一种脉冲神经网络硬件加速器在卷积运算中的优化方法， 其特征在于， 所述脉冲神 经网络硬件加速器包括至少两级依次连接的卷积层， 所述两级依次连接的卷积层包括第一 卷积层和第二卷积层， 所述方法包括： 步骤1， 获取脉冲神经网络硬件加速器的预设参数， 所述预设参数包括各级卷积层的卷 积核、 各卷积核对应的权 重平均值和 神经元模型； 步骤2， 获取待识别图像， 以及， 根据所述待识别图像， 得到所述待识别图像的第一输入 特征图， 其中， 所述待识别图像的第一输入特 征图为第一卷积层的输入特 征图； 步骤3， 在第一卷积层上， 使用第一卷积层上的卷积核， 对所述待识别图像的第一输入 特征图作准确卷积 操作， 得到所述待识别图像的第一 准确输出 特征图； 步骤4， 在步骤3的启动时刻， 利用第一卷积层的权重平均值， 对所述待识别图像的第一 输入特征图作预估卷积操作， 得到所述待识别图像的第一预估输出特征图， 经过所述神经 元模型后， 得到所述待识别图像的第一预估脉冲输出； 步骤5， 在步骤4的完成时刻， 在第二卷积层上， 使用第二卷积层上的卷积核， 对所述待 识别图像的第一预估脉冲输出作准确卷积操作， 得到所述待识别图像的第二预估输出特征 图； 步骤6， 在步骤3的完成时刻， 使所述待识别图像的第一准确输出特征图经过所述神经 元模型后， 得到所述待识别图像的第一准确脉冲输出， 以及， 基于所述待识别图像的第一准 确脉冲输出和所述待识别图像的第一预估脉冲输出的差值， 得到第一 修正脉冲输出； 步骤7， 在步骤4的完成时刻， 在第二卷积层上， 使用第二卷积层的卷积核， 对所述第一 修正脉冲输出作准确卷积操作， 得到第二修正输出特征图， 以及， 结合所述待识别图像的第 二预估输出特征图和所述第二修正输出特征图， 得到第二准确输出特征图， 经过神经元模 型后， 确定第二 准确脉冲输出； 其中， 所述在第 一卷积层上， 使用第 一卷积层上的卷积核， 对所述待识别图像的第一输 入特征图作准确卷积 操作， 得到所述待识别图像的第一 准确输出 特征图， 包括： 筛选所述待识别图像的第一输入特 征图中的非零数值； 将所述第一输入特征图中的非零数值逐个映射到对应的输出位置， 得到所述待识别图 像的第一 准确输出 特征图； 其中， 所述将所述第 一输入特征图中的非零数值逐个映射到对应的输出位置的映射方 法包括： 将第一卷积层上的卷积核旋转180度后， 得到 旋转后的卷积核； 如果第一输入特征图中的第x行第y列的数据 为1， 则在输出特征图中对应的 区 域累加旋转后的卷积 核， 其中， 为第一卷积层上的卷积 核大小， 对应的 区域 在列方向为第x ‑m+1列到x列， 在行 方向为y‑m+1行到y行； 遍历每个所述非零数值， 得到所述待识别图像的第一 准确输出 特征图； 其中， 所述在第 二卷积层上， 使用第 二卷积层上的卷积核， 对所述待识别图像的第一预 估脉冲输出作准确卷积 操作， 得到所述待识别图像的第二预估输出 特征图， 包括： 筛选所述待识别图像的第一预估脉冲输出中的非零数值； 将所述第一预估脉冲输出中的非零数值逐个映射到对应的输出位置， 得到所述待识别 图像的第二预估输出 特征图；权　利　要　求　书 1/3 页 2 CN 114819114 B 2其中， 将所述第 一预估脉冲输出中的非零数值逐个映射到对应的输出位置的映射方法 包括： 将第二卷积层上的卷积核旋转180度后， 得到 旋转后的卷积核； 如果第一预估脉冲输出中的第x行第y列的数据为1， 则在输出特征图中对应的 区域累加旋转后的卷积 核， 其中， 为第一卷积层上的卷积 核大小， 对应的 区 域在列方向为第x ‑m+1列到x列， 在行 方向为y‑m+1行到y行； 遍历第一预估脉冲输出中的每个非零数值， 得到所述待识别图像的第 二预估输出特征 图； 其中， 所述在第 二卷积层上， 使用第 二卷积层的卷积核， 对所述第一修正脉冲输出作准 确卷积操作， 得到第二 修正输出特征图， 包括： 筛选所述第一 修正脉冲输出中的非零数值； 将所述第一修正脉冲输出中的非零数值逐个映射到对应的输出位置， 得到第 二修正输 出特征图； 其中， 所述将所述第 一修正脉冲输出中的非零数值逐个映射到对应的输出位置的映射 方法包括： 将第二卷积层上的卷积核旋转180度后， 得到 旋转后的卷积核； 如果第一修正脉冲输出中的第x行第y列的数据为1， 则在输出特征图中对应的 区域累加旋转后的卷积 核， 其中， 为第一卷积层上的卷积 核大小， 对应的 区 域在列方向为第x ‑m+1列到x列， 在行 方向为y‑m+1行到y行； 遍历每个所述第一 修正脉冲输出中的非零数值， 得到第二 修正输出特征图。 2.根据权利要求1所述的一种脉冲神经网络硬件加速器在卷积运算中的优化方法， 其 特征在于， 在步骤4中， 所述利用第一卷积层的权重平均值， 对所述待识别图像的第一输入 特征图作预估卷积 操作， 得到所述待识别图像的第一预估输出 特征图， 包括： 采用第一卷积层的卷积核大小和步长； 利用第一卷积层的卷积核对应的权重平均值， 乘以覆盖区域脉冲序列的和， 得到对应 位置的预估输出。 3.根据权利要求1所述的一种脉冲神经网络硬件加速器在卷积运算中的优化方法， 其 特征在于， 所述脉冲神经网络硬件加速器还包括第三卷积层， 所述第三卷积层位于所述第 二卷积层的下一级， 所述方法还 包括： 在步骤4的完成时刻， 利用第 二卷积层的权重平均值， 对所述待识别图像的第 一预估脉 冲输出作预估卷积操作， 得到所述待识别图像的第二预估输出特征图， 经过所述神经元模 型后， 得到所述待识别图像的第二预估脉冲输出， 以及， 在第三卷积层上， 使用第三卷积层 的卷积核， 对所述待识别图像的第二预估脉冲输出作准确卷积操作， 得到所述待识别图像 的第三预估输出 特征图； 在步骤7的完成时刻， 基于所述待识别图像的第二准确脉冲输出和所述待识别图像的 第二预估脉冲输出的差值， 得到第二 修正脉冲输出； 在第三卷积层上， 使用第三卷积层的卷积核， 对所述第二修正脉冲输出作准确卷积操 作， 得到第三修正输出特征图， 以及， 结合所述待识别图像的第三预估输出特征图和所述第 三修正输出特征图， 得到第三准确输出特征图， 经过神经元模型后， 确定第三准确脉冲输权　利　要　求　书 2/3 页 3 CN 114819114 B 3