(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210830018.9 (22)申请日 2022.07.15 (65)同一申请的已公布的文献号 申请公布号 CN 115018711 A (43)申请公布日 2022.09.06 (73)专利权人 成都运荔枝科技有限公司 地址 610000 四川省成 都市武侯区晋阳路 184号4楼6A号 (72)发明人 麻亮　左柳波　刘啸　李一航　 刘欢　帅科　唐清霖　刘鹏　 (74)专利代理 机构 成都华复知识产权代理有限 公司 512 98 专利代理师 余鹏 (51)Int.Cl. G06T 3/40(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06Q 10/08(2012.01)(56)对比文件 CN 114419612 A,202 2.04.29 CN 113870258 A,2021.12.31 CN 114742706 A,2022.07.12 CN 214225966 U,2021.09.17 WO 20212 28058 A1,2021.1 1.18 WO 2022116856 A1,202 2.06.09 贾可等.自注意力与域 适应对抗模板 重建方 法. 《现代信息科技》 .2020,第4卷(第18 期),1-6. 张静等.基 于CNN与ELM的二次超分辨 率重构 方法研究. 《计算机学报》 .2017,第41卷(第1 1 期),2581-2597. RamziAbiantun 等.SSR2: Sparse signal recovery for si ngle-ima ge super- resolution on faces w ith extreme l ow resolutions. 《Pattern Recogn ition》 .2019,第 90卷308-324. 审查员 田娜 (54)发明名称 一种用于仓库调度的图像超分辨率重建方 法 (57)摘要 本发明公开了一种用于仓库调度的图像超 分辨率重建方法， 属于人工智能和图像处理技术 领域， 包括训练深度学习网络， 头级卷积层对场 景图像进行卷积运算， 依次利用各个多头特征映 射模块对特征图进行操作， 图像重建单元对特征 图进行上采样， 输出得到重建后的重置图像等步 骤。 本发明的注意力机制信息来源不仅有本模块 内部的多尺度特征信息， 还有部分直接来自其上 游多头特征映射模块输出的特征信息， 复杂场景 图像中干扰信息对注意力机制的影 响小， 内部特 征信息具有很好的连贯性， 各个模块输出的特征 图中特征信息的抽象程度低， 重建效果优于现有 的先进模型。 权利要求书3页 说明书7页 附图3页 CN 115018711 B 2022.10.25 CN 115018711 B 1.一种用于 仓库调度的图像超分辨 率重建方法， 其特 征是： 包括以下步骤： S100、 获取深度学习网络， 利用训练集对所述深度学习网络进行训练； 所述深度学习网 络包括依 次设置的头级卷积层、 深层特征抽取单元和图像重建单元， 所述深层特征抽取单 元包括顺次连接的多个多头特 征映射模块； S200、 获取待重建的场景图像， 将所述场景图像输入步骤S100中训练好的深度学习网 络， 经过所述头级卷积层对所述场景图像进行 卷积运算后， 输出 得到具象特 征图； S300、 将所述具象特征图输入所述深层特征抽取单元， 依次利用各个所述多头特征映 射模块对特 征图进行操作后， 所述深层特 征抽取单元输出抽象特 征图； 所述多头特 征映射模块对特 征图的操作过程表示 为如下数学模型： 其中， Wn‑1表示从第一端口输入多头特征映射模块的特征图， Hn‑1表示从第二端口输入 多头特征映射模块的特征图， Un‑1表示从第三端口输入多头特征映射模块的特征图， f31 ()、 f32()、 f51()和f52()均表示普通的卷积运算处理层， f31()和f32()的卷积核大小 为 3*3， f51()和f52()的卷积核大小为5*5， ρ1()、 ρ2()、 ρ3()和ρ4()均代表非线性激活函数 ReLU， M1表示经过ρ1()函数激活后输出得到的特征图， M2表示经过ρ2()函数激活后输出得 到的特征图， fLA()表示左翼注意力模块， LG表示左翼注意力模块输出的左翼调制图， fRA() 表示右翼注意力模块， RG表示右翼注意力模块输出的右翼调制图， ×表示元素对应乘积， [·]表示将其中的特征图做拼接操作， M3表示左翼调制图校准特征图M1、 右翼调制图校准 特征图M2后拼接得到的特征图， fTM()表示中路特征整合模块， Wn表示从多头特征映射模块 的第四端口输出的特征图， Wn作为下游多 头特征映射模块第一端口的输入， Hn表示从多 头特 征映射模块的第五端口输出的特征图， Hn作为下游多头特征映射模块第二端口的输入， Un表 示从多头特征映射模块的第六端口输出的特征图， Un作为下游多头特征映射模块第三端口 的输入； S400、 将所述抽象特征图输入所述 图像重建单元， 所述图像重建单元对特征图进行上 采样， 并输出重建后的重 置图像， 所述重 置图像的分辨 率大于所述场景图像。 2.根据权利要求1所述的用于仓库调度的图像超分辨率重建方法， 其特征是： 所述深度 学习网络中设有长跳跃连接， 所述具象特征图经所述长跳跃连接输入到所述深层特征抽取 单元与所述图像重建单元之间， 所述具象特征图与所述抽象特征图相加后， 再输入所述图权　利　要　求　书 1/3 页 2 CN 115018711 B 2像重建单 元。 3.根据权利要求1所述的用于仓库调度的图像超分辨率重建方法， 其特征是： 所述中路 特征整合模块对特 征图的运 算过程表示 为如下数学模型： 其中， 特征图Wn和特征图Un共同作为所述中路特征整合模块的输入， [ ·]表示将其中的 特征图在通道方向上拼接， fJ1()和fJ3()分别表示卷积核大小为1*1的卷积操作和卷积核 大小为3*3的卷积操作， T1()和T2()均表示Tanh激活函数， JO表示T1()函数激活后输出得 到的特征图， JE表示特征图Wn与特征图Un作差后生成得到的特征图， JM代表所述中路特征整 合模块输出的特 征图。 4.根据权利要求1所述的用于仓库调度的图像超分辨率重建方法， 其特征是： 所述左翼 注意力模块按照如下 数学公式对特 征图进行操作： 其中， 特征图M1+M2和特征图Wn‑1共同作为左翼注意力模块的输入， MAV()、 MEV()和VAV ()分别表示对特征图做全局最大池化操作、 全局平均池化操作和全局方差池化操作， MAV ()、 MEV()和VAV()池化操作的方向均沿着通道方向； 分别对特征图M1+M2沿着通道方向做 全局最大池化操作和全局平均池化操作后得到第一矩阵和第二矩阵， S1表示将第一矩阵与 第二矩阵作差后得到的第三矩阵； 分别对特征图Wn‑1沿着通道方向做全局最大池化操作和 全局平均池化操作后得到第四矩阵和 第五矩阵， S2表示将第四矩阵与第五矩阵作差后得到 的第六矩阵； 分别对 特征图M1+M2和特征图Wn‑1沿着通道方向做全局方差池化操作后得到第 七矩阵和第八矩阵， S3表示将第七矩阵与第八矩阵相加后 得到的第九矩阵； fW()表示卷积 核大小为1*1的卷积运算， θW()为非线性激活函数sigmoid， [ ·]表示将其中的特征图拼接， LG表示所述左翼 注意力模块输出的左翼调制图。 5.根据权利要求1所述的用于仓库调度的图像超分辨率重建方法， 其特征是： 所述右翼 注意力模块按照如下 数学公式对特 征图进行操作： 其中， 特征图M1+M2和特征图Un‑1共同作为右翼注意力模块的输入， MAV()、 MEV()和VAV权　利　要　求　书 2/3 页 3 CN 115018711 B 3