(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210360746.8 (22)申请日 2022.04.07 (71)申请人 河北云察科技有限公司 地址 075000 河北省张家口市桥 东区站前 东大街28号河北国控北方硅谷高科新 城6号楼4层 (72)发明人 赵明瞻　 (74)专利代理 机构 北京卓特专利代理事务所 (普通合伙) 11572 专利代理师 段旺 (51)Int.Cl. G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/44(2022.01)G06V 10/764(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01) (54)发明名称 一种跨类型图像相似度 度量方法及系统 (57)摘要 本发明公开一种跨类型图像相似度度量方 法及系统， 涉及计算机图像处理领域。 所述方法 包括： 构建图像边缘特征自编码器、 搭建跨类型 图像相似度度量网络； 当进行相似度度量时， 将 原图输入图像边缘特征自编码器， 得到与原图相 对应的边缘特征图， 将边缘特征图输入跨类型图 像相似度度量网络， 查找与生 成的边缘特征图相 似程度最大的图片， 输出相似程度， 完成跨类型 图像的相似度度量。 采用本申请技术方案能够提 高图像特 征的高效提取， 提高度量 准确度。 权利要求书2页 说明书7页 附图4页 CN 114742151 A 2022.07.12 CN 114742151 A 1.一种跨类型图像相似度 度量方法， 其特 征在于， 包括： 构建图像边缘特征自编码器， 对输入图像进行边缘特征提取， 得到边缘特征标签图， 提 取完成后对边缘特征标签图的特征进 行重构， 将重构图片与边缘特征标签图对比生成损失 函数， 使用损失函数优化图像边 缘特征自编码器中的卷积参数； 使用ImageNet中的数据对孪生神经网络进行分类训练， 将边缘特征标签图输入训练后 的孪生神经网络进行图像相似度 度量， 搭建跨类型图像相似度 度量网络； 当进行相似度度量时， 将原图输入图像边缘特征自编码器， 得到与原图相对应的边缘 特征图， 将边缘特征图输入跨类型图像相似度度量网络， 从数据库中查找与生成的边缘特 征图相似程度最大的图片， 输出相似程度， 完成跨类型图像的相似度 度量。 2.如权利要求1所述的一种跨类型图像相似度度量方法， 其特征在于， 图像边缘特征自 编码器为没有全连接层的卷积神经网络， 即全由卷积操作 组成， 用于生成与原图像素相同 的边缘特征图； 图像边缘特征自编码器包括编码器和 解码器， 编码器对图像进行特征提取 操作， 解码器对图像进行重构操作。 3.如权利要求1所述的一种跨类型图像相似度度量方法， 其特征在于， 图像边缘特征自 编码器的训练方法具体包括如下子步骤： 通过调节can ny算子的高低阈值得到效果优良的线条图； 将原图作为输入放入U2net全卷积网络中生成与原图相同分辨 率的生成图； 将原图对应的线条图作为标签， 计算生成图与线条图之间像素的距离来产生损失函 数； 将损失函数反向传播到U2net网络中， 更新U2net网络参数， 训练一定次数后， 使得 U2net具备提取原像边 缘特征图的能力， 由此便得到 了图像边 缘特征自编码器。 4.如权利要求1所述的一种跨类型图像相似度度量方法， 其特征在于， 跨类型图像相似 度度量网络模型训练， 包括如下子步骤： 取孪生神经网络的一侧网络， 对这一侧网络使用Imagenet中的数据进行分类处理， 构 造出分类效果卓越的网络， 增加网络对图像类与类之间的判别性， 将此侧网络作为孪生神 经网络中两个共生神经网络的参数； 将两张边缘特征图输入孪生神经网络， 输出两个特征向量， 计算两个特征向量的余弦 距离， 得到图像相似度程度的标量； 将标量与数据库中相似标签做对比产生用于反馈输出结果与真实值之间差距的损失 函数， 将损失函数反向传输至孪生神经网络， 实现孪生神经网络的参数更新； 孪生神经网络 的两个模型的网络参数 是共享的， 当某一模型网络参数 更新时另一模型相应更新。 5.如权利要求4所述的一种跨类型图像相似度度量方法， 其特征在于， 使用Googlenet 卷积神经网络作为孪生网络两侧共生网络的结构模 型， Googlenet网络中包括inception结 构以及两个辅助分类器， inception是模块化结构， 使用一、 三和五大小的卷积核方便各卷 积生成的特征矩阵图像对齐， 将卷积过程中的步长设置为一， 填充量分别设置为零、 一和 二， 使得inception中各卷积生 成相同维度大小的特征矩阵图像， 使用大小不同的卷积核 让 网络在收集特征矩阵时得到不同感受野的视角， 再将特征矩阵进 行拼接从而丰富卷积对图 像的特征提取； Go oglenet中的辅助器防止网络深度学习中出现梯度消失结果。 6.如权利要求4所述的一种跨类型图像相似度度量方法， 其特征在于， 孪生神经网络由权　利　要　求　书 1/2 页 2 CN 114742151 A 2两个完全相同的网络组成， 网络结构包括三部 分， 分别是对图片进 行特征提取的卷积部 分、 将特征提取图片拟合为分类向量的全连接部分、 及对比提取分类向量之间距离的全连接 层； 对两个相同的神经网络输入不同的图像， 在卷积部分提取各自图像的特征矩阵再通过 全连接层将特征矩阵拟合为分类 向量， 将两分类 向量计算合并为一个新的向量， 将新的向 量输入最后的全连接层得到一个标量。 7.如权利要求4所述的一种跨类型图像相似度度量方法， 其特征在于， 反馈输出结果与 真实值之间差距的损失函数表示为 其中， D表示距离函数， K是参 数为θ 的孪生网络， G是对原图图像的自动边缘特征提取， β 表 示与原图相对应的线 条图， E表 示对所有图像的期望分析， 为均方差， 等 价于一个余弦相似函数。 8.如权利要求7所述的一种跨类型图像相似度度量方法， 其特征在于， 优化损失函数的 过程类似于一个最大期望算法， 不 断优化θ与β 这两个参数， 通过一次输入得到K与βt‑1之间 的损失距离值Dt‑1， 再将Dt‑1输入K中优化θ参数， 从而得到θt+1参数， 再在参数为θt+1的网络K 中输入图像， 与βt之间计算损失函数得到更新的Dt， 如此不断更新D与β 的值来不断改变θ参 数， 从而实现损失函数与模型参数的优化。 9.一种跨类型图像相似度度量系统， 其特征在于， 包括： 所述系统执行如权利要求1 ‑8 任一项所述的一种跨类型图像相似度 度量方法。权　利　要　求　书 2/2 页 3 CN 114742151 A 3