(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211396393.3 (22)申请日 2022.11.09 (71)申请人 南京信息 工程大学 地址 210044 江苏省南京市江北新区宁六 路219号 (72)发明人 谈玲　吴惠　夏景明　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 王丽霞 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06T 7/62(2017.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于病变权重特征图的黑色素瘤识别 方法 (57)摘要 本发明公开了一种基于病变权重特征图的 黑色素瘤识别方法， 包括： 获取预处理后的皮肤 镜图像； 将皮肤镜图像输入预先训练获得的FA ‑ MobileNet神经网络， 输 出初步识别结果； 对初步 识别结果进行可视化， 将可视化结果输入病变权 重指数模块进行处理， 获得病变权重特征图； 将 病变权重特征图再次输入所述FA ‑MobileNet神 经网络， 输出最终识别结果。 本发明基于病变权 重特征图对图像进行了两次识别， 同时FA ‑ MobileNet模型具有轻量化特点， 能够获取精细 的多尺度特征， 有效提高了黑色素瘤识别的精度 和速度。 权利要求书3页 说明书8页 附图6页 CN 115511882 A 2022.12.23 CN 115511882 A 1.一种基于病变权 重特征图的黑色素瘤识别方法， 其特 征在于， 包括： 获取预处理后的皮肤镜图像； 将皮肤镜图像输入预 先训练获得的FA ‑MobileNet神经网络， 输出初步识别结果； 对初步识别结果进行可视化处理， 将可视化结果输入病变权重指数模块进行处理， 获 得病变权 重特征图； 将病变权 重特征图输入所述FA ‑MobileNet神经网络， 输出最终识别结果。 2.根据权利要求1所述的一种基于病变权重特征图的黑色素瘤识别方法， 其特征在于， 所述FA‑MobileNet神经网络通过以下步骤训练得到： 获取黑色素瘤皮肤镜图像数据集D1； 对数据集D1中的所有皮肤镜图像进行预处理， 得到数据集D2； 分别使用几何变换和像 素点操作对数据集D2进行 数据扩充， 得到数据集D3和D4； 将数据集D3和D4分别输入FA ‑MobileNet神经网络中进行训练， 得到对应的两种初步识 别结果； 对两个初步识别结果进行可视化处理， 得到初步可视化 图A1和A2， 对A1和A2对应像素 点进行求均值操作， 得到初步可视化结果A； 利用病变权 重指数模块对A进行处 理， 得到病变权 重特征图； 将病变权 重特征图再次送入FA ‑MobileNet神经网络中进行训练， 得到最终识别结果。 3.根据权利要求1所述的一种基于病变权重特征图的黑色素瘤识别方法， 其特征在于， 所述FA‑MobileNet神经网络包括主干模块、 特征融合模块、 分类模块和平均法处理模块， 所 述主干模块对输入图像提取不同分辨率的特征图， 选取若干不同分辨率的特征图送入特征 融合模块， 所述特征融合模块对输入的不同分辨率的特征图进行特征融合得到若干 分辨率 相同的特征图并将其输入分类模块， 所述分类模块对输入的特征图进行分类， 获得对应若 干分类结果， 所述平均法处 理模块对获得的分类结果进行均值计算得到识别结果。 4.根据权利要求3所述的一种基于病变权重特征图的黑色素瘤识别方法， 其特征在于， 所述主干模块包括依次连接的卷积层、 bneck1， bneck2， bneck3， bneck4， bneck5， bneck7， bneck11， bneck13和bneck*， 所述主干模 块是通过将MobileNetV 3_large网络原有的15个倒 置残差块去除一部分， 留下bneck1， bneck2， bneck3， bneck4， bneck5， bneck7， bneck11， bneck13， 同时删除原有MobileNetV3_large网络中最后的卷积层和平均池化层， 并在 bneck13后面再加上一个注意力倒残差块bneck*得到 的， 其中bneck4， bneck5， bneck13和 bneck*添加有融合通道和空间的注意力机制模块， bneck2， bneck4， bneck7， bneck11， bneck13和bneck*分别用于提取不同尺寸的特 征图。 5.根据权利要求4所述的一种基于病变权重特征图的黑色素瘤识别方法， 其特征在于， 所述bneck 4， bneck5， bneck13和bneck*提取 特征的步骤 包括： 通过1*1逐点卷积操作对输入的特征图进行升维， 再经过批量归一化和激活函数操作， 得到第一特 征图； 采用深度可分离卷积对第一特征图提取特征， 再经过批量归一化和激活函数操作， 得 到第二特 征图； 通过注意力机制模块对第二特 征图进行处 理获得注意力图； 利用1*1逐点卷积对所得注意力图进行降维， 使输出的维度和最初输入的特征图的维权　利　要　求　书 1/3 页 2 CN 115511882 A 2度相似； 将最初输入的特征图和降维后的注意力图的对应像素点进行相加， 再经过批量归一化 和激活函数操作， 获得总的输出 特征图。 6.根据权利要求5所述的一种基于病变权重特征图的黑色素瘤识别方法， 其特征在于， 所述bneck4， bneck5， bneck13和bneck*中的注意力机制模块， 包括通道注意力机制模块和 空间注意力机制模块： 在通道注意力 机制模块中， 对所述第二特征图进行全局平均池化操作后， 送入1*1卷积 层降维， 经过ReLU激活函数后再次送入1*1卷积层升维， 再经过批量归一化操作得到通道注 意力图； 在空间注意力机制模块中， 使所述第二特征图依次经过一个1*1卷积、 两个3*3膨胀卷 积、 一个1*1卷积 操作后， 再 经过批量归一 化操作获得空间注意力图； 将通道注意力图和空间注意力图调整为相同大小后相加， 再经过hard_sigmoid激活函 数得到融合注意力图。 7.根据权利要求3所述的一种基于病变权重特征图的黑色素瘤识别方法， 其特征在于， 所述主干模块选取分辨率为8*8， 16*16， 32*32的特征图作为特征融合模块的输入， 所述特 征融合模块对输入的不同分辨 率的特征图进行 特征融合， 包括： 对分辨率为8*8的特征 图进行上采样， 同时对分辨率为16*16的特征图进行1*1卷积操 作， 之后再将 两者的对应像素点进行相加， 然后再经3  * 3的卷积融合， 得到分辨率为16*16 的新特征图； 将新特征图作为输入进行上采样， 同时对分辨率为32*32的特征图进行1*1卷积操作， 之后再将两者的对应像素点进行相加， 然后再经3  * 3的卷积融合， 获得分辨率为32*32的 新特征图； 对融合后的分辨率为16*16的新特征图和32*32的新特征图分别 进行卷积操作， 卷积核 为3*3， 步长为2， 直到 两个新特 征图的分辨 率都变为8*8。 8.根据权利要求2所述的一种基于病变权重特征图的黑色素瘤识别方法， 其特征在于， 所述分别使用几何变换和像素点操作对数据集D2进行 数据扩充， 包括： 对数据集D2中所有黑色素瘤图像分别进行垂直旋转和逆时针旋转45 °变换操作， 将所 得图像和D2中原有图像保存， 得到数据集D3； 对D2中所有黑色素瘤图像分别进行高斯模糊和加入椒盐噪声变换操作， 将所得图像和 D2中原有图像保存， 得到数据集D4。 9.根据权利要求2所述的一种基于病变权重特征图的黑色素瘤识别方法， 其特征在于， 所述利用病变权 重指数模块对A进行处 理， 包括以下步骤： 对可视化图A进行归一 化操作； 获得图像病变区域中心点到边界轮廓的欧式距离， 并对各距离段赋予不同权重值， 得 到距离特 征图S； 将A和S对应 像素点进行乘法操作， 得到病变权 重特征图。 10.根据权利要求9所述的一种基于病变权重特征图的黑色素瘤识别方法， 其特征在 于， 所述距离特 征图S通过以下步骤得到： 找到病变区域的最小面积外 接圆的中心点， 将其定义 为病变区域中心；权　利　要　求　书 2/3 页 3 CN 115511882 A 3