(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211272515.8 (22)申请日 2022.10.18 (71)申请人 四川大学 地址 610065 四川省成 都市一环路南 一段 24号 (72)发明人 陈珏宇　刘艳丽　邢冠宇　 (74)专利代理 机构 四川力久律师事务所 512 21 专利代理师 任晓扬 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/13(2017.01) G06T 5/00(2006.01) G06T 3/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于关注阴影边界和特征校正的阴影 检测方法及设备 (57)摘要 本发明公开了一种基于关注阴影边界和特 征校正的阴影检测方法及设备， 属于深度学习与 图像阴影检测技术领域。 包括： 获取数据集， 将所 述数据集划分为训练集和测试集； 构建阴影检测 神经网络模 型， 输入训练集对阴影检测神经网络 模型进行训练， 并输出训练好的阴影检测神经网 络模型； 将测试集输入到训练好的阴影检测神经 网络模型中， 输出阴影预测结果， 通过阴影检测 神经网络模型中设置的特征校正模块感知和学 习阴影区域存在的漏检测特征和误检测特征特 征， 大幅度降低了阴影误检测和漏检测现象 的发 生， 进一步的提升 了阴影检测性能。 权利要求书3页 说明书16页 附图8页 CN 115546171 A 2022.12.30 CN 115546171 A 1.一种基于关注阴影边界和特 征校正的阴影 检测方法， 其特 征在于， 包括以下步骤： S1： 获取阴影数据集， 将所述数据集划分为训练集和 测试集； S2： 构建阴影检测神经网络模型， 输入所述训练集对所述阴影检测神经网络模型进行 训练， 并输出训练好的阴影 检测神经网络模型； 所述阴影检测神经网络模型包括： 混合编码器、 阴影边界解码器、 阴影 内部区域解码器 和特征交互解码器， 所述混合编码器中前部分包含卷积残差神经网络， 后部分包含 Transformer神经网络， 利用所述卷积残差神经网络和所述Transformer神经网络提高阴影 的检测性能， 所述阴影边界解码 器和阴影内部区域解码 器分别学习阴影内部区域和阴影边 界区域的特征， 所述特征 交互解码器融合所述阴影边界解码 器和阴影内部区域解码 器的输 出结果得到每 个尺度的完整阴影特 征图， 并通过 特征校正模块去除干扰特 征； S3： 将所述测试集输入到所述训练好的阴影 检测神经网络模型中， 输出 阴影检测结果。 2.根据权利要求1所述的一种基于关注阴影边界和特征校正的阴影检测方法， 其特征 在于， 所述步骤S1中包括对所述数据集进行阴影掩码解耦预处理： 将所述数据集中的原始 阴影掩码解耦为阴影内部掩码和阴影边界掩码。 3.根据权利要求2所述的一种基于关注阴影边界和特征校正的阴影检测方法， 其特征 在于， 所述将所述原始阴影掩码解耦为阴影内部掩码和阴影边界掩码包括： 采用距离变换 将所述阴影掩码中的像素的值转换为所述像素到最近的背 景像素的距离， 通过将所述阴影 掩码中的阴影区域作为前景， 将非阴影区域作为背景， 每个所述像素 的距离变换计算公式 为： D(p， q)是p和q之间的欧几里得距离， 为前景， 为背景， 为距离变换后的像素 值， 通过从 的最小值和最大值到拍[0,1]范围 的线性归一化获得解耦的所述阴影内部区 域软掩码， 通过从所述原始阴影掩码中减去 所述阴影内部区域掩码得到所述阴影边界区域 掩码。 4.根据权利要求1所述的一种基于关注阴影边界和特征校正的阴影检测方法， 其特征 在于， 所述步骤S1中还包括对 所述数据集进行阴影漏检测监督和阴影误检测监督掩码的预 处理： 首先采用多种 阴影检测方法对所述图像进行检测， 分别得到所述图像对应的真实阴 影掩码和预测结果， 再将所述预测结果与所述真实阴影掩码的差异视为 误差图； 所述误差图的表达式为： E＝abs(M ‑G) 所述阴影漏检测区域的表达式为： FN ＝E⊙G； 所述阴影误检测区域的表达式为： FP＝E ⊙1‑G； 其中， G为真实阴影掩码， M为预测结果， E为 误差图，⊙为按元素相乘。 5.根据权利要求1所述的一种基于关注阴影边界和特征校正的阴影检测方法， 其特征 在于， 所述 步骤S2中， 混合编码器的结构为： 第一步， 将输入图像经 过卷积残差神经网络 输出四层不同尺度的特 征图； 第二步， 将四层不同尺寸的特 征图展平为序列化的二维向量 块；权　利　要　求　书 1/3 页 2 CN 115546171 A 2第三步， 使用可训练的线性投影将所述 二维向量 块映射到D维嵌入空间； 第四步， 将映射到D维嵌入空间的向量调整为 四维特征图， 并参与和后续特征交互解码 器输出的特 征图进行 特征融合与级联 上采样。 6.根据权利要求1所述的一种基于关注阴影边界和特征校正的阴影检测方法， 其特征 在于， 所述步骤S2中， 所述阴影内部区域解码 器的结构为： 两个上采样层、 一个卷积块层、 一 个级联操作， 首先将左侧上一尺度解码器输出 的特征图进行上采样， 下方由交互特征解码 器生成的矫正后的特征图进行上采样后通过一个卷积块层， 再将左侧的特征图和下方矫正 后的特征图进行级联后得到内部区域 解码器在当前尺度输出的特 征图。 7.根据权利要求1所述的一种基于关注阴影边界和特征校正的阴影检测方法， 其特征 在于， 所述步骤S2中， 所述阴影边界解码 器的结构为： 两个上采样层、 一个卷积块层、 一个级 联操作、 一个按像素乘操作、 一个计算差异图M的操作， 首先将左侧上一尺度解码器输出 的 特征图进 行上采样， 上方由交互特征解码器生成的矫正后的特征图进 行上采样后通过一个 卷积块层， 将左侧的特征图和上方的特征图进行差异图的计算， 再将差异图和左侧的特征 图求像素点积后， 再与下 方的特征图进行级联， 得到边界解码器在当前尺度输出的特 征图。 8.根据权利要求1所述的一种基于关注阴影边界和特征校正的阴影检测方法， 其特征 在于， 所述步骤S2中， 所述特征 交互解码 器结构为： 两个上采样层、 两个卷积块层、 一个特征 矫正模块、 一个按像素求和操作， 首先将下方的边界特征图和上方的内部区域特征图进行 按像素求和， 得到当前尺度的全局特征图， 将全局特征图通过特征矫正模块进 行特征矫正， 再将矫正后的特征图分别通过上采样层和卷积层生成矫正后的阴影边界特征图和阴影内 部区域特 征图； 所述特征校正模块包括阴影漏检测特征提取器和阴影误检测特征提取器， 分别用于提 取阴影漏检测特征和阴影误检测特征， 所述阴影漏检测提取器和所述阴影误检测提取器均 由是个用于上下文提取的分支构成， 每个分支包括一个用于局部特征提取的卷积块Ci， 以 及一个用于上 下文感知的扩张卷积块Di， 每个分支的计算公式为： 其中fi表示从第i个卷积分支中提取的特征， C( ·)为包含大小 为3×3卷积核的卷积层、 批归一化层、 激活函数层组成的卷积块， F是输入特征， 对于每个fi， Ci(·)的内核大小为ki ×ki， Di(·)的内核大小和膨胀率分别为和3 ×3和ri； 所述阴影漏检测特 征ffp计算公式为： ffp＝(C(Cat(f1， f2， f3， f4))) 所述阴影误检测特 征ffn的计算公式为： ffn＝(C(Cat(f1， f2， f3， f4))) 在所述特征矫正模块中， 通过添加所述阴影漏检测特征和去 除所述阴影误检测特征， 校正后的特 征图F′计算公式为： F′＝(1+attn(ffn))*F‑ReLU(attn(ffp)*F) 其中attn(·)是一个3 ×3大小的卷积层与Sigmo id(·)函数的组合。 9.根据权利要求1所述的一种基于关注阴影边界和特征校正的阴影检测方法， 其特征权　利　要　求　书 2/3 页 3 CN 115546171 A 3