(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211374589.2 (22)申请日 2022.11.01 (71)申请人 厦门大学 地址 361005 福建省厦门市思明区思明南 路422号 (72)发明人 郭江坡　张盖群　王晓东　徐欣杰　 (74)专利代理 机构 福州元创专利商标代理有限 公司 35100 专利代理师 陈明鑫　蔡学俊 (51)Int.Cl. G06V 10/82(2022.01) G06V 10/26(2022.01) G06V 10/762(2022.01) G06V 10/764(2022.01) G06V 10/74(2022.01) (54)发明名称 一种基于消融分析的CNN解释图对象相关性 分析方法 (57)摘要 本发明涉及一种基于消融分析的CNN解释图 对象相关性分析方法。 本发明针对CNN图像分类 模型的解释图对象相关性分析缺陷， 采用超像素 分割和对象相关性消融分析， 实现解释图中各对 象相关度分析与计算； 本发明可以为虚假相关性 的甄别提供依据， 剔除对象的虚假相关， 增强CNN 图像分类模型解释性， 并可以做到与模型 无关。 权利要求书2页 说明书8页 附图4页 CN 115527097 A 2022.12.27 CN 115527097 A 1.一种基于消融分析的CN N解释图对象相关性分析 方法， 其特 征在于， 包括如下步骤： 步骤一、 图像超像素分割： 首先对待分析图像x进行超像素提取， 得到超像素集合A＝ {A1,A2,…,An}， Ai为第i个超像素块， 1≤i≤n， n是自然数， 记录各超像素块在x中对应的位 置， 其中任一超像素块Ai所包含的像素， 在x中对应的坐标表示 为Pi： 步骤二、 获得解释图： 搜索分类贡献最大的超像素块， 组成解释图 首先用任意方法生 成与图像x同尺寸的白噪声图x0； 在A中随机抽取任意个超像素块， 构成随机超像素集合M， M＝{…,Aj,…}， j是自然数， 根据 步骤一获得的各超像素块Aj的坐标Pj， 将M中的所有 超像素块按照坐标位置叠加到x0上， 得到噪声混合图N， 即： N＝x0+M； 重复生成各不相同的L 个随机超像素集合， 构成集合{M1,…,ML}， 得到L张上述噪声混合图， 构成集合{N1,…,NL}， 按照公式(1)计算加权和平均， 其中， sx,f(Ai)是图片x的超像素块Ai在预训练CNN模型函数f分类过程中的重要度值， 当 时， B＝1， 否则B＝0； 为数学期望； 对A中的各超像素块对应的分类贡献sx,f(A1),…,sx,f(An)， 由大到小排序， 取出排序中 前k个分类贡献值对应的超像素块， 2≤k≤n， 构成超像素集合为 将 中的超像素块按照 步骤一中获取的各超像素对应位置， 进行拼接得到解释图 步骤三、 对象消融分析： 对 中任意两 个不同的待分析相关度的超像素块， 记为： Ai和Aj， 进行消融操作； 定义 其中A’表示 中除Ai和Aj的所有超像素块构成的集合， 创建两个空的消融分类值序列Fi＝[]， Fj＝[]， 分别用于记录Ai和Aj的消融分析值； 子步骤1、 进行初始化消融操作： 从 中消去超像素块Ai， 将其带入模型函数f， 得到Ai的 第一个消融分类值， 记为： 此处“\”表示剔除操作， 同时将其添加到Ai对应的消融 分类值序列Fi中， 即： 采用相同方法， 对超像素块Aj进行初始化消融操作， 从 中消去超像素块Aj， 将其带入模型函数f， 得到Aj的初始消融分类值， 记为： 将其 添加到Aj对应的消融分类值序列Fj中， 即： 子步骤2、 进行Ai和Aj同步消融操作： 获得A ’的超像素子集， 记为A ’(m)， 则所有A ’的子集 构成集合： {A ’(1),A’(2),…,A’(m),…}， 其中， |A’(m)|≤|A′|， 模|·|表 示集合的元素个数， m是小于2|A′|的自然数； 同步计算 将计算 结果分别添加到消融分类值序列Fi与Fj中， 即： 依 次同步完成{A ’(1),A’(2),…,A’(m),…}中所有子集的上述 过程， 输出 Fi， Fj； 步骤四、 对象相关性计算： 对Fi， Fj实施相关计算， 计算 中所有超像素对的相关值， 依次 输出该相关值； 步骤五、 实施相关解释： 对分类器进行解释， 关注对于分类贡献大且相关值高的对象组 合， 因此利用下面式(2)进行相关度排序，权　利　要　求　书 1/2 页 2 CN 115527097 A 2式中α, β ≥0， 且α +β ＝1； 将式(2)取值 最大的超像素对象组输出， 完毕。 2.根据权利要求1所述的一种基于消融分析的CNN解释图对象相关性分析方法， 其特征 在于， 步骤四中， 所述相关性计算 为公式(3)的皮尔逊系数： E为数学期望， σ 为方差 。 3.根据权利要求1所述的一种基于消融分析的CNN解释图对象相关性分析方法， 其特征 在于， 步骤四中， 所述相关性计算是公式(4)的余弦相关性计算： 其中 Fi,z表示超像素块为Ai的第z个消融分 类值， 2|A′|为Fi和Fj中的消融分类值的个数， 4.根据权利要求1所述的一种基于消融分析的CNN解释图对象相关性分析方法， 其特征 在于， 步骤四中， 所述相关性计算是公式(5)的欧式相关性计算： Fi,z表示超像素块 为Ai的第z个消融分类值， 2|A′|为Fi和Fj中的消融分类值的个数。权　利　要　求　书 2/2 页 3 CN 115527097 A 3