(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210620364.4 (22)申请日 2022.06.02 (71)申请人 支付宝 （杭州） 信息技 术有限公司 地址 310000 浙江省杭州市西湖区西溪路 556号8层B段801-1 1 (72)发明人 曹佳炯　丁菁汀　 (74)专利代理 机构 北京君慧知识产权代理事务 所(普通合伙) 11716 专利代理师 肖鹏 (51)Int.Cl. G06F 21/60(2013.01) G06F 21/62(2013.01) (54)发明名称 一种多实体图像隐私保护方法、 装置以及设 备 (57)摘要 本说明书实施例公开了一种多实体图像隐 私保护方法、 装置以及设备。 方案包括： 针对多种 不同的实体类别， 分别获取每种所述实体类别对 应的实体图像， 以及在所述实体图像中进行单实 体脱敏得到的隐私图像， 作为训练数据； 利用所 述训练数据， 训练多实体隐私保护模型， 以使所 述多实体隐私保护模型， 能够对多实体图像进行 多实体脱敏； 确定目标实体类别， 以及确定包含 多种不同的实体类别的小样本子集合的支撑集； 根据所述支撑集， 针对所述目标实体类别， 对所 述多实体隐私保护模型进行小样本学习。 权利要求书5页 说明书15页 附图3页 CN 115033902 A 2022.09.09 CN 115033902 A 1.一种多实体图像隐私保护方法， 包括： 针对多种不同的实体类别， 分别获取每种所述实体类别对应的实体图像， 以及在所述 实体图像中进行 单实体脱敏 得到的隐私图像， 作为训练数据； 利用所述训练数据， 训练多实体隐私保护模型， 以使所述多实体隐私保护模型， 能够对 多实体图像进行多实体脱敏； 确定目标实体 类别， 以及确定包 含多种不同的实体 类别的小样本 子集合的支撑集； 根据所述支撑集， 针对所述目标实体类别， 对所述多实体隐私保护模型进行小样本学 习。 2.如权利要求1所述的方法， 所述获取在所述实体图像中进行单实体脱敏得到的隐私 图像， 作为训练数据， 具体包括： 定义包含第一脱敏损失和第一重建损失的第一损失函数； 针对每种所述实体类别， 分别构建一个对应的单实体隐私保护模型， 并根据所述第一 损失函数， 对单实体隐私保护模型进行对抗训练； 利用所述单实体隐私保护模型， 在其对应的所述实体类别对应的所述实体图像中， 进 行单实体脱敏 得到隐私图像， 作为训练数据； 其中， 所述单实体隐私保护模型包括输入原始图像并输出对应的隐私图像的第 一脱敏 编码器， 以及输入所述对应的隐私图像并输出重建的原 始图像的第一反脱敏解码器。 3.如权利要求1或2所述的方法， 所述多实体隐私保护模型包括输入原始图像并输出对 应的隐私图像的第二脱敏编 码器， 以及输入所述对应的 隐私图像并输出重 建的原始图像的 第二反脱敏解码器； 所述利用所述训练数据， 训练多实体隐私保护模型， 具体包括： 确定为所述多实体隐私保护模型定义的包含第 二脱敏损失、 第 二重建损失和从单实体 到多实体的模型转换损失的第二损失函数； 根据所述第二损失函数， 对所述多实体隐私保护模型进行对抗训练。 4.如权利要求3所述的方法， 所述多实体隐私保护模型还包括输入所述第二脱敏编码 器的中间层特 征并输出实体分类概 率的实体分类 器； 所述根据所述第二损失函数， 对所述多实体隐私保护模型进行对抗训练， 具体包括： 确定还包括实体 类型解耦损失的所述第二损失函数； 以最大化所述第二脱敏损 失， 最小化所述第二重建损 失、 所述从单实体到多实体的模 型转换损失、 所述实体类型解耦损失为对抗训练目标， 对所述多实体隐私保护模型进行对 抗训练。 5.如权利要求1所述的方法， 所述确定目标实体类别， 以及确定包含多种不同的实体类 别的小样本 子集合的支撑集， 具体包括： 针对多种不同的实体 类别， 分别为每种所述实体 类别确定一个对应的小样本 子集合； 确定包含各所述小样本子集合的支撑集， 以便之后再动态地在所述多种不同的实体类 别和/或新增的实体 类别中确定目标实体 类别。 6.如权利要求5所述的方法， 所述确定目标实体 类别， 具体包括： 将所述多实体隐私保护模型下发至业务终端上， 以便在所述业务终端上进行所述小样 本学习；权　利　要　求　书 1/5 页 2 CN 115033902 A 2动态地检测所述业务终端上用于所述多实体隐私保护模型处理的原始图像对应的实 体类别； 根据所述检测的结果， 相应地在所述多种不同的实体类别中动态确定所述目标实体类 别。 7.如权利要求6所述的方法， 所述动态地检测所述业务终端上用于所述多实体隐私保 护模型处 理的原始图像对应的实体 类别， 具体包括： 预先针对所述多种不同的实体类别， 分别为每种所述实体类别 定义一个二分类损失函 数； 根据各所述二分类损 失函数， 对实体分类模型进行训练， 所述实体分类模型的输入为 待进行实体分类的原 始图像， 输出为每种所述实体 类别对应的二分类结果； 利用所述实体分类模型动态地检测所述业务终端上用于所述多实体隐私保护模型处 理的原始图像对应的实体 类别。 8.如权利要求6或7 所述的方法， 所述 业务终端包括收银设备。 9.如权利要求1所述的方法， 所述根据所述支撑集， 针对所述目标实体类别， 对所述多 实体隐私保护模型进行小样本学习， 具体包括： 确定为所述多实体隐私保护模型定义的包含第 三脱敏损失、 第 三重建损失和 支撑集验 证损失的第三损失函数； 根据所述第 三损失函数， 以及根据 所述支撑集成功匹配上所述目标实体类别的小样本 子集合， 对所述多实体隐私保护模型进行对抗训练。 10.如权利要求1或9所述的方法， 所述对所述多实体隐私保护模型进行小样本学习之 前， 所述方法还 包括： 确定所述目标实体 类别为新增的实体 类别； 将部署端上代表了所述新增的实体类别的图像样本、 所述支撑集中指定的实体类别的 小样本这两者， 分别作为 一个渐变状态端点； 根据所述图像样本和所述小样本， 从其中一个渐变状态端点向另一个渐变状态端点进 行图像渐变处理， 得到这两个渐变状态端点与第二渐变状态端点之间的多个中间状态图 像； 选择一部分所述中间状态图像作为与所述目标实体 类别成功匹配上的小样本 子集合。 11.如权利要求1或9所述的方法， 所述对所述多实体隐私保护模型进行小样本学习之 前， 所述方法还 包括： 确定所述目标实体 类别为新增的实体 类别； 将所述新增的目标实体类别， 在所述支撑集的各实体类别 中进行相似性比较， 将相似 性最高的实体类别的小样本子集合， 作为与所述目标实体类别成功匹配上的小样本子集 合。 12.如权利要求1所述的方法， 所述对所述多实体隐私保护模型进行小样本学习之后， 所述方法还 包括： 接收待保护的原 始图像； 确定用户在所述待保护的原 始图像中指定的待保护实体或者待保护区域； 利用所述多实体隐私保护模型， 针对所述待保护实体或者所述待保护区域中包含的实权　利　要　求　书 2/5 页 3 CN 115033902 A 3