(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210716416.8 (22)申请日 2022.06.23 (71)申请人 北京美照算 算智能科技有限公司 地址 100871 北京市海淀区中关村北 大街 127—1号一层102—6室 (72)发明人 金鑫　黄横　娄豪　肖超恩　 刘亚奇　 (74)专利代理 机构 北京科迪生专利代理有限责 任公司 1 1251 专利代理师 金怡 (51)Int.Cl. G06V 10/42(2022.01) G06V 10/774(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01)G06V 40/16(2022.01) G06N 3/04(2006.01) (54)发明名称 一种基于属性理解的无监督图像审美属性 度量方法及系统 (57)摘要 本发明涉及一种基于属性理解的无监督图 像审美属性度量方法及系统， 其方法包括： S1： 构 建图像评价模型； S2： 选择图像集作为训练集， 输 入全局特征提取模块， 得到全局特征； S3： 将训练 集输入属性特征提取模块， 得到各个属性特征； S4： 将全局特征和各个属性特征进行拼接后， 输 入注意力模块， 为每个属性特征分配对应的权重 后， 输出注意力特征以及属性 贡献值； S5： 将注意 力特征按照属性拆分后， 输入属性分数预测模 块， 对各个属性特征进行评分， 输出图像各个属 性得分以及图像总体得分。 本发 明提供的方法在 只有图像数据集的总体审美评价标签的情况下， 通过属性特征训练得到图像各个属性的审美数 值度量。 权利要求书2页 说明书5页 附图5页 CN 115311464 A 2022.11.08 CN 115311464 A 1.一种基于属性理解的无监 督图像审美属性度量方法， 其特 征在于， 包括： 步骤S1： 构建图像评价模型， 包括： 全局特征提取模块， 属性特征提取模块、 注意力 模块 和属性分数 预测模块； 步骤S2： 选择图像集作为训练集， 输入 全局特征提取模块， 得到全局特 征； 步骤S3： 将所述训练集输入属性特 征提取模块， 得到各个属性特 征； 步骤S4： 将所述全局特征和各个所述属性特征进行拼接后， 输入注意力模块， 为每个所 述属性特 征分配对应的权 重后， 输出注意力特 征以及属性贡献值； 步骤S5： 将所述注意力特征按照属性拆分后， 输入属性分数预测模块， 对各个所述属性 特征进行评分， 输出图像各个属性得分以及图像总体得分。 2.根据权利要求1所述的基于属性理解的无监督图像审美属性度量方法， 其特征在于， 所述步骤S2： 选择图像集作为训练集， 输入 全局特征提取模块， 得到全局特 征， 具体包括： 所述全局特征提取模块采用EfficientNet ‑B4网络中特征提取模块， 将训练集中图片 输入EfficientNet ‑B4的特征提取模块， 将其输出作为全局特 征。 3.根据权利要求1所述的基于属性理解的无监督图像审美属性度量方法， 其特征在于， 所述步骤S3： 将所述训练集输入属性特 征提取模块， 得到各个属性特 征， 具体包括： 所述属性特征模块包括： 光照属性模块、 构图属性模块、 结构属性模块、 景深属性模块、 人体构图模块、 人体姿势属性模块、 头部角度属性模块、 人脸光照属性、 人脸外观属性模块、 人脸表情属性模块； 根据所述训练集中图片的内容， 分别使用对应的网络模型， 提取各个所 述属性特 征。 4.根据权利要求1所述的基于属性理解的无监督图像审美属性度量方法， 其特征在于， 所述步骤S4： 将所述全局特征和各个所述属性特征进 行拼接后， 输入注意力模块， 为每个所 述属性特 征分配对应的权 重后， 输出注意力特 征以及属性贡献值， 具体包括： 步骤S41： 将所述全局特征和所述属性特征调整为相同的通道数量与特征图尺寸后进 行拼接， 将拼接后的特征输入注意力模块， 为每个所述属性特征分配对应的权重后， 输出注 意力特征以及属性贡献值。 步骤S42： 属性贡献值计算公式如下： 其中， Ca为属性a的贡献值， na为属性a的权值个数， wa为经过所述注意力模块输出的属 性a的权重系数， total 为所有权值个数， wall为所有属性的权 重系数。 5.根据权利要求1所述的基于属性理解的无监督图像审美属性度量方法， 其特征在于， 所述步骤S 5： 将所述注意力特征按照属性拆分后， 输入属性分数预测模块， 对各个所述属性 特征进行评分， 输出图像各个属性得分、 图像总体得分以及属性贡献值， 具体包括： 步骤S51： 将所述注意力特征根据属性特征尺寸进行拆分， 得到属性注意力特征， 为每 个所述属性注意力特征经过评分层， 输出图片每个属性在对 应等级i上的评分Pai， 并构建损 失函数如公式(2)： 权　利　要　求　书 1/2 页 2 CN 115311464 A 2其中， 图片总评分按照1～10分进行评分， 即分为10个等级， i为等级， 为评 分层等级i 的预测评分， 其中， n为属性个数， Pai为属性a在等级i 的输出； 为评分层 等级i的真实评分， 其中Ni为评分为 等级i的人 数， Nall为所有的评分人 数； 步骤S52： 输出图片总评分Score， 如计算公式(3)所示： 6.一种基于属性理解的无监 督图像审美属性度量系统， 其特 征在于， 包括下述模块： 构建图像评价模型模块， 用于构建图像评价模型， 包括： 全局特征提取模块， 属性特征 提取模块、 注意力模块和 属性分数 预测模块； 获取全局特征模块， 用于选择图像集作为训练集， 输入全局特征提取模块， 得到全局特 征； 获取属性特 征模块， 用于将所述训练集输入属性特 征提取模块， 得到各个属性特 征； 获取注意力特征模块， 用于将所述全局特征和各个所述属性特征进行拼接后， 输入注 意力模块， 为每 个所述属性特 征分配对应的权 重后， 输出注意力特 征以及属性贡献值； 评分模块， 用于将所述注意力特征按照属性拆分后， 输入属性分数预测模块， 对各个所 述属性特 征进行评分， 输出图像各个属性得分以及图像总体得分。权　利　要　求　书 2/2 页 3 CN 115311464 A 3