(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211480743.4 (22)申请日 2022.11.24 (71)申请人 中国平安财产保险股份有限公司 地址 518000 广东省深圳市福田区益田路 5033号平安金融中心12、 13、 38、 39、 40 层 (72)发明人 夏志鹏　付园园　徐妙然　 (74)专利代理 机构 深圳国新 南方知识产权代理 有限公司 4 4374 专利代理师 姜宇 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01)G06V 10/74(2022.01) G06V 10/26(2022.01) G06T 7/73(2017.01) (54)发明名称 一种多视角牛脸识别方法、 装置、 计算机设 备及存储介质 (57)摘要 本申请公开了一种多视角牛脸识别方法、 装 置、 计算机设备及存储介质。 所述方法包括： 采集 待识别牛只的牛脸图像； 通过牛脸关键点检测模 型对牛脸图像进行方向类别及关键点位置预测， 并根据方向类别及关键点位置预测结果对所述 牛脸图像进行牛脸姿态估计， 根据所述牛脸姿态 估计结果筛选出符合预设姿态要求的牛脸图像； 利用牛脸分割模块提取出牛脸图像的正脸、 左脸 及右脸轮廓信息； 利用牛脸识别模块根据牛脸轮 廓信息对牛脸图像 分别进行正脸、 左脸及右脸特 征提取， 根据所述正脸、 左脸及右脸特征提取结 果对所述待识别牛只进行唯一性识别。 本申请显 著增强了 牛脸特征的鲁棒性， 有利于提升牛脸识 别准确率， 可出色地适用于大规模养殖场景的牛 的唯一性识别。 权利要求书3页 说明书10页 附图3页 CN 115546845 A 2022.12.30 CN 115546845 A 1.一种多视角牛脸识别方法， 其特 征在于， 包括： 采集待识别牛只的牛脸图像， 所述牛脸图像包括设定数量的左脸图像、 正脸图像及右 脸图像； 将所述牛脸图像输入训练好的牛脸关键点检测模型， 通过所述牛脸关键点检测模型对 所述牛脸图像进 行方向类别 及关键点位置预测， 并根据所述方向类别 及关键点位置预测结 果对所述牛脸图像进 行牛脸姿态估计， 根据牛脸姿态估计结果筛选出符合预设姿态要求的 牛脸图像； 将所筛选的牛脸图像输入训练好的牛脸分割 模块， 利用所述牛脸分割 模块提取出牛脸 图像的正 脸、 左脸及右脸轮廓信息； 将牛脸图像以及提取的牛脸轮廓信 息输入牛脸识别模块， 牛脸识别模块根据 牛脸轮廓 信息对牛脸图像分别进 行正脸、 左脸及右 脸特征提取， 根据所述正脸、 左脸及右 脸特征提取 结果对所述待识别牛只进行唯一 性识别。 2.根据权利要求1所述的多视角牛脸识别方法， 其特征在于， 所述采集待识别牛只的牛 脸图像之后， 还 包括： 针对光线局部过曝/过暗、 局部阴影、 污渍、 遮挡以及运动模糊问题对所述牛脸图像进 行预处理。 3.根据权利要求2所述的多视角牛脸识别方法， 其特征在于， 所述针对光线局部过曝/ 过暗、 局部阴影、 污 渍、 遮挡以及运动模糊问题对所述牛脸图像进行 预处理具体为： 对所述牛脸图像进行像素均衡性处 理， 得到亮度均衡的牛脸图像； 利用单阶段的深度神经网络模型学习所述牛脸图像中从局部阴影、 污渍状态到无阴 影、 无污渍状态的映射关系， 消除所述牛脸图像中的阴影、 污 渍干扰； 利用无遮挡的牛脸数据及有遮挡的牛脸数据训练得到第 一二分类深度神经网络， 利用 所述第一二分类深度神经网络检测并过滤掉存在遮挡物的牛脸图像， 筛选出具备完整 牛脸 信息的牛脸图像； 基于批量清晰与模糊的牛脸图像训练得到第 二二分类深度神经网络， 利用所述第 二二 分类深度神经网络对所述牛脸图像进行分类， 并过滤掉存在运动模糊的牛脸图像， 筛选出 清晰的牛脸图像。 4.根据权利要求1至3任一项所述的多视角牛脸识别方法， 其特征在于， 所述通过所述 牛脸关键点检测模型对所述牛脸图像进行方向类别及关键点位置预测， 并根据所述方向类 别及关键点位置预测结果对所述牛脸图像进 行牛脸姿态估计， 根据所述牛脸姿态估计结果 筛选出符合预设姿态要求的牛脸图像具体为： 选取牛只的左眼、 右眼、 鼻子以及嘴巴左右两侧共5个关键点， 所述牛脸关键点检测模 型根据所述5个关键点将所述牛脸图像分为左脸、 正 脸以及右脸 三个方向类别； 选取左牛角角尖、 右牛角角尖、 左牛耳耳尖、 右牛耳耳尖、 左牛眼、 右牛眼、 牛鼻子中心、 左牛鼻孔及右牛鼻孔共9个关键点， 所述牛脸关键点检测模型根据所述9个关键点预测出左 脸、 正脸以及右脸 三个方向类别分别对应的关键点类别及关键点 位置信息； 根据所述方向类别以及 关键点位置信 息预测结果分别对所述牛脸图像进行正脸、 左脸 以及右脸姿态估计； 其中， 所述正脸姿态估计具体为： 分别计算牛脸图像中左眼与鼻子的连 线与水平方向的夹角a1、 右眼与鼻子的连线与水平方向的夹角a2、 左眼与右眼的连线与水权　利　要　求　书 1/3 页 2 CN 115546845 A 2平方向的夹角a3,如果牛脸图像满足|a1 ‑a2|<30， 且 a3<15， 则认为所述牛脸图像为符合要 求的正脸姿态； 所述左脸姿态估计具体为： 计算所述牛脸图像中左眼关键点与鼻子关键点 的连线与水平方向的夹角， 并判断所述夹角是否处于 设定的角度阈值区间， 如果是， 则认 为 所述牛脸图像为符合要求的左脸姿态。 5.根据权利要求4所述的多视角牛脸识别方法， 其特征在于， 所述根据 所述牛脸姿态估 计结果筛 选出符合预设姿态要求的牛脸图像之后还 包括： 将所述筛选后的牛脸图像、 牛脸图像的方向类别及 关键点位置信 息输入训练好的牛脸 矫正对齐模块， 利用牛脸矫正对齐模块对牛脸图像进行矫正对齐处理， 得到标准化的矫正 对齐后的牛脸图像。 6.根据权利要求5所述的多视角牛脸识别方法， 其特征在于， 所述牛脸矫正对齐模块包 括对不同方向类别的牛脸图像进 行矫正对齐处理的正脸矫正对齐子模块、 左脸矫正对齐子 模块以及右脸矫正对齐子模块， 所述利用牛脸矫正对齐模块对牛脸图像进行矫正对齐处 理， 得到标准 化的矫正对齐后的牛脸图像具体为： 分别选取一定数量的符合姿态标准的牛只的左脸、 正 脸、 右脸图像； 将所有牛脸图像转换为设定大小； 将转换后的牛脸图像输入牛脸关键点检测模型进行关键点预测， 得到不同方向类别对 应的关键点类别及关键点 位置； 分别统计左脸、 正脸、 右脸图像对应的关键点位置， 并分别计算所述左脸、 正脸、 右脸图 像中所有关键点 位置的平均值； 根据所述左脸、 正脸、 右脸图像的关键点位置平均值获取对应方向类别下的标准牛只 的模版锚点； 将所述待识别牛只的左脸、 正脸、 右脸图像、 方向类别以及 关键点位置信息分别输入左 脸矫正对齐子模块、 正脸矫正对齐子模块以及右脸矫正对齐子模块， 所述左脸矫正对齐子 模块、 正脸矫正对齐子模块以及右 脸矫正对齐子模块将输入信息与对应方向类别下的模版 锚点进行仿射变换， 得到矫 正对齐后的左脸、 正 脸、 右脸图像。 7.根据权利要求6所述的多视角牛脸识别方法， 其特征在于， 所述牛脸识别模块根据 牛 脸轮廓信息对牛脸图像 分别进行正脸、 左脸及右 脸特征提取， 根据所述正脸、 左脸及右 脸特 征提取结果对所述待识别牛只进行唯一 性识别具体为： 通过所述牛脸识别模块对输入的每张左脸、 正脸、 右脸图像分别进行特征提取， 得到不 同方向类别的多个牛脸特 征； 对同一方向类别下的多个牛脸特 征进行融合， 得到同一方向类别的牛脸特 征向量； 将不同方向类别下的牛脸特征向量与底库中已有牛只的牛脸特征向量计算余弦相似 度， 得到所述待识别牛只与底库中各个已有牛只的相似度分数， 并将最高的相似度分数与 设置的相似度阈值进 行对比， 如果所述最高的相似度分数与设置的相似度阈值之 间的差值 大于设定阈值， 表示所述待识别牛只与底库中的 已有牛只不重复， 利用所述待识别牛只的 牛脸特征向量在底库中进行注 册并建库。 8.一种多视角牛脸识别装置， 其特 征在于， 包括： 数据采集模块： 用于采集待识别牛只的牛脸图像， 所述牛脸图像包括设定数量的左脸 图像、 正脸图像及右脸图像；权　利　要　求　书 2/3 页 3 CN 115546845 A 3