(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210978539.9 (22)申请日 2022.08.16 (71)申请人 陈灿平 地址 311800 浙江省绍兴 市诸暨市2025创 意园内302室 (72)发明人 陈灿平　 (74)专利代理 机构 安徽盟友知识产权代理事务 所(特殊普通 合伙) 34213 专利代理师 周荣 (51)Int.Cl. G06Q 50/26(2012.01) G06V 40/16(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于人脸识别和行为大数据的综合安防评 估系统及方法 (57)摘要 本发明涉及一种基于人脸识别和行为大数 据的综合安防评估系统及方法， 在安防视频中获 取待识别目标的人脸图像数据与行为图像数据， 首先判断人脸图像数据的分辨率是否满足阈值， 如果满足则通过成熟的卷积神经网络模型对人 脸图像数据识别并输出结果， 如不满足则通过 成 熟的行为图像识别函数先对行为图像数据进行 分类； 然后通过成熟的卷积神经网络模型对人脸 图像数据进行分类， 如成熟的行为图像识别函数 与成熟的卷积神经网络模型输出分类一致则结 束分类， 否则进行修改； 如一致则输出该一致的 分类， 否则输出分类未决， 本申请对人脸面部表 情进行分类 检测识别的准确率更高。 权利要求书2页 说明书4页 CN 115393141 A 2022.11.25 CN 115393141 A 1.一种基于人脸识别和行为大 数据的综合 安防评估方法， 其特 征在于， 包括 步骤 采集带有标签的人脸图像数据以及带有标签的行为图像数据， 其中的标签具体为对人 脸图像数据、 行为图像数据的分类标签； 基于人脸图像数据对卷积神经网络模型初步训练得到成熟的卷积神经网络模型； 基于 行为图像数据建立行为图像识别函数， 行为图像识别函数用于输入行为图像数据输出对行 为图像数据的分类， 并且通过训练修改行为图像识别函数的参数得到成熟的行为图像识别 函数； 预先将人脸面部表情划分为m个类别； m等于6则面部表情类别分别为m1类， m2类， m3 类....m6类； 采集未有标签的人脸图像数据并输入到成熟的卷积神经网络模型然后统计所 有识别错误的数据； 在所有识别错误数据中统计成熟 的卷积神经网络模型将m个类别中一 种表情识别为另外一种错 误表情的所有概 率： Pij其中i≠j， i＝1,2,3,4,5,6； j＝1,2,3,4,5,6； Pij即为成熟的卷积神经网络模型将第 mi类表情识别为第mj类表情的概 率； 在安防视频中获取待识别目标的人脸图像数据与 行为图像数据， 首先判断人脸图像数 据的分辨率是否满足 阈值， 如果满足则通过成熟的卷积神经网络模型对人脸图像数据识别 并输出结果， 如不满足则通过成熟 的行为图像识别函数先对行为图像数据进行分类； 然后 通过成熟的卷积神经网络模型对人脸图像数据进 行分类， 如成熟的行为图像识别函数与成 熟的卷积神经网络模型输出分类一致则结束分类， 否则根据Pij对“成熟的卷积神经网络模 型对人脸图像数据的分类 ”进行修改； 如成熟的行为图像识别函数输出分类与 “对“成熟的卷积神经网络模型对人脸图像数 据的分类 ”修改后分类 ”一致则输出 该一致的分类， 否则输出分类未决。 2.根据权利要求1所述的一种基于人脸识别和行为大数据的综合安防评估方法， 其特 征在于， 所述根据Pij对“成熟的卷积神经网络模型对人脸图像数据的分类 ”进行修改， 具体 地， Pij共计有30个值， 按照大小将Pij的30个值分成5个层级， 每个层级6个值； 当Pij的值越大 则层级越高， Pij的层级较低时则将其标记为不具有参考性， 否则标记为具有参考性， 当 “成 熟的卷积神经网络模型对人脸图像数据的分类 ”结果中其表情类为第mj类表情时则判断相 应的Pij是否为具有参考性的， 如否则结束， 如是则将 “成熟的卷积神经网络模型对人脸图像 数据的分类 ”修改为第mj类表情； 其中i≠j， i ＝1,2,3,4,5,6； j＝1,2,3,4,5,6 。 3.根据权利要求1所述的一种基于人脸识别和行为大数据的综合安防评估方法， 其特 征在于， 所述卷积神经网络模型的构建基于深度神经网络U ‑nct和局部监督卷积神经网络 LS‑CNN构建。 4.一种基于人脸识别和行为大 数据的综合 安防评估系统， 其特 征在于， 包括， 图像采集单元， 用于采集带有标签的人脸图像数据以及带有标签的行为图像数据， 其 中的标签具体为对人脸图像数据、 行为图像数据的分类标签； 训练单元， 用于基于人脸图像数据对卷积神经网络模型初步训练得到成熟的卷积神经 网络模型； 还用于基于行为图像数据建立行为图像识别函数， 行为图像识别函数用于输入 行为图像数据输出对行为图像数据的分类， 并且通过训练修改行为图像识别函数的参数得 到成熟的行为图像识别函数； 表情分类单元， 用于预先将人脸面部表情划分为m个类别； m等于6则面部表情类别分别 为m1类， m2类， m3类. ...m6类；权　利　要　求　书 1/2 页 2 CN 115393141 A 2统计单元， 用于采集未有标签的人脸图像数据并输入到成熟的卷积神经网络模型然后 统计所有识别错误的数据； 在所有识别错误数据中统计成熟 的卷积神经网络模型将m个类 别中一种表情识别为另外一种错 误表情的所有概 率： Pij其中i≠j， i＝1,2,3,4,5,6； j＝1,2,3,4,5,6； Pij即为成熟的卷积神经网络模型将第 mi类表情识别为第mj类表情的概 率； 判断单元， 用于在安防视频中获取待识别目标的人脸图像数据与行为图像数据， 首先 判断人脸图像数据的分辨率是否满足 阈值， 如果满足则通过成熟的卷积神经网络模型对人 脸图像数据识别并输出结果， 如不满足则通过成熟的行为图像识别函数先对行为图像数据 进行分类； 然后通过成熟 的卷积神经网络模型对人脸图像数据进行分类， 如成熟 的行为图 像识别函数与成熟的卷积神经网络模型输出分类一致则结束分类， 否则根据Pij对“成熟的 卷积神经网络模型对人脸图像数据的分类 ”进行修改； 如成熟的行为图像识别函数输出分 类与“对“成熟的卷积神经网络模型对人脸图像数据的分类 ”修改后分类 ”一致则输出该一 致的分类， 否则输出分类未决。 5.根据权利要求4所述的一种基于人脸识别和行为大数据的综合安防评估系统， 其特 征在于， 包括处理器， 其用于执行图像采集单元、 训练单元、 表情分类单元、 统计单元、 判断 单元对应的可 执行代码。权　利　要　求　书 2/2 页 3 CN 115393141 A 3