(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210186949.X (22)申请日 2022.02.28 (71)申请人 厦门大学 地址 361005 福建省厦门市思明南路42 2号 (72)发明人 刘昆宏　陈滨　姚俊峰　林伟平　 叶晓娜　刘佳桐　 (74)专利代理 机构 厦门原创专利事务所(普通 合伙) 35101 专利代理师 高巍 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/82(2022.01) G06V 10/44(2022.01) G06V 10/62(2022.01) G06V 10/764(2022.01)G06V 10/774(2022.01) G06N 3/04(2006.01) G06K 9/62(2022.01) (54)发明名称 一种应用于社交机 器人的微表情识别方法 (57)摘要 本发明公开一种应用于社交机器人的人脸 微表情识别方法。 步骤一： 社交机器人从摄像头 获取视觉输入。 步骤二： 社交机器人的中央处理 单元对视觉输入进行人脸定位。 步骤三： 中央处 理单元提取四种光流信息的输入组。 步骤四： 将 输入组传入训练好的分块卷积网络中， 得到分类 后的微表情状态。 步骤五： 社交机器人的交互层 根据用户不同的微表情状态来进行相应的响应。 本发明设计了一个全新的基于深度特征增强的 分块卷积网络， 提高了微表情识别的泛化性和鲁 棒性， 并应用于社交机器人， 使得社交机器人可 以实时地根据用户的微表情状态实施不同的响 应方式。 权利要求书2页 说明书4页 附图3页 CN 114708627 A 2022.07.05 CN 114708627 A 1.一种应用于社交机器人的微表情识别方法， 其特 征在于， 其包括如下 具体步骤： S1、 社交机器人利用摄 像头获取视 觉输入信息， 并输入社交机器中央处 理单元； S2、 社交机器人中央处理单元对输入的视觉输入信息中的每帧图片进行人脸定位操 作； S3、 社交机器人中央处 理单元对提取的人脸图像和该 人的中性 脸提取光流信息； S4、 社交机器人中央处理单元将提取信 息输入带有深度特征增强的分块卷积网络 中输 出获取该帧人脸图片的微表情状态； S5、 社交机器人将获取的微表情状态传输给交互层， 交互层根据不同的微表情状态来 进行对应响应。 2.根据权利要求1所述的一种应用于社交机器人的微表情识别方法， 其特征在于： 所述 步骤S2具体包括： S21、 对输入图片进行去噪处 理， 去除冗余信息； S22、 使用Viola ‑Jones算法对图片中的人脸区域进行识别， 若存在人脸区域， 用矩形框 圈出； 若不存在人脸区域， 则结束流 程； S23、 截取矩形框， 获取含有人脸区域的图像数据。 3.根据权利要求1所述的一种应用于社交机器人的微表情识别方法， 其特征在于： 所述 步骤S3具体包括： S31、 处理层使用TV_L1方法提取横向光 流信息u,纵向光 流信息v和光学应 变信息os； S32、 处理层使用Fl owNet网络来 提取从深度模型中学习到的光 流信息vis； S33、 获取含有四张光流图片的输入组{u,v,os,vis}， 并将四张光流图片缩放成同样尺 寸大小。 4.根据权利要求3所述的一种应用于社交机器人的微表情识别方法， 其特征在于： 所述 步骤S4具体包括： S41、 将四张光流图片进行分块， 每块依次使用三个卷积层和一个最大池化层进行特征 提取； 其中， 第一个和第3个卷积层的卷积核 大小为1×1， 第二个的卷积核 大小为3×3， 所有 卷积核的步长都设置为1， 最大池化层的卷积核大小设置为3 ×3。 ； S42、 将每张图片的每块 提取到的特 征进行拼接， 并将拼接的特 征进行展平； S43、 经过两层全连接层得到最终的概率， 其中第一层全连接层后还跟着一个dropout 层， 并输出 人脸微表情识别的结果； S44、 使用改进IS DA_w损失函数对该网络进行训练。 5.根据权利要求1所述的一种应用于社交机器人的微表情识别方法， 其特征在于： 所述 社交机器人摄 像头的使用帧数 大于100fps。 6.根据权利要求2所述的一种应用于社交机器人的微表情识别方法， 其特征在于： 所述 步骤S22具体为： 利用Haar特征来描述人脸特征， 基于Haar特征， 算法使用四种矩形特征， Haar特征分别 对第一区域和第二区域的像素求和， 再求 这两种和的差； 建立积分图像， 积分图像中的任何一点的积分图像值等于位于该点左上角所有像素之 和； 对积分图像的特征利用AdaBoost算法依次训练弱分类器和强分类器； 并使用级联分类权　利　要　求　书 1/2 页 2 CN 114708627 A 2器来进行人脸检测， 把若干个adaboost分类器级 联起来， 使用第一特征将非人脸区域剔除， 再利用第二特征进 行非人脸区域的再剔除， 若没有检测到人脸区域， 则结束流程； 反之则用 矩形框将具体的人脸区域框 选。 7.根据权利要求3所述的一种应用于社交机器人的微表情识别方法， 其特征在于： 所述 横向光流信息u、 纵向光 流信息v和光学应 变信息os的计算基于亮度恒定性方程： 其中I(x,y,t)代表时间t在点(x,y)的图像强度 函数， 是空间变化梯度， It表示时间变化梯度， (dx,dy)和dt分别是点和时间的位移矢量； p和q分别代表水平 运动矢 量和垂直 运动矢量， u,v通过公式求得： 所述光学应变信息os通过矩阵来表征： 其中， 主对角线项(∈xx,∈yy)是正常的对角应变分量， (∈xy,∈yx)是非对角线的剪 切应变分量， 最终， 光学应 变os的大小可以计算如下式： 所述光流信息vis通过 FlowNet训练获得。权　利　要　求　书 2/2 页 3 CN 114708627 A 3