(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211242844.8 (22)申请日 2022.10.11 (71)申请人 成都信息工程大学 地址 610225 四川省成 都市西南 航空港经 济开发区学府路一段24 号 申请人 北京大学 (72)发明人 吴琴　肖湘民　杨琰　张志蕾　 郑常榕　何兵　宇文泰然　 (74)专利代理 机构 北京久维律师事务所 1 1582 专利代理师 邢江峰 (51)Int.Cl. G16H 50/20(2018.01) G06T 7/00(2017.01) G06V 10/82(2022.01) G06V 40/16(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于VGG卷积神经网络和面部识别孤独症早 筛系统及方法 (57)摘要 本发明属于计算机与人工智能技术领域， 公 开了一种基于VGG卷积神经网络和面部识别孤独 症早筛系统及方法， 通过数据收集设备以非接触 方式采集被试者的面部图像数据， 通过实验控制 程序控制视觉刺激视频的呈现并控制数据采集 设备的工作状态； 通过数据处理程序对所述数据 收集装置所采集到的原始面部图像数据进行初 步处理； 通过数据训练程序将处理完成的人脸图 像数据集送入VGG16模型进行训练， 获得孤独症 儿童人脸分类模 型； 通过摄像头捕捉人脸图像数 据， 将人脸图像数据送入已经训练完成的孤独症 儿童人脸分类模 型进行预测， 最终完成孤独症儿 童的分类功能。 本发明通过对人脸图像数据进行 直方图均衡化处理， 提升对比度， 达到图像增强 的效果。 权利要求书3页 说明书10页 附图4页 CN 115547488 A 2022.12.30 CN 115547488 A 1.一种基于VGG卷积神经网络和面部识别孤独症早筛系统， 其特征在于， 所述基于VGG 卷积神经网络和面部识别孤独症早筛系统包括： 数据收集装置， 包括数据收集设备和实验控制程序， 用于通过所述数据收集设备以非 接触的方式采集被试者的面部图像数据； 通过所述实验控制程序控制视觉刺激视频的呈现 并控制所述数据采集设备的工作状态； 数据处理模块， 用于通过数据处理程序对所述数据收集装置所采集到的原始面部图像 数据进行初步处 理， 包括第一型处 理和第二型处 理两种处 理方式； 数据训练模块， 用于通过数据训练程序将已经处理完成的人脸图像数据集送入VGG16 模型进行训练， 获得孤独症儿童人脸分类模型； 面部识别模块， 包括模型分类单元和摄像头调度单元， 用于通过摄像头捕捉人脸图像 数据， 将人脸图像数据送入已经训练完成的孤独症儿童人脸分类模型进行预测， 最终完成 孤独症儿童的分类功能。 2.如权利要求1所述的基于VGG卷积神经网络和面部识别孤独症早筛系统， 其特征在 于， 所述视觉刺激视频是指用于区分孤独症儿童和正常儿童的各种刺激范式， 所述刺激范 式以视频的方式进行呈现； 所述面部图像数据是指 被试者在观看视觉刺激视频时所表现出 的面部表情特 征数据， 用于后续处 理生成各种训练样本和 测试样本的原 始数据； 所述数据收集设备优选为USB高清摄像头， 所述实验控制程序优选为基于Python ‑ Opencv开 发的桌面应用程序； 在进行数据收集时， 向被试者展示并播放视觉刺激视频， 同时 以1秒为时间 间隔利用USB高清摄 像头收集被试者的面部图像数据。 3.如权利要求1所述的基于VGG卷积神经网络和面部识别孤独症早筛系统， 其特征在 于， 所述数据训练程序以VGG16卷积神经网络模型为核心框架； 所述人脸图像数据集采用 kaggle孤独症检测数据集， 将数据集按训练集、 验证集、 测试集分为三组， 每组按孤独症图 像和非孤独症图像分为两类， 孤独症组男女图片比例为3： 1， 非孤独症组男女图片比例为 1： 1； 所述VGG16卷积神经网络模型用于人脸图像数据 集的训练； 所述VGG16卷积神经网络模 型包括1个输入层、 1个输出层、 13个卷积层、 3个全连接层以及5个池化层； 所述VGG16卷积神 经网络模型 由若干卷积层和池化层以堆叠的方式构成， 并分成不同的块， 从上到下依 次编 号为Block1～Block6； 其中Block1和Block2内包含2个卷积层和1个池化层， Block3和 Block4内包含3个卷积层和1个池化层， Block5包含3个卷积层， Block6包含全连接层和 Dropout层； 所述input层的输入数据维数为64*64*1； 所述卷积层采用卷积核的核尺 寸为3， 步幅为1， 填充 方式为padding＝same， 采用relu为激活函数； 所述池化层采用max池化方式， 池化核参数均为2*2， 步幅为2； 所述全连接层使用Flatten函数将多维数据一维化， 达到从 卷积层过渡到全连接层的效果； 使用Dense函数将一维化的数据进行映射， 加入Dropout层 提升模型的泛化能力； 所述输出层 使用Dense函数进行搭建， 采用softmax为输出层函数， 完 成网络模型的搭建。 4.如权利要求1所述的基于VGG卷积神经网络和面部识别孤独症早筛系统， 其特征在 于， 所述模 型分类单元通过调用TensorFlow  2.0当中的模 型载入方法完成对孤独症儿童人 脸分类模型的载入， 通过调用经过数据训练程序训练完成的分类模型对被试儿童面部图像 数据进行分类的操作；权　利　要　求　书 1/3 页 2 CN 115547488 A 2所述摄像头调度单元采用OpenCV内置的摄像头获取方法完成对USB高清摄像头的调 用， 通过载入Harr级联分类模型完成人脸特 征的捕捉。 5.一种应用如权利要求1～4任意一项所述的基于VGG卷积神经网络和面部识别孤独症 早筛系统的基于VGG卷积神经网络和面部识别孤独症早筛方法， 其特征在于， 所述基于VGG 卷积神经网络和面部识别孤独症早筛方法包括： 通过被试者容易接受的方式获取被试者观看不同刺激范式时的面部图像数据， 进而获 得能作为深度学习模型训练的样本； 通过深度学习来 实现孤独症儿童与正常儿童面部图像 的分类， 最终完成孤独症的筛查。 6.如权利要求5所述的基于VGG卷积神经网络和面部识别孤独症早筛方法， 其特征在 于， 所述基于VG G卷积神经网络和面部识别孤独症早筛方法包括以下步骤： 步骤一， 通过数据收集设备以非接触的方式采集被试者的面部 图像数据， 通过实验控 制程序控制视 觉刺激视频的呈现并控制数据采集设备的工作状态； 步骤二， 通过数据处理程序对所述数据收集装置所采集到的原始面部图像数据进行初 步处理， 包括第一型处 理和第二型处 理两种处 理方式； 步骤三， 通过数据训练程序将已经处理完成的人脸图像数据集送入VGG16模型进行训 练， 获得孤独症儿童人脸分类模型； 步骤四， 通过摄像头捕捉人脸图像数据， 将人脸图像数据送入已经训练完成的孤独症 儿童人脸分类模型进行 预测， 最终完成孤独症儿童的分类功能。 7.如权利要求6所述的基于VGG卷积神经网络和面部识别孤独症早筛方法， 其特征在 于， 所述步骤二中的第一型 处理包括： 将原始的图像数据进 行人脸检测， 并从中提取人脸特 征数据， 将人脸 从图像背 景中分离出来； 将人脸的位置以坐标形式返回， 同时返回人脸的大 小与此时的姿态； 所述第一型处理优选为基于OpenCV中Harr特征的人脸检测分类器实现； 将采集的人脸 图像数据进行类Harr特征的提取； 所述类Harr特征是指反映图像的灰度变化的像素分模块 求差值的特征， 由矩形 组成， 并分为边缘特征、 线性特征、 中心特征和对角线 特征四类； 所述 类Harr特征的提取采用Viola ‑Jones人脸检测算法实现； 计算特征值， 计算方法是将灰度化 的图像分为黑白两色区域， 并计算白色区域W和黑色区域B的像素值之和的差值， 乘以相应 的权重系数T， 得到i区域Har r特征值CHaari， 计算方式如下： CHaari＝[ ∫ ∫wp(x,y)dx dy‑∫ ∫Bp(x,y)dx dy]*Ti； 最后利用所要识别特征的相应正例样本 图像和反例样本图像训练Harr分类器并生成 训练模型， 所述第一型处 理使用OpenCV中已经训练完成的Har r级联分类模型检测人脸； 所述第二型处理为将提取出来的人脸图片进行预处理操作， 所述预处理操作包括直方 图均衡化、 去噪和归一 化； 其中， 所述直方图均衡化是指将输入的图像数据经过灰度映射， 获取输入图像的二维 直方图； 统计每个灰度级出现的频率， 再通过调整灰度级直方图改善图像因过度曝光或曝 光不足导致的前景背景过亮或过暗现象； 所述直方图均衡化是依次扫描原始图像的每一个像素， 计算出图像的灰度直方图， 再 计算出灰度直方图的累积分布函数Sk； 根据累积分布函数得到输入与输出之间的映射关 系， 根据映射关系进行图像 变换； 所述映射关系表示 为：权　利　要　求　书 2/3 页 3 CN 115547488 A 3