(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210977676.0 (22)申请日 2022.08.15 (71)申请人 太仓咖咪咔嘶科技有限公司 地址 215411 江苏省苏州市太 仓市科教新 城健雄路20号大学科技园一期3号楼 301-40号 (72)发明人 陈冬秋　 (51)Int.Cl. G06T 17/00(2006.01) G06V 40/16(2022.01) G06V 40/20(2022.01) G06N 20/00(2019.01) (54)发明名称 AI虚拟人物和影像处理方法、 系统、 电子设 备及存储介质 (57)摘要 本发明涉及AI虚拟人物和影像处理方法、 系 统、 电子设备及存储介质， 涉及计算机视觉技术 领域， 该方法为获取目标数字人源视频或目标数 字人的人像数据集， 基于加载的3D脸谱模型数据 库和3D表情模型数据库对可变模型适配结果进 行AI训练， 生成的数字人遮罩模型； 获取目标视 频， 并将目标视频输入至数字人遮罩模型进行视 频合成后， 输出处理后的AI虚拟场景影像视频。 本发明通过AI进行属性编辑以及数字人渐变模 型进行与3D表情模型数据库以及3D脸谱模型数 据库进行适配， 并基于3D脸谱模型、 表情参数以 及姿态参数进行AI训练， 依据得到的数字 人遮罩 模型对目标视频进行视频合成， 可 以实现高效、 准确、 快速的实现在不同目标视频场景下的换脸 影像处理。 权利要求书2页 说明书8页 附图5页 CN 115423936 A 2022.12.02 CN 115423936 A 1.一种AI虚拟人物和影 像处理方法， 其特 征在于， 包括： 获取待处理目标数字人源视频或 目标数字人的人像数据集， 对目标数字人源视频或 目 标数字人的人像数据集进行分帧处 理并识别人脸图像， 生成AI数字人照片； 对所述数字人照片进行数字人照片AI属性编辑， 并将所述数字人照片输入数字人渐变 模型； AI属性编辑以及数字人渐变模型处理后的结果输入数字人3D脸谱初始模型进行可变 模型适配； 基于加载的3D脸谱模型数据库和3D表情模型数据库对可变模型适配结果进行AI训练， 生成的数字人遮罩模型； 获取目标视频， 并将所述目标视频输入至数字人遮罩模型进行视频合成后， 输出处理 后的AI虚拟场景影 像视频。 2.根据权利要求1所述的AI虚拟人物和影像处理方法， 其特征在于， 基于加载的3D脸谱 模型数据库和3D表情模 型数据库对可变模 型适配结果进行AI训练 时， AI训练包含3D脸谱模 型、 表情参数以及姿态参数。 3.根据权利要求2所述的AI虚拟人物和影像处理方法， 其特征在于， 基于加载的3D脸谱 模型数据库和3D表情模型 数据库对可变模型适配结果进行AI训练时， 还 包括： AI训练的3D脸谱模型、 表情参数以及姿态参数输入数字人3D脸谱AI训练模型,更新3D 脸谱模型数据库。 4.根据权利要求2所述的AI虚拟人物和影像处理方法， 其特征在于， 基于加载的3D脸谱 模型数据库和3D表情模型 数据库对可变模型适配结果进行AI训练时， 还 包括： AI训练的3D脸谱模型、 表情参数以及姿态参数输入数字人3D表情AI训练模型,更新3D 表情模型 数据库。 5.根据权利要求1所述的AI虚拟人物和影像处理方法， 其特征在于， 对所述数字人照片 进行数字人照片AI属性编辑， 包括： 加载源视频分帧处 理及识别人脸图像后生成的AI数字人照片； 对所述源视频中的AI数字人照片进行面部识别， 生成特 征认定； 对所述源视频中的AI数字人照片进行表情识别， 生成姿态参数和表情参数。 6.根据权利要求1或5所述的AI虚拟人物和影像处理方法， 其特征在于， 获取目标视频， 并将所述目标视频输入至数字人遮罩模型进 行视频合成之前， 还包括对目标视频进行表情 识别， 所述表情识别的方法， 包括以下步骤： 对获取的目标视频进行表情特 征提取； 基于表情模型数据库以及提取的表情特征， 输入表情分析网络进行姿态提取以及标签 提取； 根据姿态提取以及标签提取的结果 生成所述目标视频对应的姿态参数和表情参数。 7.一种AI虚拟人物和影像处理系统， 其特征在于， 基于权利要求1 ‑6中任意一项所述AI 虚拟人物和影像处理进行AI数字人3D换脸表演处理， 所述AI虚拟人物和 影像处理系统， 包 括： 数字人生成模块， 用于对数字人照片进行数字人照片AI属性编辑， 并将所述数字人照 片输入数字人渐 变模型；权　利　要　求　书 1/2 页 2 CN 115423936 A 2分析模块， 用于在AI属性编辑以及数字人渐变模型处理后的结果输入数字人3D脸谱初 始模型进行 可变模型适配； 训练模块， 用于基于加载的3D脸谱模型数据库和3D表情模型数据库对可变模型适配结 果进行AI训练， 生成的数字人遮罩模型； 以及 合成模块， 用于获取目标视频， 并将所述目标视频输入至数字人遮罩模型进行视频合 成后， 输出处 理后的AI虚拟场景影 像视频。 8.根据权利要求7 所述的AI虚拟人物和影 像处理系统， 其特 征在于， 还 包括： 表情识别模块， 用于对获取的目标视频进行表情特征提取， 基于表情模型数据库以及 提取的表情特征， 输入表情分析网络进行姿态提取以及标签提取， 并根据姿态提取以及标 签提取的结果 生成所述目标视频对应的姿态参数和表情参数。 9.一种电子设备， 其特征在于， 所述电子设备包括多个电子设备， 各电子设备包括存储 器、 处理器以及 存储在存储器上并可在处理器上运行的计算机程序， 其特征在于， 所述多个 电子设备 的处理器执行所述计算机程序时共同实现权利要求1至6中任一项所述AI虚拟人 物和影像处理方法的步骤。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述存储介质存 储的所述计算机程序被处理器执行时实现权利要求1至6中任一项所述AI虚拟人物和 影像 处理方法的步骤。权　利　要　求　书 2/2 页 3 CN 115423936 A 3