(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210398266.0 (22)申请日 2022.04.15 (71)申请人 浙江大学温州研究院 地址 325006 浙江省温州市瓯海区凤南路 26号 (72)发明人 吴健　陈婷婷　程奕　应豪超　 叶志前　 (74)专利代理 机构 杭州天勤知识产权代理有限 公司 33224 专利代理师 曹兆霞 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/73(2017.01) G06V 20/40(2022.01) G06V 10/44(2022.01)G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于自适应关键帧选择的胚胎视频成囊预 测装置 (57)摘要 本发明公开了一种基于自适应关键帧选择 的胚胎视频成囊预测装置， 包括存储器、 处理器 以及存储在所述存储器中并可在所述处理器上 执行的计算机程序， 所述存储器中存有胚胎成囊 预测模型， 所述处理器执行所述计算机程序时实 现以下步骤： 获取通过延时监测技术监测得到的 卵裂期视频， 并对卵裂期视频进行视频帧采样， 以得到视频帧序列和视频帧的采样位置信息； 将 视频帧序列和采样位置信息输入至胚胎成囊预 测模型， 经计算得到胚胎成囊的预测结果； 其中， 胚胎成囊预测模 型包括特征提取单元、 位置信息 转换单元、 LSTM单元、 关键帧决策单元以及成囊 预测单元， 该装置可 以实现对胚胎成囊的高效、 准确预测。 权利要求书2页 说明书7页 附图1页 CN 114723719 A 2022.07.08 CN 114723719 A 1.一种基于自适应关键帧选择的胚胎视频成囊预测装置， 包括存储器、 处理器以及存 储在所述存储器中并可在所述处理器上执行 的计算机程序， 其特征在于， 所述存储器中存 有胚胎成囊预测模型， 所述处 理器执行所述计算机程序时实现以下步骤： 获取通过延时监测技术监测得到的卵裂期视频， 并对卵裂期视频进行视频帧采样， 以 得到视频帧序列和视频帧的采样位置信息； 将视频帧序列和采样位置信 息输入至胚胎成囊预测模型， 经计算得到胚胎成囊的预测 结果； 所述胚胎成囊预测模型包括特征提取单元、 位置信息转换单元、 LSTM单元、 关键帧决策 单元以及成囊预测单元， 其中， 视频帧输入至特征提取单元经特征提取得到特征向量， 采样 位置信息输入至位置信息转换单元经转换得到位置向量， 特征向量与位置向量经拼接后输 入至LSTM单元经 处理输出隐层状态， 隐层状态输入至 关键帧决策单元经判断输出是否为关 键帧的判断结果， 将判断为关键帧的隐层状态输入至成囊预测单元计算胚胎成囊预测结 果； 判断为 非关键帧的 隐层状态被舍弃掉， 不参与成囊预测， 并利用上一关键帧的 隐层状态 对当前视频帧的 隐层状态做更新， 当前视频帧的更新后隐层状态输入至LSTM单元参与下一 视频帧的隐层状态计算， 以最后一关键帧的胚胎成囊预测结果作为最终的胚胎成囊预测结 果。 2.根据权利要求1所述的基于自适应关键帧选择的胚胎视频成囊预测装置， 其特征在 于， 所述胚胎成囊预测模型被 应用前， 需要 进行模型参数优化， 模型参数优化过程包括： 构建样本集， 以对单个卵裂期视频采样得到的视频帧序列和对应的采样位置信 息序列 作为输入数据， 以胚胎是否成囊作为真值标签， 形成单个样本； 构建损失函数， 损失函数L＝Lcls+β Lrwd， 其中， Lcls为依据胚胎成囊的预测结果和真值标 签构建的分类损失， β 表示权重， 取值为0 ‑10， Lrwd为关键帧对应预测结果的奖励损失， 具体 为： rt＝max(0,dt‑max(dt′,t′∈(0～t‑1))) 其中， t表示当前时刻， 对应当前时刻输入视频帧的索引， T为总时刻， 对应单个卵裂期 视频的采样视频帧总个数， rt为t时刻输入视频帧作为关键帧对 应的预测结果奖励， dt表示t 时刻输入视频帧的预测边界， 即真 实标签预测值减去其他类别预测值的最大值， 表示预 测为真实标签的预测值， c表示预测类别， gt 表示真实标签； 以样本作为胚胎成囊预测模型的输入， 采用损 失函数在真值标签的监督下， 对胚胎成 囊预测模型进行监 督学习， 以优化模型参数。 3.根据权利要求2所述的基于自适应关键帧选择的胚胎视频成囊预测装置， 其特征在 于， 在构建样本集时， 对获取 的卵裂期视频进行无效滤除， 包括： 首先滤除掉空培养皿和过 度曝光的视频帧， 然后将视频帧个数不满足预设视频帧阈值的卵裂期视频滤除掉， 剩余卵权　利　要　求　书 1/2 页 2 CN 114723719 A 2裂期视频参与视频帧采样以构建样本 。 4.根据权利要求1所述的基于自适应关键帧选择的胚胎视频成囊预测装置， 其特征在 于， 所述特 征提取单元采用ResNet5 0网络的至少前5层。 5.根据权利要求1所述的基于自适应关键帧选择的胚胎视频成囊预测装置， 其特征在 于， 所述位置信息转换 单元采用以下 方式对输入位置信息进行向量 转换： 首先， 采用公式 计算第一转换向量P E(pos,2i)， 其中， pos表示输入的采样位置信息， 2i表示向量维度， dmodel为预设常数， 取值 为720‑900； 然后， 采用公式 计算第二转换向量 PE(pos,2i+1)； 最后， 拼接第一 转换向量PE(pos,2i)和第二转换向量PE(pos,2i+1)以得到位置向量。 6.根据权利要求1所述的基于自适应关键帧选择的胚胎视频成囊预测装置， 其特征在 于， 所述关键帧决策 单元采用全连接神经网络 。 7.根据权利要求1或6所述的基于自适应关键帧选择的胚胎视频成囊预测装置， 其特征 在于， 所述关键帧决策单元对输入的隐层状态进行计算以输出判断结果， 当判断结果大于 等于0.5时， 认 为输入的 隐层状态对应的视频帧为关键帧， 当判断结果小于0.5时， 认为输入 的隐层状态对应的视频帧为非关键帧。 8.根据权利要求1所述的基于自适应关键帧选择的胚胎视频成囊预测装置， 其特征在 于， 将关键帧决策单元判断为关键帧的判断结果记为(0,1)， 将关键帧决策单元判断为 非关 键帧的判断结果记为(1,0)， 基于此， 根据 非关键帧的判断结果(1,0)对不作为关键帧的当 前视频帧的隐层状态 做更新， 更新公式为： ht′＝ht″×1+ht×0 其中， ht表示不作为关键帧的当前视频帧的隐层状态， ht″表示上一关键帧的隐层状态， ht′表示更新后的当前视频帧的隐层状态， 1和0为当前视频帧判断为非关键帧的判别结果。 9.根据权利要求1或2所述的基于自适应关键帧选择的胚胎视频成囊预测装置， 其特征 在于， 对卵裂期 视频进行视频帧采样后， 还对采样视频帧图像进 行数据增强， 增强后的视频 帧图像形成视频帧图像序列， 其中， 数据增强包括缩放裁剪、 随机水平翻转、 随机垂 直翻转、 随机亮度变化、 随机角度旋转。权　利　要　求　书 2/2 页 3 CN 114723719 A 3