(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210366712.X (22)申请日 2022.04.08 (71)申请人 郑州大学第一附属医院 地址 450052 河南省郑州市二七区建 设东 路1号 (72)发明人 赵杰　何贤英　卢耀恩　李陈晨　 叶明　石金铭　陈昊天　范兆函　 黄山松　谭中科　 (74)专利代理 机构 太原九得专利代理事务所 (普通合伙) 14117 专利代理师 高璇 (51)Int.Cl. G06F 11/36(2006.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的GUI测试方法、 系统及 存储设备 (57)摘要 本发明提供的一种基于深度学习的GUI测试 方法、 系统及存储设备， 所述方法包括： S10， 用户 访问被测系统的界面， 自动截屏后上传至服务 器； S20， 对用户上传的截屏图像进行编号及标 注， 所述标注包括： 被测系统名称， 功能模块名 称； S30， CNN图像分类模型对每个截屏图像进行 评测打分； S40， 生成被测系统的GU I评测报告， 包 括： 整体得分， 每个功能模块的得分； 本发明具有 能够有效提高测试效率和测试精度的有益效果， 适用于软件界面测试 领域。 权利要求书2页 说明书7页 附图2页 CN 114661612 A 2022.06.24 CN 114661612 A 1.一种基于深度学习的GUI测试 方法， 其特 征在于： 包括以下步骤： S10， 用户访问被测系统的界面， 自动截屏后上传至服 务器； S20， 对用户上传的截屏图像进行编号及标注， 所述标注包括： 被测系统名称， 功能模块 名称； S30， CNN图像分类模型对每 个截屏图像进行评测打 分； S40， 生成被测系统的GUI评测报告， 包括： 整体得分， 每 个功能模块的得分。 2.根据权利 要求1所述的一种基于深度学习的GUI测试方法， 其特征在于： 所述步骤S30 中的CNN图像分类模型包括： 1个输入层、 3个卷积层、 3个池化层、 1个全连接层和1个输出层。 3.根据权利要求2所述的一种基于深度学习的GUI测试方法， 其特征在于： 所述的3个卷 积层中包括： Conv1层： 由32个5 *5*3的卷积核组成； Conv2层： 由64个5 *5*3的卷积核组成； Conv3层： 由128个3 *3*3的卷积核组成。 4.根据权利要求3所述的一种基于深度学习的GUI测试方法， 其特征在于： 所述的3个池 化层包括： Pool1层： 由32个2*2的池化过 滤器组成； Pool2层： 由64个2*2的池化过 滤器组成； Pool3层： 由128个2*2的池化滤波器组成。 5.根据权利要求4所述的一种基于深度学习的GUI测试方法， 其特征在于： 所述步骤 S30,CNN图像分类模型对每 个截屏图像进行评测打 分， 具体包括： S301， 对截屏图像进行处理， 得到处理后的RGB图像， 具体包括： 调整截屏图像的尺寸， 以及将截屏图像转 化为灰度图像后， 进行像素值的去均值归一 化处理； S302， 将处理后的RGB图像， 输入构建好的CN N图像分类模型中； 其中： 处理后的RGB图像为： 64*64*3， 64*64表示图像的宽度*高度， 3表示图像的R、 G、 B 三个色彩通道； S303， 使用Conv1层的卷积核对输入的RGB图像进行卷积运算， 得到32个60*60的二维特 征图； S304， 使用Pool1层的池化过滤器对Conv1层输出的二维特征图进行池化运算， 得到32 个30*30的二维特 征图； S305， 使用Conv2层的卷积核对Pool1层输出的二维特征图进行卷积运算， 得到64个26* 26的二维特 征图； S306， 使用Pool2层的池化过滤器对Conv2层输出的二维特征图进行池化运算， 得到64 个13*13的二维特 征图； S307， 使用Conv3层的卷积核对Pool2层输出的二维特征图进行卷积运算， 得到128个 11*11的二维特 征图； S308， 使用Pool3层的池化过滤器对Conv3层输出的二维特征图进行池化运算， 得到128 个6*6的二维特 征图； S309， 全连接层将Po ol3层产生的二维特 征图转化为128个一维特 征图； S310， 通过Softmax函数对特征进行分类， 并计算截屏图像 的平均值， 得到该截屏图像权　利　要　求　书 1/2 页 2 CN 114661612 A 2的测评得分， 所述Softmax函数计算公式如下： 其中： Ii表示所有输入组合中的第i个特征图， i＝1,2， ...， 128； K表示输入神经元个 数， K＜128； 所述截屏图像的平均值 为： S311， 当所有截屏图像完成测评得分后， 计算被测系统的GUI整体评测得分， 具体为： j表示被测系统的第j个截屏图像。 6.根据权利要求1所述的一种基于深度学习的GUI测试方法， 其特征在于： 所述步骤 S10， 用户访问待测系统的界面， 并完成自动截屏后上传至服 务器； 具体包括： 当用户通过网页浏览器访问被测系统时， 自动截屏模块调用 .NET类库中的 System.Drawing命名空间下的Bitmap类和Graphics类进行截屏， 并采用FTP协议连接服务 器进行截屏图像的自动上传。 7.根据权利要求6所述的一种基于深度学习的GUI测试方法， 其特征在于： 自动截屏模 块调用.NET类库中的System.Drawing命名空间下的Bitmap类和Graphics类进行截屏时， 还 包括： 判断用户的浏览界面是否为同一图像， 如是， 则 视为同一界面， 不进行截屏， 否则， 进行 截屏。 8.根据权利要求5所述的一种基于深度学习的GUI测试方法， 其特征在于： 所述步骤 S301中， 去均值归一 化处理的计算表达式为： 其中： I表示输入图像在某一点的像素值， In表示某一点处理后的像素值， μ表示输入图 像的像素均值。 9.一种基于深度学习的GUI测试系统， 其特 征在于： 包括： 用户端(10)， 用于使用户访问被测系统的界面， 并完成自动截屏后上传至服 务器(20)； 服务器(20)包括： 标注模块(201)， 用于对用户上传的截屏图像进行编号及标注； CNN图像分类模型(202)， 用于对每 个截屏图像进行评测打 分； 报告生成模块(20 3)， 用于生成被测系统的GUI评测报告。 10.存储设备， 其中存储有多条指令， 其特征在于： 所述指令适于由处理器加载并执行 如权利要求1至8任一所述的一种基于深度学习的GUI测试 方法。权　利　要　求　书 2/2 页 3 CN 114661612 A 3