(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211163490.8 (22)申请日 2022.09.23 (71)申请人 苏州市科远软件技 术开发有限公司 地址 215011 江苏省苏州市高新区金山路 131号 申请人 苏州科达科技股份有限公司 (72)发明人 张峰　肖潇　孟祥浩　袁小青　 (74)专利代理 机构 上海隆天律师事务所 31282 专利代理师 夏彬 (51)Int.Cl. G06V 20/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/24(2022.01) G06V 10/25(2022.01)G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 车牌识别方法、 系统、 设备及存 储介质 (57)摘要 本申请提供了一种车牌识别方法、 系统、 设 备及存储介质， 所述方法包括： 获取待识别车牌 的车牌区域图像； 将所述车牌区域图像输入关键 点预测模型， 获取所述待识别车牌的预测关键点 位置， 所述预测关键点包括预测角点关键点和预 测非角点关键点； 基于标准车牌的预设关键点位 置和所述待识别车牌的预测关键点位置计算透 视变换矩阵； 根据所述透视变换矩阵对所述车牌 区域图像进行矫正， 得到矫正车牌图像； 将所述 矫正车牌图像输入车牌字 符识别模 型， 得到车牌 字符。 通过采用本申请， 更加鲁棒地解决大角度 低质量车牌难识别的问题。 权利要求书2页 说明书12页 附图4页 CN 115424254 A 2022.12.02 CN 115424254 A 1.一种车牌识别方法， 其特 征在于， 包括如下步骤： 获取待识别车牌的车牌区域图像； 将所述车牌区域图像输入关键点预测模型， 获取所述待识别车牌的预测关键点位置， 预测关键点包括预测角点关键点和预测非角点关键点； 基于标准车牌的预设关键点位置和所述待识别车牌的预测关键点位置计算透视变换 矩阵， 预设 关键点包括预设角点关键点和预设非角点关键点； 根据所述透 视变换矩阵对所述车牌区域图像进行矫 正， 得到矫 正车牌图像； 将所述矫正车牌图像输入车牌字符识别模型， 得到车牌字符。 2.根据权利要求1所述的车牌识别方法， 其特征在于， 还包括采用如下步骤训练所述关 键点预测模型： 获取样本车牌的样本车牌区域图像， 确定所述样本车牌的标注角点关键点的第一位 置； 根据所述标准车牌的预设关键点位置和所述样本车牌的标注角点关键点的第一位置 确定所述样本车牌的标注非角点关键点的第一 位置； 将所述样本车牌 区域图像输入初始关键点预测模型， 得到所述初始关键点预测模型输 出的所述样本车牌的标注关键点的第二位置， 所述标注关键点包括标注角点关键点和标注 非角点关键点； 基于所述样本车牌的标注关键点的第 一位置和第 二位置构建损失函数， 并基于所述损 失函数优化训练所述初始关键点预测模型 得到所述关键点预测模型。 3.根据权利要求2所述的车牌识别方法， 其特征在于， 所述根据 所述标准车牌的预设关 键点位置和所述样本车牌的标注角点关键点的第一位置确定所述样本车牌的标注非角点 关键点的第一 位置， 包括如下步骤： 基于所述样本车牌的标注角点关键点的第 一位置和标准车牌的预设角点关键点位置， 构建位置转换矩阵； 基于标准车牌的预设非角点关键点位置以及所述位置转换矩阵， 计算所述样本车牌的 标注非角点关键点的第一 位置。 4.根据权利要求2所述的车牌识别方法， 其特征在于， 对于所述标准车牌， 将标准车牌 的四个角点围成的区域划分为(m ‑1)×(n‑1)个网格， 得到m ×n个网格点， 将各个网格点作 为所述标准车牌的预设 关键点， m≥2， n≥2， 且m ×n≥4。 5.根据权利要求1所述的车牌识别方法， 其特征在于， 所述关键点预测模型包括第 一特 征提取层、 关键点预测分支和局部偏移预测分支； 所述将所述车牌区域图像输入关键点预 测模型， 获取 所述待识别车牌的预测关键点 位置， 包括如下步骤： 将所述车牌区域图像输入所述关键点预测模型， 通过所述第 一特征提取层提取所述车 牌区域图像的图像特征， 通过所述关键点预测分支获取热度图， 通过所述局部偏移预测分 支获取局部偏移值； 从所述热度图中选择响应值大于邻域 点响应值的峰值 点， 确定峰值 点的位置； 获取与峰值点位置对应位置处 的局部偏移值， 根据 所述峰值点的位置和所述局部偏移 值得到峰值 点的矫正位置； 将所述峰值点与所述标准车牌的预设关键点进行配对， 将与 所述标准车牌的预设关键权　利　要　求　书 1/2 页 2 CN 115424254 A 2点对应的峰值点作为预测关键点， 将作为所述预测关键点的峰值点所对应的矫正位置作为 预测关键点的第二 位置。 6.根据权利要求1所述的车牌识别方法， 其特征在于， 所述车牌字符识别模型包括依次 串联的第二特 征提取层、 全局可分离卷积层、 卷积层、 reshape层和分类层。 7.根据权利要求6所述的车牌识别方法， 其特征在于， 将所述矫正车牌图像输入车牌字 符识别模型， 所述车牌字符识别模型配置为执 行如下操作： 所述第二特征提取层对所述矫正车牌图像进行特征提取， 得到C ×H×W维度的图像特 征， C、 H、 W分别表示 提取得到的图像特 征的初始维度、 初始高度和初始宽度； 所述全局可分离卷积层将所述C ×H×W维度的图像特征转换为C ×1×1维度的图像特 征； 所述卷积层将所述C ×1×1维度的图像特征转换为A ×1×1维度的图像特征， 其中A＝ B1*B2， B1为预设的每 个字符类别数， B2为预设的车牌 最多字符数； 所述reshape层将所述A ×1×1维度的图像特 征转换为B1 ×B2×1维度的图像特 征； 所述分类层基于所述B1 ×B2×1维度的图像特征进行分类预测， 得到B2个车牌字符的 预测值。 8.一种车牌识别系统， 其特征在于， 应用于权利要求1至7中任一项所述的车牌识别方 法， 所述系统包括： 图像获取模块， 用于获取待识别车牌的车牌区域图像； 关键点预测模块， 用于将所述车牌区域图像输入关键点预测模型， 获取所述待识别车 牌的预测关键点 位置， 所述预测关键点包括预测角点关键点和预测非角点关键点； 图像矫正模块， 用于基于标准车牌的预设关键点位置和所述待识别车牌的预测关键点 位置计算透视变换矩阵， 所述预设关键点包括预设角点关键点和预设非角点关键点； 以及 根据所述透 视变换矩阵对所述车牌区域图像进行矫 正， 得到矫 正车牌图像； 车牌识别模块， 用于将所述 矫正车牌图像输入车牌字符识别模型， 得到车牌字符。 9.一种车牌识别设备， 其特 征在于， 包括： 处理器； 存储器， 其中存 储有所述处 理器的可 执行指令； 其中， 所述处理器配置为经由执行所述可执行指令来执行权利要求1至7中任一项所述 的车牌识别方法的步骤。 10.一种计算机可读存储介质， 用于存储程序， 其特征在于， 所述程序被处理器执行时 实现权利要求1至8中任一项所述的车牌识别方法的步骤。权　利　要　求　书 2/2 页 3 CN 115424254 A 3