(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211155032.X (22)申请日 2022.09.21 (71)申请人 天翼电子商务有限公司 地址 100037 北京市西城区阜成门外大街 31号4层429D (72)发明人 左乾亨　王迪　娄伟康　张气箔　 (51)Int.Cl. G06K 7/14(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 一种移动端基于目标检测的多码识别实现 方法 (57)摘要 本发明公开了一种移动端基于目标检测的 多码识别实现方法， 它涉及移动开发技术领域。 加载训练好的可识别条形码和二维码区域的目 标检测模型， 调用手机摄像头获取 实时视频图像 数据， 对输入 图像进行检测， 获取图像上条形码 和二维码所在区域， 并对检测结果进行处理， 过 滤掉预测值低的结果； 对每个检测出条形码和二 维码的区域各自创建一个子线程， 从图像上裁剪 出条形码或二维码所在区域生 成新图片， 对新图 片进行图像处理， 然后使用条码扫描器解析出内 容； 汇总所有子线程的处理结果， 并在图像上显 示出条形码和二维码对应区域。 本发 明在用户扫 描多个条码时， 能够支持多个条形码和二维码的 混合识别， 减少用户操作路径， 提升扫码使用体 验， 应用前 景广阔。 权利要求书2页 说明书4页 附图2页 CN 115496085 A 2022.12.20 CN 115496085 A 1.一种移动端基于目标检测的多码识别实现方法， 其特 征在于， 其 步骤为： (1)准备工作： 使用目标检测框架和大量条形码、 二维码的图片集， 训练出可以识别条 形码和二维码区域的模型； (2)使用目标检测框架加载之前训练好的可以识别条形码和二维码区域的目标检测模 型； (3)调用手机摄像头， 获取实时视频流数据， 从视频流数据中获取每一帧的图像数据并 转换为图片类型； (4)使用目标检测框架对输入的图像进行条形码和二维码检测， 获取图像上条形码和 二维码所在的区域和对应区域的条码类型和预测值； (5)对目标检测结果进行处理， 根据每个区域的概率预测值， 过滤掉概率预测值低的区 域， 如果没有符合条件的检测结果， 结束本次图像 检测， 处理下一个输入的图像； (6)针对每一个 检测出条形码和二维码的区域， 各自创建一个子线程进行处 理； (7)在对应子线程中， 根据检测结果在图像上裁剪出条形码和二维码所在区域生成新 的图像， 并对新图像进行 灰度和增强对比度处 理； (8)对处理后的新图像， 根据目标检测结果的条码类型， 使用不同的扫描器解析出条形 码或二维码的内容； (9)汇总所有子线程条码的解码结果， 并在扫码页面上显示解码出内容的条形码和二 维码对应的区域， 检查是否有解码成功的条码； (10)如果没有解析出条形码 或二维码的内容， 根据目标检测结果动态调整手机输入相 机设备的对焦 模式及焦点， 结束本次图像检测， 处理下一个输入的图像； 如果有解码成功的 条码， 则显示 解码成功的条码区域。 2.根据权利要求1所述的一种移动端基于目标检测的多码识别实现方法， 其特征在于， 所述的步骤(1)搭建Python开 发环境， 下载Yolov5目标检测代码并安装依赖包， 加载已经标 记好条形码二维码区域的图片集， 调用Yolov5训练出可以识别条形码和二维码区域的模 型。 3.根据权利要求1所述的一种移动端基于目标检测的多码识别实现方法， 其特征在于， 所述的步骤(2)使用ncnn框架加载之前训练好的可以识别条形码和二 维码区域的检测模 型 文件和参数文件， 并初始化检测器。 4.根据权利要求1所述的一种移动端基于目标检测的多码识别实现方法， 其特征在于， 所述的步骤(3)初始化AVCaptureSession并设置采集质量， 分别添加后置相机创建的 AVCaptureDeviceInput和AVCaptureVideoDataOutput到当前session作 为输入输出流， 并 设置输出视频帧流代理 ， 在获取到视频帧后， 使用CoreGraphics将输出的 CMSampleBuf ferRef转换为UI Image类型。 5.根据权利要求1所述的一种移动端基于目标检测的多码识别实现方法， 其特征在于， 所述的步骤(5)对检测结果进 行处理， 根据每个区域的概率预测值， 过滤掉概率预测值低于 0.6的区域。 6.根据权利要求1所述的一种移动端基于目标检测的多码识别实现方法， 其特征在于， 所述的步骤(6)使用GCD多线程框架创建一个dispatch_group线程组， 对每一个检测出条形 码和二维码的区域， 各自创建一个子线程进行处 理， 并将子线程加入线程组中并发执 行。权　利　要　求　书 1/2 页 2 CN 115496085 A 27.根据权利要求1所述的一种移动端基于目标检测的多码识别实现方法， 其特征在于， 所述的步骤(7)在对应子线程中， 使用CGBitmapContextCreate创建上下文并设置颜色空间 为灰度颜色空间， 根据检测结果绘制出条形码和二维码所在区域， 使用CIFilter调整图像 对比度input Contrast的值为2.5， 然后使用CGBitmapContext CreateImage方法生成新的 图 像。 8.根据权利要求1所述的一种移动端基于目标检测的多码识别实现方法， 其特征在于， 所述的步骤(8)使用AVFoundation的CIDetector解析二维码内容， 使用Zbar解析条形码内 容。 9.根据权利要求1所述的一种移动端基于目标检测的多码识别实现方法， 其特征在于， 所述的步骤(10)如果没有解析出条形码或二维码的内容， 根据目标检测结果， 修改输入设 备的focusPointOfInterest焦点至概率预测值最高区域的中心位置， 并设置对焦模式为自 动对焦， 提升后续输入条 形码和二维码的图像清晰度。权　利　要　求　书 2/2 页 3 CN 115496085 A 3