(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210845757.5 (22)申请日 2022.07.19 (71)申请人 深圳启美软件技 术有限公司 地址 518000 广东省深圳市福田区福田街 道福南社区深南中路3027号嘉汇 新城 汇商中心191 1 (72)发明人 张启东　蒋冰青　李霆　黄峰　 (74)专利代理 机构 深圳知帮办专利代理有限公 司 44682 专利代理师 王艺欢 (51)Int.Cl. G06Q 20/32(2012.01) G06Q 20/40(2012.01) G06Q 50/12(2012.01) G06V 20/52(2022.01)G06V 20/68(2022.01) (54)发明名称 一种用于无感餐厅的智能支付系统 (57)摘要 本发明公开了用于无感餐厅的智能支付系 统， 通过在智能餐厅的识别通道设置监控摄像 头、 菜品摄像头、 识别机和人脸机， 并结合菜品图 片库、 平板设备、 无感设备和训练分析服务器形 成智能化系统， 开餐前无需提前录入菜品图片， 开餐后智能汇 集图片一键确认菜品， 菜品摄像头 全动态菜品捕捉、 动态人脸捕捉， 用户经过通道 不需要停留， 监控摄像头全程对用户行为进行智 能监控， 防止出现漏单、 逃单等异常行为， 语音、 灯光和屏幕等各种提示用户的行为动作与重新 识别、 充值、 新客户注册等异常情况。 训练分析服 务器以非本餐次的图片作为菜品综合推荐， 使用 本餐次图片智能分析识别， 大幅提升识别准确 率， 无感设备与人脸机实现快速、 无接触支付， 提 高用户体验度。 权利要求书2页 说明书8页 附图1页 CN 115222384 A 2022.10.21 CN 115222384 A 1.一种用于无感餐厅的智能支付系统， 其特 征在于， 包括： 菜品图片库， 用于存 储和录入目标菜品图片并对应生成菜品价格； 监控摄像头， 设置在识别通道用于获取用户行为信息， 所述用户行为信息包括正常行 为和异常行为； 菜品摄像头， 设置在所述识别通道的菜品待识别区用于拍摄用户选取菜品的菜品图 像， 将所述菜品图像发送至所述菜品图片库； 识别机， 与所述监控摄像头连接， 用于显示所述用户行为信息和所述识别通道的状态 信息， 所述状态信息包括用户行为 正常的排队信息、 用户行为异常的报警信息； 人脸机， 与所述菜品摄像头连接， 用于接收所述菜品图片库根据所述菜品图像反馈的 菜品价格， 根据所述菜品摄像头识别到的托盘或手机上的二 维码信息以关联所述菜品图像 的结账人员， 根据所述菜品价格和所述结 账人员完成所述菜品图像的无感支付。 2.根据权利要求1所述的用于无感餐厅的智能支付系统， 其特征在于， 用户进入识别通 道后菜品摄像头开始 抓拍并选取一张完整清晰的菜品图片进 行识别， 若 无法抓拍完整清晰 的菜品图片， 则发送信号至所述人脸机提示重新排队识别， 所述识别机输出对应的提示声 音和灯光颜色。 3.根据权利要求2所述的用于无感餐厅的智能支付系统， 其特征在于， 用户进入识别通 道后菜品摄 像头开始抓拍并选取一张完整清晰的菜品图片进行识别， 包括： 当所述监控摄像头捕捉到无人在识别通道时， 所述识别机显示请进入识别的提示信 息； 当所述监控摄像头捕捉到有人进入识别通道的等待区且检测到用户行为信 息正常时， 所述识别机上 方的条状指示灯显示蓝色的前进方向信息； 当所述监控摄像头检测到用户行为信息异常时， 所述条状指示灯转换为红色闪动， 所 述人脸机显示所述用户行为异常的报警信息， 并在所述识别机生成所述报警信息对应的提 示语音。 4.根据权利要求3所述的用于无感餐厅的智能支付系统， 其特征在于， 所述识别机包 括： 第一识别模块， 用于根据用户进入识别通道后菜品摄像头开始抓拍时， 拍摄托盘上或 手机上的二维码并解析到二维码信息， 将所述 二维码信息关联 结账人员； 第二识别模块， 用于根据用户进入识别通道后人脸机开始识别时， 识别到所述用户的 人脸图像且所述第一识别模块无法判断所述结账人员的身份信息， 将所述人脸图像关联所 述结账人员得到人脸信息； 第三识别模块， 用于根据所述第一识别模块、 所述第二识别模块无法确定所述用户的 身份信息时， 采用刷卡或扫码方式关联所述结账人员， 若没有刷卡或扫码方式， 则报警提示 录入所述用户的身份信息 。 5.根据权利要求1所述的用于无感餐厅的智能支付系统， 其特征在于， 所述菜 品摄像头 采用全局曝光摄像头， 用户通过识别通道时， 所述菜品摄像头拍摄的每一帧图片通过检测 模型计算出菜品框的位置； 在用户未进入识别通道时， 历史记录中的菜品位置信息为空， 当所述用户端着菜品进 入识别通道时， 将每 帧图片检测到的所有菜品框计算出总面积并加入历史记录中， 并标记权　利　要　求　书 1/2 页 2 CN 115222384 A 2历史记录中最大总面积的图片； 当某一帧的菜 品框面积小于最大总面积图片的一半时， 则判定所述用户远离所述菜 品 待识别区， 并将最大总面积的图片作为 目标菜品图片， 抓拍到所述 目标菜品图片后清空所 述历史记录并等待下一个用户进入。 6.根据权利要求1所述的用于无感餐厅的智能支付系统， 其特征在于， 所述识别机生成 用户行为异常的报警信息包括： 所述监控摄像头检测到识别通道内有人并在所述识别机上显示等待识别时， 检测到用 户进入识别通道则所述识别机生成用户行为异常的报警信息； 所述监控摄像头检测到用户逆向通过识别通道、 用户从识别通道翻出、 用户翻入识别 通道以及用户拿取菜品正常通过但未进行支付而回流至识别通道； 所述菜品摄像头检测到用户未选取菜 品、 遮挡菜 品、 托盘摆放位置异常， 所述摆放位置 包括偏左、 偏右、 偏上或偏下。 7.根据权利要求1所述的用于无感餐厅的智能支付系统， 其特征在于， 存储和录入目标 菜品图片并对应生成菜品价格， 包括： 对一组待录入图片进行入库时， 训练分析服务器若确定待录入图片间的第 一差异度超 出第一预设差异度， 或者所述待录入图片与预设本类图片的第二差异度超过第二预设差异 度时， 所述菜品图片库拒绝录入操作。 8.根据权利要求7所述的用于无感餐厅的智能支付系统， 其特征在于， 当待录入图片与 预设本类图片的第二差异度小于第二预设差异度时， 直接替换 所述预设本类图片； 预设时间周期内所述预设本类图片未与 所述待录入图片未识别成功时， 删除所述预设 本类图片对应的菜品类别， 并保留至少一张所述菜品类别的菜品图片。 9.根据权利要求1所述的用于无感餐厅的智能支付系统， 其特 征在于， 还 包括： 平板设备， 用于拉取所有所述菜品图片库中的菜品图片并对应显示本餐底图， 匹配菜 品名称、 图片或新建菜品， 处理单个菜品异常、 删除本餐底图、 报警处理、 消费异议处理、 计 额和菜单消费处 理； 无感设备， 用于调用菜品摄像头对菜 品或二维码拍照、 控制监控摄像头生成报警信 息； 还用于实时传输给人脸机的二维码信息、 预结单信息、 结账信息和报警信息并通过蓝牙控 制报警灯显示； 将无法识别的菜品图片传输至训练分析服务器、 接 收所述训练分析服务器 发送的特 征和模型； 训练分析服务器， 用于接收待录入图片并分类推送至所述平板设备， 平板设备确认后 添加待录入图片并在菜品内自动分成小类， 根据 平板设备操作删除与待录入图片对应的特 征。 10.根据权利要求9所述的用于无感餐厅的智能支付系统， 其特征在于， 将操作员确认 过的本餐底图作为识别依据， 非本餐底图作为分析聚类依据， 识别时的分数为菜品类别中 的平均数， 并将最大平均数作为识别结果， 若最高识别分数和/或次高识别分数超过所述最 大平均数对应的待录入图片匹配至已确认的本餐底图则识别通过， 将识别不通过的待录入 图片推送至训练分析服务器， 其中， 所述本 餐底图属于预设本类图片， 训练分析服务器根据 厨师每天上传的菜品照片对其识别并调取对应的菜品价格， 将菜品价格与用户所选菜品关 联。权　利　要　求　书 2/2 页 3 CN 115222384 A 3