(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210961610.2 (22)申请日 2022.08.11 (71)申请人 广州交信投科技股份有限公司 地址 510199 广东省广州市越秀区大沙 头 路33号3楼 (72)发明人 陈欢　金雷　翁健　罗建平　黄超　 杨森彬　 (74)专利代理 机构 广州汇航专利代理事务所 (普通合伙) 44537 专利代理师 潘婷 (51)Int.Cl. G06V 20/54(2022.01) G06V 20/52(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01)G06N 3/04(2006.01) G08G 1/01(2006.01) (54)发明名称 轻型神经网络模型边缘端交叉识别的车辆 礼让行人方法、 系统 (57)摘要 本发明公开了轻型神经网络模型边缘端交 叉识别的车辆礼让行人方法、 系统， 属于识别车 辆礼让行人技术领域， 包括以下步骤： S1： 公交视 频采集系统的车载路面视频采集器采集行车过 程中无斑马线图片D1、 斑马线上无行人D2、 斑马 线上有行人D3的三组图片数据； S2： 采集后的图 片数据经过 图像预处理； S3： 用负样本(D2+D3)、 正样本D1训练斑马线识别模型， 用正样本D3、 负 样本D2斑马线上行人识别模型； S4： 当车载中的 摄像头没有检测到道路上有斑马线时， 只保留斑 马线识别模型监听， 当检测到路面有斑马线时； 有选择地采集监听数据考虑车辆与 目标红绿灯 区域路况的多维度交互状态， 通过打分的方式， 量化车辆礼让 行人行为。 权利要求书2页 说明书8页 附图6页 CN 115410163 A 2022.11.29 CN 115410163 A 1.轻型神经网络模型边缘端交叉识别的车辆礼让行人方法， 其特征在于， 包括以下步 骤： S1： 公交视频采集系 统的车载路面视频采集器采集行车过程中无斑马线图片D1、 斑马 线上无行人D2、 斑马线上有行 人D3的三组图片数据； S2： 采集后的图片数据经 过图像预处 理， 包括补光、 灰度化、 真方图均衡处 理方式； S3： 用负样本(D2+D3)、 正样本D1训练斑马线识别模型， 用正样本D3、 负样本D2斑马线上 行人识别模型； S4： 当车载中的摄像头没有检测到道路上有斑马线时， 只保留斑马线识别 模型监听， 路 况监听与传输系统关闭， 当检测到路面有斑马线时， 开启路况监听与传输系统、 开启斑马线 上行人识别模型， 并关闭斑马线识别模型， 实现双模型交叉识别； 并通过车联网技术判断该位置的斑马线是否为需要检测礼让行人的斑马线， 如果是， 即刻触发斑马线行人识别模型， 并监听车速、 车速变化、 鸣笛状态、 直到没有检测到有斑马 线， 监听关闭； S5： 通过监听数据， 求 解公交车礼让 行人表现得分； 是否礼让行人做新的客观定义， 并以0～1.0取值方式评价礼让行人的程度， 其中得分 为0时表示表现最差， 取值 为1表示表现最佳； 由车辆经过斑马线时斑马线上是否有行人s(s取值为0或1， 当车辆经过斑马线时斑马 线上有行人s＝0， 否则s＝1)、 过程鸣笛次数w、 过程加速度a三个方面共同决定礼让行人综 合表现； 其中， 当斑马线上有行 人时， 车辆经 过时， 定义 为不礼让行人， 得分为0， 用公式表示 为： 其中， 鸣笛次数指标 是一个中间型指标， 假设其 最佳取值为wbest， w'表达如下公式所示： 其中， α, β, λ是超参数， 分别 表示三个变量之间的权重， 且α +β +λ＝1， 令α ＝0.7, β ＝0.1, λ＝0.2； s、 w、 a的求 解 定义了礼让行人得分函数， 可知， 如果求出s、 w、 a取值， 便可求得礼让行人， 车辆经过斑 马线时斑马线上是否有行人s、 过程鸣笛次数w、 过程加速度a， 由此求得公交车礼让行人表 现得分。 2.如权利要求1所述的轻型神经网络模型边缘端交叉识别的车辆礼让行人方法， 其特 征在于， 针对S1中， 公交视频采集系统中采集出无斑马线图片D1、 斑马线上无行人D2、 斑马 线上有行人D3的三组图片数据， 该模型是正负样本均衡的二分类模型， 采到的这两组数据 图片数量比例1:1。 3.如权利要求1所述的轻型神经网络模型边缘端交叉识别的车辆礼让行人方法， 其特 征在于， 针对S4中， 斑马线识别模型用于监听车辆在经 过斑马线时， 是否车辆有鸣笛。 4.如权利要求1所述的轻型神经网络模型边缘端交叉识别的车辆礼让行人方法， 其特权　利　要　求　书 1/2 页 2 CN 115410163 A 2征在于， 针对S4中， 路况监听与传输系统关闭则不回传车速、 路况、 车辆行驶状态实时信息 到云端数据库。 5.如权利要求1所述的轻型神经网络模型边缘端交叉识别的车辆礼让行人方法， 其特 征在于， 针对S4中， 斑马线 行人识别模型和斑马线识别模 型采用轻型神经网络， 斑马线 行人 识别模型和斑马线识别模型交叉应用， 并通过边 缘端实时传输 到云端数据库。 6.如权利要求1所述的轻型神经网络模型边缘端交叉识别的车辆礼让行人方法， 其特 征在于， 针对S4中， 训练斑马线 行人识别模型和斑马线识别模型， 包括行车过程中无斑马线 图片、 是否有斑马线图片、 斑马线上 是否有行 人的三组图像； 经过步骤S2后得到的数据作为模型输入， 构建神经网络， 训练模型， 得到斑马线识别模 型和斑马线上行人识别模型， 其中， 斑马线识别模型和斑马线上行人识别模型两个模型 的 训练过程整体一 致。 7.基于权利要求1 ‑6任一项所述的轻型神经网络模型边缘端交叉识别的车辆礼让行人 系统， 其特 征在于， 包括采集模块、 图片处 理模块、 识别模块和评分模块； 采集模块用于采集行车过程中无斑马线图片、 斑马线上无行人、 斑马线上有行人的三 组图片数据， 并发送至图片处 理模块； 图片处理模块对采集的图片进行补光、 灰度化、 均衡化、 规范化等处理， 得到满足算法 输入的数据格式， 并输出至识别模块； 识别模块用于识别是否有斑马线， 有斑马线则斑马线行人识别模型触发， 并关闭斑马 线识别模型， 同时监听车辆是否鸣笛、 刹车 数据， 并将数据发送至 评分模块； 评分模块 根据公交车 经过斑马线的表现打 分。权　利　要　求　书 2/2 页 3 CN 115410163 A 3