(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210320526.2 (22)申请日 2022.03.29 (71)申请人 青岛海信网络科技股份有限公司 地址 266071 山东省青岛市崂山区株洲路 151号 (72)发明人 王雯雯　冯远宏　史晓燕　 (74)专利代理 机构 北京同达信恒知识产权代理 有限公司 1 1291 专利代理师 李静文 (51)Int.Cl. G06V 20/40(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/25(2022.01)G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于视频的道路施工预警方法及设备 (57)摘要 本申请涉及智能交通技术领域， 提供一种基 于视频的道路施工预警方法及设备， 基于多个训 练样本的锚点框与预先标注的真实框之间的距 离和交并比， 确定二者之间的权重并生成带权二 分图， 基于带权二分图训练得到道路施工检测模 型， 利用该模型， 可 以准确地提取出每一视频帧 内表道路施工特征的各个特征图， 得到特征图集 合； 并且对各视频帧对应的特征图集合， 采用帧 间残差网络， 检测是否发生道路施工事件， 由于 帧间残差网络结合了不同时刻两视频帧的施工 特征， 这样， 有助于提高道路施工事件检测的准 确性， 以便在检测出道路施工事件时， 及时的推 送施工预警消息， 从而保证高速公路的正常通 行， 减少发生交通事故的概 率。 权利要求书3页 说明书13页 附图8页 CN 114639054 A 2022.06.17 CN 114639054 A 1.一种基于 视频的道路施工预警方法， 其特 征在于， 包括： 获取高速公路的视频流； 针对每一视频帧， 采用训练好的道路施工检测模型， 提取所述视频帧的预设检测区域 内各个特征图， 得到特征图集合， 其中， 所述道路施工检测模 型是基于多个训练样本的锚点 框集合与预先标注的真实框集合生成的带权二分图训练得到的， 所述带权二分图中锚点框 与真实框的权 重是基于二 者之间的距离和交并比确定的； 对各视频帧对应的特 征图集合， 采用帧间残差网络， 检测是否发生道路施工事 件； 当发生道路施工事 件时， 推送 施工预警消息以疏导道路交通。 2.如权利要求1所述的方法， 其特征在于， 所述采用训练好的道路施工检测模型， 提取 所述视频帧的预设检测区域内各个特 征图， 得到特 征图集合， 包括： 采用训练好的道路施工检测模型， 确定检测框集 合中各个 检测框的置信度； 对各个置信度进行排序， 剔除最高置信度对应的目标检测框， 得到剩余检测框集合， 并 将所述目标检测框存 入目标检测框集 合； 分别计算所述剩余检测框集合中各检测框的面积， 与所述目标检测框的面积的交并 比， 剔除所述交并比大于面积阈值的检测框； 重新确定所述剩余检测框集合中的目标检测框， 直至所述剩余检测框集合为空集， 利 用所述目标检测框集 合中的各个目标检测框生成特 征图集合。 3.如权利要求1所述的方法， 其特征在于， 所述对各视频帧对应的特征图集合， 采用帧 间残差网络， 检测是否发生道路施工事 件， 包括： 针对第N帧视频帧对应的特征图集合中的每个特征图， 进行多次卷积操作， 得到多个特 征向量， N 为大于等于2的整数； 确定所述第N帧视频帧的每 个特征图与第N ‑1帧视频帧的相应特 征图之间的差分向量； 将每个差分 向量和相应特征图的多个特征向量进行全连接， 并基于全连接后的目标向 量检测是否发生道路施工事 件。 4.如权利要求1 ‑3中任一项所述的方法， 其特征在于， 所述道路施工检测模型是通过以 下方式训练得到的： 获取训练样本集 合； 将所述训练样本集合中的多个训练样本， 输入至初始 的道路施工检测模型， 通过多轮 迭代训练， 得到检测损失值在预设范围内的道路施工检测模型； 其中， 针对每一轮训练， 执 行以下操作： 通过初始的道路施工检测模型， 提取每 个训练样本中的多个锚点框， 得到锚点框集 合； 针对所述锚点框集合中每个锚点框， 根据 所述锚点框与 所述锚点框包含的目标对应的 真实框之间的交并比和距离， 确定二 者的第一权 重； 根据每个训练样本的锚点框集 合， 和预先标注的真实框集 合， 建立带权二分图； 采用KM算法， 计算出 所述带权二分图的最佳匹配结果； 根据匹配的锚点框与真实框， 确定每 个锚点框的检测损失值； 根据每个训练样本中各个锚点框的检测损失值， 调整初始的道路施工检测模型的参 数。 5.如权利要求4所述的方法， 其特征在于， 所述带权二分图的一侧为锚点框集合， 另一权　利　要　求　书 1/3 页 2 CN 114639054 A 2侧为真实框集 合； 所述采用KM算法， 计算出 所述带权二分图的最佳匹配结果， 包括： 根据各个锚点框的第一权重， 以及各个第一权重各自对应的交并比， 确定所述各个锚 点框与相应的真实框形成的各个边的第二权 重； 根据所述各个边的第二权 重， 采用KM算法， 得到匹配数量 最多的匹配结果。 6.如权利要求 4所述的方法， 其特 征在于， 所述第一权 重的计算公式为： Wij＝log(Dij*|1‑Si/Sj|) 其中， Wij表示第i个锚点框与第j个真实框的第一权重， Dij表示第i个锚点框与第j个真 实框的中心点之间的距离， Si/Sj表示第i个锚点框的面积与第j个真实框的面积的交并比， 不同锚点框的尺度不同。 7.如权利要求4所述的方法， 其特征在于， 得到每个训练样本的锚点框集合之后， 所述 方法还包括： 根据所述锚点框集合中每个锚点框与相应的真实框的距离， 为每个锚点框设置位置权 重， 以便在计算所述带权二分图的最佳匹配结果时， 优先回归位置权重大于位置阈值的锚 点框。 8.一种检测设备， 其特征在于， 包括处理器、 存储器和通信 接口， 所述通信接口、 所述存 储器与所述处 理器通过总线连接； 所述存储器存储有计算机程序， 所述处 理器根据所述计算机程序执 行以下操作： 通过所述通信接口， 获取高速公路的视频流； 针对每一视频帧， 采用训练好的道路施工检测模型， 提取所述视频帧的预设检测区域 内各个特征图， 得到特征图集合， 其中， 所述道路施工检测模 型是基于多个训练样本的锚点 框集合与预先标注的真实框集合生成的带权二分图训练得到的， 所述带权二分图中锚点框 与真实框的权 重是基于二 者之间的距离和交并比确定的； 对各视频帧对应的特 征图集合， 采用帧间残差网络， 检测是否发生道路施工事 件； 当发生道路施工事 件时， 通过 所述通信接口推送 施工预警消息以疏导道路交通。 9.如权利要求8所述的检测设备， 其特征在于， 所述处理器采用训练好的道路施工检测 模型， 提取 所述视频帧的预设检测区域内各个特 征图， 得到特 征图集合， 具体操作为： 采用训练好的道路施工检测模型， 确定检测框集 合中各个 检测框的置信度； 对各个置信度进行排序， 剔除最高置信度对应的目标检测框， 得到剩余检测框集合， 并 将所述目标检测框存 入目标检测框集 合； 分别计算所述剩余检测框集合中各检测框的面积， 与所述目标检测框的面积的交并 比， 剔除所述交并比大于面积阈值的检测框； 重新确定所述剩余检测框集合中的目标检测框， 直至所述剩余检测框集合为空集， 利 用所述目标检测框集 合中的各个目标检测框生成特 征图集合。 10.如权利要求8所述的检测设备， 其特征在于， 所述处理器对各视频帧对应的特征图 集合， 采用帧间残差网络， 检测是否发生道路施工事 件， 具体操作为： 针对第N帧视频帧对应的特征图集合中的每个特征图， 进行多次卷积操作， 得到多个特 征向量， N 为大于等于2的整数； 确定所述第N帧视频帧的每 个特征图与第N ‑1帧视频帧的相应特 征图之间的差分向量；权　利　要　求　书 2/3 页 3 CN 114639054 A 3