(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210127148.6 (22)申请日 2022.02.11 (71)申请人 超级视线科技有限公司 地址 075000 河北省张家口市桥 东区站前 东大街28号河北国控北方硅谷高科新 城10号楼4层 (72)发明人 闫军　丁丽珠　王艳清　 (51)Int.Cl. G06V 20/52(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/25(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 基于高位视频监控的车辆匹配关系判断方 法以及装置 (57)摘要 本申请公开一种基于高位视频监控的车辆 匹配关系判断方法以及装置。 方法包括： 根据多 个视频帧图像， 车辆类别、 检测框坐标位置、 检测 框标识号码、 匹配对象类别、 检测框坐标位置以 及检测框标识号码， 构建车辆与匹配对象的真实 关系矩阵与每个检测框的邻接矩阵； 根据车辆检 测框坐标位置与匹配对象检测框坐标位置对图 像进行变换， 获得检测框图像； 将每个检测框图 像的特征与距离特征进行拼接， 获得拼接特征， 对拼接特征进行特征变换， 获得变换特征； 将每 个变换特征与每个检测框的邻接矩 阵输入至图 卷积神经网络， 输出车辆与匹配对象的预测关系 矩阵； 构建损失函数， 并根据损失函数， 调整图卷 积神经网络的参数， 获得训练完成的图卷积神经 网络。 权利要求书4页 说明书14页 附图2页 CN 114519842 A 2022.05.20 CN 114519842 A 1.一种基于高位视频监控的车辆匹配关系 判断方法， 其特 征在于， 包括： 获取多个视频帧图像， 并根据所述多个视频帧图像， 获得每个所述视频帧图像对应的 车辆类别、 车辆检测框坐标位置、 车辆检测框标识号码、 匹配对 象类别、 匹配对象检测框坐 标位置以及匹配对象检测框标识号码； 根据所述车辆类别、 所述车辆检测框坐标位置、 所述车辆检测框标识号码、 所述匹配对 象类别、 所述匹配对 象检测框坐标位置以及所述匹配对 象检测框标识号码， 构建车辆与匹 配对象的真实关系矩阵与每个检测框的邻接矩阵； 其中， 每个所述检测框为车辆检测框或 者匹配对象检测框； 根据所述车辆检测框坐标位置与 所述匹配对象检测框坐标位置， 对每个所述视频帧图 像进行划分与尺寸变换， 获得多个 检测框图像； 将每个所述检测框 图像的特征与距离特征进行拼接， 获得多个拼接特征， 并对所述多 个拼接特 征进行特征变换， 获得多个 变换特征； 将每个所述变换特征与每个所述检测框的邻 接矩阵输入至图卷积神经网络， 输出车辆 与匹配对象的预测关系矩阵； 根据所述车辆与匹配对象的真实关系矩阵与所述车辆与匹配对象的预测关系矩阵， 构 建损失函数， 并根据所述损失函数， 调整 所述图卷积神经网络的参数， 获得训练完成的图卷 积神经网络； 根据所述训练完成的图卷积神经网络， 对待测视频帧图像进行预测， 获得车辆与匹配 对象的匹配关系。 2.根据权利要求1所述的基于 高位视频监控的车辆匹配关系判断方法， 其特征在于， 所 述将每个所述检测框图像的特征与距离特征进行拼接， 获得多个拼接特征， 并对所述多个 拼接特征进行特征变换， 获得多个 变换特征， 包括： 获取每个所述检测框图像的3 *H*W维度特 征； 设置4*H*W维度距离特征， 并将每个所述检测框图像 的3*H*W维度特征与所述4*H*W维 度距离特 征在通道维度上进行 特征拼接， 获得多个7* H*W维度拼接特 征； 其中， H*W表示检测框的宽高， 通道数7包括R通道、 G通道、 B通道、 X坐标通道、 Y坐标通 道、 W宽度通道以及H高度通道。 3.根据权利要求2所述的基于 高位视频监控的车辆匹配关系判断方法， 其特征在于， 所 述将每个所述检测框图像的特征与距离特征进行拼接， 获得多个拼接特征， 并对所述多个 拼接特征进行特征变换， 获得多个 变换特征， 还包括： 将所述多个拼接特 征输入至多个卷积层， 输出多个转换 特征； 将所述多个转换 特征输入至全连接层网络， 输出 所述多个 变换特征。 4.根据权利要求3所述的基于 高位视频监控的车辆匹配关系判断方法， 其特征在于， 所 述将每个所述变换特征与每个所述检测框的邻接矩阵输入至图卷积神经网络， 输出车辆与 匹配对象的预测关系矩阵， 包括： 构建所述图卷积神经网络， 所述图卷积神经网络为： 权　利　要　求　书 1/4 页 2 CN 114519842 A 2其中， X表示每个所述变换特征， A表示每个所述检测框的关系矩阵， 表示每个所述检 测框的邻接矩阵， I表示每个所述检测框的单位矩阵， 表示每个所述检测框的度矩阵， W(0) 与W(1)表示所述图卷积神经网络的参数， F1表示非线性激活函数， F2表示归一 化函数； 根据所述图卷积神经网络， 输出 所述车辆与匹配对象的预测关系矩阵。 5.根据权利要求4所述的基于 高位视频监控的车辆匹配关系判断方法， 其特征在于， 所 述构建所述图卷积神经网络中， 对每个所述检测框的度矩阵的对角线特征值进行加一处 理， 获得每 个所述检测框的新度矩阵， 所述图卷积神经网络为： 其中， 表示每个所述检测框的新邻接矩阵， 表示每个所述检测框的新度矩阵。 6.根据权利要求1所述的基于 高位视频监控的车辆匹配关系判断方法， 其特征在于， 所 述根据所述车辆与匹配对象的真实关系矩阵与所述车辆与匹配对象的预测关系矩阵， 构建 损失函数， 并根据所述损失函数， 调整 所述图卷积神经网络的参数， 获得训练完成的图卷积 神经网络， 包括： 构建损失函数， 所述损失函数为： 其中， 表示第i个训练样本对应的所述车辆与匹配对象的预测关系矩阵， y(i)表示第i 个训练样本对应的所述车辆与匹配对象的真实关系矩阵； 调整所述图卷积神经网络的参数， 使得所述损 失函数最小化， 获得所述训练完成的图 卷积神经网络 。 7.根据权利要求1所述的基于 高位视频监控的车辆匹配关系判断方法， 其特征在于， 所 述匹配对象包括车牌或者泊位， 所述车辆与匹配对象的真实关系矩阵包括车辆与车牌的真 实从属关系矩阵或者车辆与泊位的真实占用关系矩阵， 所述车辆与匹配对象的预测关系矩 阵包括车辆与车牌的预测从属关系矩阵或者车辆与泊位的预测占用关系矩阵， 所述车辆与 匹配对象的匹配关系包括车辆与车牌的从属关系或者车辆与泊位的占用关系。 8.一种基于高位视频监控的车辆匹配关系 判断装置， 其特 征在于， 包括： 数据获取模块， 用于获取多个视频帧图像， 并根据 所述多个视频帧图像， 获得每个所述 视频帧图像对应的车辆类别、 车辆检测框坐标位置、 车辆检测框标识号码、 匹配对 象类别、 匹配对象检测框坐标位置以及匹配对象检测框标识号码； 关系矩阵获取模块， 用于根据 所述车辆类别、 所述车辆检测框坐标位置、 所述车辆检测 框标识号码、 所述匹配对 象类别、 所述匹配对 象检测框坐标位置以及所述匹配对 象检测框 标识号码， 构建车辆与匹配对象的真实关系矩阵与每个检测框的邻接矩阵； 其中， 每个所述 检测框为车辆检测框或者匹配对象检测框；权　利　要　求　书 2/4 页 3 CN 114519842 A 3