(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211087207.8 (22)申请日 2022.09.07 (71)申请人 上海赫千电子科技有限公司 地址 200125 上海市浦东 新区东三里桥路 1018号A座 403室 (72)发明人 肖文平　何敖东　 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/277(2017.01) G06T 7/80(2017.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/766(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种用于无 人配送车的3D目标追 踪方法 (57)摘要 本发明提供一种用于无人配送车的3D目标 追踪方法， 具体包括： 将点云数据和图像数据输 入3D检测器进行获取t时刻的3D检测目标， 通过 目标轨迹预测器预测t ‑1时刻的3D 追踪目标运动 到t时刻轨迹， 获取t时刻的3D虚目标； 利用匹配 器将3D检测目标与3D虚目标进行匹配， 获取t时 刻3D的追踪目标； 其中， 在特征相似度和类别差 异因子和距离相似度满足条件下的情况下， 选择 距离最小的距离相似度对应的3D检测目标与3D 虚目标为匹配对为最佳的匹配对。 本发明通过设 计3D虚目标与3D检测目标匹配， 并且在匹配时， 分别考虑了类别差异因子、 特征相似度以及距离 相似度三种度量， 多种不同特征关联， 提升了3D 检测目标与3D虚目标的匹配的准确性。 权利要求书3页 说明书9页 附图2页 CN 115511912 A 2022.12.23 CN 115511912 A 1.一种用于无 人配送车的3D目标追踪方法， 其特 征在于， 至少包括： 获取车身前方的点云数据和图像数据， 将点云数据和图像数据输入3D目标检测器进行 检测， 获取t时刻的3D检测目标； 获取t‑1时刻的3D的追踪目标， 通过目标轨迹预测器预测t ‑1时刻的3D追踪目标运动 到 t时刻轨迹， 获取t时刻的3D虚目标； 利用匹配 器将t时刻的3D检测目标与3D虚目标进行匹配， 获取t时刻3D的追踪目标； 其中， 匹配器的匹配具体包括： 获取t时刻3D检测目标与3D虚 目标距离相似度、 特征相 似度和3D检测目标与3D虚目标的类别差异因子； 若类别差异因子为1和特征相似度小于预设第一相似度阈值， 获取3D检测目标与3D虚 目标中所有对应的距离相似度， 选择距离相似度最小3D检测目标与3D虚目标为匹配对。 2.如权利要求1所述一种用于无人配送车的3D目标追踪方法， 其特征在于， t时刻， 当满 足条件3D检测目标的数量与3D虚目标的数量不一致时， 若存在 任一个3D检测目标与多个不 同的3D虚目标匹配成功或存在任一个3D虚目标与多个不同的3D检测目标匹配成功； 查询所有匹配对对应的特征相似度， 然后选择特征相似度最大的匹配对为最终3D检测 目标与3D虚目标对应的匹配对。 3.如权利要求1所述一种用于无人配送车的3D目标追踪方法， 其特征在于， 若3D检测目 标与3D虚目标的类别差异因子为0， 则认为 不匹配； 若3D检测目标与3D虚目标的相似度小于预设第一相似度阈值， 则认为不匹配； 若相似 度距离大于预设第二相似度阈值时， 则认为 不匹配。 4.一种用于无 人配送车的3D目标追踪方法， 其特 征在于， 至少包括： 获取车身前方的点云数据和图像数据， 将点云数据和图像数据输入3D目标检测器进行 检测， 获取t时刻的3D检测目标； 获取t‑1时刻的3D的追踪目标， 通过目标轨迹预测器预测t ‑1时刻的3D追踪目标运动 到 t时刻轨迹， 获取t时刻的3D虚目标； 利用匹配 器将t时刻的3D检测目标与3D虚目标进行匹配， 获取t时刻3D的追踪目标； 其中， 匹配器的匹配具体包括： 获取t时刻3D检测目标与3D虚目标距离相似度、 3D检测 目标与3D虚目标的类别差异因子； 若类别差异因子为1， 将距离相似度、 通过t时刻3D检测器提取的3D检测目标的特征和 t‑1时刻3D检测器提取3D追踪目标的特征输入线性神经网络进行训练， 判断3D检测目标与 3D虚目标 是否匹配。 5.如权利要求4所述一种用于无人配送车的3D目标追踪方法， 其特征在于， t时刻， 通过 线性神经网络预测出每个3D 检测目标与所有的3D虚目标的概率值， 获取概率值最大的匹配 对为最终的匹配对。 6.如权利要求4所述一种用于无人配送车的3D目标追踪方法， 其特征在于， t时刻， 当满 足条件3D检测目标的数量与3D虚目标的数量不一致时， 若存在 任一个3D检测目标与多个不 同的3D虚目标匹配成功或存在任一个3D虚目标与多个不同的3D检测目标匹配成功； 在多个匹配对中， 选取概 率值最大的匹配对为 最终的匹配对。 7.如权利要求4所述一种用于无人配送车的3D目标追踪方法， 其特征在于， 在线性神经 网络中的训练中， 分别将距离相 似度、 t时刻3D检测器提取的3D检测目标的特征和t ‑1时刻权　利　要　求　书 1/3 页 2 CN 115511912 A 23D检测器提取的3D追踪目标的特征输入线性神经网络， 然后将二者的输入结果进 行拼接后 输入通过包 含有全连接层、 随机节点 放弃层、 Sigmo id层的神经网络； 神经网络损失函数采用二分类的BE Closs函数。 8.如权利要求4所述一种用于无人配送车的3D目标追踪方法， 其特征在于， 线性神经网 络采用包括第一子网络、 第二子网络和预测子网络， 其中， 第一子网络用于对t时刻的3D检 测目标和t ‑1时刻的3D追踪目标 特征提取； 第二子网络用于提取t时刻的3D检测目标与3D虚目标的距离相似度的特 征提取； 将第一子网络和第二子网络的输出 结果进行拼接后作为预测子网络的输入； 预测子网络用于根据输入结果进行运 算后回归出目标 结果。 9.如权利要求1或4所述一种用于无人配送车的3D目标追踪方法， 其特征在于， 激光雷 达的点云数据与车 载以太网的摄 像头拍摄的图像的位置进行匹配对应， 具体包括： 采用棋盘格方法获取标定矩阵对输入点云进行剪裁， 利用标定矩阵将每个点p(x,y,z) 投影到图像平面上， 只保留图像平面内的点， 使得激光雷达和摄像头两个传感器数据具有 相同的视场范围， 投影公式为： 其中， K是摄像头的内参标定矩阵， R和t是描述激光雷达和摄像头位置之间的旋转矩阵 和平移向量， (u,v)则是点p(x,y,z)对应的图像坐标。 10.如权利要求1或4所述一种用于无人配送车的3D目标追踪方法， 其特征在于， 激光雷 达的帧数据与摄 像头的帧数据进行时间同步， 具体包括： 根据gPTP协议分别计算车载以太网摄像头和激光雷达到自动驾驶主机的时间延迟和 频率偏移； 根据各自的时间延迟和频率偏移对车 载以太网摄 像头和激光雷达进行时间同步校准； 以自动驾驶主机接收到的激光雷达发送的点云数据的时间点为参考基准， 获取最接近 当前激光雷达的点云数据对应时间的前一帧图像数据和后一帧图像数据， 通过线性插值 法， 获得配准后的图像数据， 并给配准后的图像数据标记上当前的参 考时间戳。 11.如权利要求1或4所述一种用于无人配送车的3D目标追踪方法， 其特征在于， 3D检测 目标与3D虚目标的特 征相似度计算如下： v和ω分别是来自3D检测目标和3D虚目标的特 征向量， l 为向量的维度。 12.如权利要求1或4所述一种用于无人配送车的3D目标追踪方法， 其特征在于， 3D检测 目标与3D虚目标的距离相似度di,j计算如下： 其中， di表示第i个3D检测目标的状态参数， μ ′j表示第j个3D虚目标的状态参数， Hj表示权　利　要　求　书 2/3 页 3 CN 115511912 A 3