(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210511910.0 (22)申请日 2022.05.12 (71)申请人 西安电子科技大 学广州研究院 地址 510555 广东省广州市黄埔区中新知 识城海丝中心B5、 B6、 B7栋 (72)发明人 刘晓涛　曾铎锋　李泽辉　康煜东　 刘静　 (74)专利代理 机构 广州大象飞扬知识产权代理 有限公司 4 4745 专利代理师 汤海锋 (51)Int.Cl. G06V 20/56(2022.01) G06V 20/64(2022.01) G06V 10/26(2022.01) G06V 10/28(2022.01)G06V 10/34(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01) G05D 1/02(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/70(2017.01) G06T 7/80(2017.01) (54)发明名称 一种基于车道线语义信息的鲁棒的AGV定位 方法 (57)摘要 本发明涉及AGV导航定位技术领域， 具体的 说是一种基于 车道线语义信息的鲁棒的AGV 定位 方法， AGV定位方法包括以下步骤： S1、 鸟瞰图获 取； S2、 构建车道线2D地图； S3、 基于点到线的ICP 定位。 本发 明利用了仓库内固有的用于标识库位 和道路的车道线， 前期使用激光SLA M进行定位以 及卷积神经网络(CNN)进行车道线分割建立高精 度的车道线视觉2D地图， 后期 使用该地图在轮速 里程计辅助下进行视觉定位， 解决了激光SLAM定 位在物流仓库中因障碍物信息改变带来的应用 的局限性， 利用CNN 分割的车道线语义信息， 在车 道线不被遮挡的情况下保持长期稳定， 且对仓库 中光照变化具有较强的鲁棒性， 使得在仓库工作 场景下可进行长期鲁棒的视 觉定位。 权利要求书4页 说明书10页 附图5页 CN 114943942 A 2022.08.26 CN 114943942 A 1.一种基于车道线语义信息的鲁棒的AGV定位方法， 其特征在于： 所述AGV定位方法包 括以下步骤： S1、 鸟瞰图获取； S2、 构建车道线2D地图； S3、 基于点到线的ICP定位。 2.根据权利要求1所述的一种基于车道线语义信息的鲁棒的AGV定位方法， 其特征在 于： 所述鸟瞰图获取包括以下步骤： S1a、 使用3个视场角(FOV)为180 °的鱼眼相机组成环视相机， 安装在AGV车体上方， 使3 个鱼眼相机分别能够观察到AGV前 方、 左侧和右侧的水平地 面； S1b、 根据鱼眼相机成像过程， 使用棋盘格标定板分别 对3个鱼眼相机的进行内参标定， 得到内参矩阵 以及畸变系数 S1c、 根据内参矩阵K以及畸变系数D对原始图像进行去畸变处理， 得到去畸变后的图 像； S1d、 本发明假设AGV总是处于水平面上。 在鱼眼相机视野范围内的水平地面上铺设标 定布， 选取去畸变后的图像中标定布上4个角点为原始点(任意3点不共线)， 对应实际标定 布上4个角点为目标点， 计算3 ×3的透视变换矩阵M， 对整个图像进 行透视变换， 使像素点坐 标 得到鸟瞰图； S1e、 拼接3个鸟瞰图， 通过加权平均处理图片重叠区域。 最终3个鱼眼相机组成的环视 相机的FOV为270 °。 3.根据权利要求1所述的一种基于车道线语义信息的鲁棒的AGV定位方法， 其特征在 于： 所述构建车道线2D地图包括以下步骤： S 2 a 、鸟 瞰 图 的 图 像 坐 标 系 C 与 A G V 坐 标 系 B 之 间 存 在 相 似 变 换 该变换使得pC＝TCBpB， 即将坐标系B下的点的坐标转换到图像 坐标系下。 其中s为尺度因子， 由S1d)确定； RCB和tCB由鸟瞰图中坐标系C与坐标系B的相对姿 态确定； S2b、 由激光SLAM方法得到AGV在世界坐标系W下的精确 位姿TWB， 进而得到图像坐标系C 的位姿： TWC＝TWBTCB‑1； S2c、 使用U ‑net卷积神经网络分割出鸟瞰图中车道线， 得到以车道线为前景的二值图 像， 由形态学开运算去除孤立的杂点。 该U ‑net神经网络参数已提前训练完成， 训练所用的 数据集的图片为AGV在工作场景行驶过程中采集的鸟瞰图， 以车道线作为唯一的类别标签 进行标注； S2d、 局部建图； S2e、 控制AGV在工作场景内移动， 构建完整的车道线2D地图。 该地图将用于S3)的定位。 4.根据权利要求3所述的一种基于车道线语义信息的鲁棒的AGV定位方法， 其特征在 于： 所述局部建图包括以下步骤： S2d1、 为了保证建图质量， 选择关键帧构建滑动窗口进行局部建图。 每个关键帧保存了权　利　要　求　书 1/4 页 2 CN 114943942 A 2鸟瞰图的位姿TWC， 以及鸟瞰图的前景像素点的图像坐标PC。 若AGV位姿的旋转量 或者平移量 距离上一关键帧超过阈值， 则在滑动窗口中插入当前关键帧。 若插入关键 帧后关键帧数量 超过滑动窗口长度， 则舍去最旧的一个关键帧； S2d2、 根据滑动窗口中关键帧的TWC以及PC计算得到鸟瞰图前景像素点的世界坐标PW＝ TWCPC； S2d3、 由滑动窗口中所有关键帧的PW叠加得到局部地图， 若局部地图中前景像素点被超 过一定数量的关键帧所观测到， 则将该点更新到全局车道线2D地图中。 5.根据权利要求1所述的一种基于车道线语义信息的鲁棒的AGV定位方法， 其特征在 于： 所述基于点到线的ICP定位包括以下步骤： S3a、 对车道线二 值鸟瞰图Frame使用Can ny边缘检测方法检测车道线边 缘； S3b、 创建高斯平 滑地图， 该高斯平 滑地图由车道线地图经 过高斯平 滑处理得到； S3c、 根据里程计数据更新上一时刻AGV的位姿， 得到AGV的先验位姿TWB， 进而得到当前 鸟瞰图图像坐标系C的位姿 TWC以及车道线边 缘像素点在世界坐标系下点云Pf； S3d、 根据TWC截取局部地图LocalMap， 所截取的局部地图尺寸比鸟瞰图大， 使包含更多 的地图信息 。 局部地图中车道线像素点在世界坐标系下点云记为Pm； S3e、 降采样鸟瞰图车道线边缘点云Pf以及局部地图点云Pm。 遍历局部地图和鸟瞰图， 如 果Pf中数据点所对应的图像坐标所在的行或者列为采样因子的倍数， 则取为源点云 如 果Pm中数据点所对应的图像坐标 所在的行、 列都为采样因子的倍数， 则取为目标点云 S3f、 构建目标点云 的KD‑Tree， 对源点云 中每个数据点 在目标点云 中找到最 邻近点 S3g、 构建点到线的ICP目标函数， 最小化该目标函数， 求解位姿TWB的修正量， 修正当前 位姿： 其中R为由偏航角 θ确定的旋转矩阵SO(2)； x是状态向量； 因为R由θ确定， 所以可设状态 向量x＝[tx ty θ ]； 为高斯平滑地图中数据点 处的图像梯度， 代价函数ρ( ·)初始 默认为平方误差函数， 之后根据上一轮迭代修正效果在平方误差函数或者Huber代价函数 中选择； 上述平方误差代价 函数： ρ( δ )＝ δ2 Huber代价函数：权　利　要　求　书 2/4 页 3 CN 114943942 A 3