(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210583847.1 (22)申请日 2022.05.26 (65)同一申请的已公布的文献号 申请公布号 CN 114677442 A (43)申请公布日 2022.06.28 (73)专利权人 之江实验室 地址 310023 浙江省杭州市余杭区文一西 路1818号人工智能小镇10号楼 (72)发明人 华炜　邱奇波　毛瑞琛　黄刚　 韩正勇　马也驰　高海明　冯权　 张顺　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 邱启旺(51)Int.Cl. G06T 7/73(2017.01) G06N 3/04(2006.01) G06V 20/58(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01) 审查员 任燕 (54)发明名称 一种基于序列预测的车道线检测系统、 装置 和方法 (57)摘要 本发明公开了一种基于序列预测的车道线 检测系统、 装置和方法， 所述方法对待检测的图 像数据进行归一化操作得到归一化后的图像， 并 查找相应的预测关键点序列； 提取归一化后的 图 像的特征向量， 对该特征向量进行降维得到降维 特征， 将该降维特征按高宽维度展开， 得到图像 序列特征； 基于降维特征的维度计算图像位置编 码， 将图像序列特征和图像位置编码相加， 再共 同进行编码得到编码记忆； 对预测关键点序列进 行特征提取得到解码序列特征； 对编码记忆、 预 测关键点序列的位置编码与解码序列特征进行 解码， 得到待预测关键点的隐状态向量； 将待预 测关键点的隐状态向量转化为关键点的坐标。 本 发明提高了车道线的密集关键点的预测准确率， 并实现快速预测。 权利要求书2页 说明书8页 附图3页 CN 114677442 B 2022.10.28 CN 114677442 B 1.一种基于序列预测的车道线检测方法， 其特 征在于， 具体包括以下步骤： S1， 对待检测的图像数据进行归一化操作， 得到归一化后的图像， 并查找相应的预测关 键点序列； 所述步骤S1中， 查找相应的预测关键点序列的过程具体为： 对归一化后的图像按单位像素delta纵向划分水平线， 用一曲线表示归一化后的图像 中的第i条车道线的真值， 取曲线与其余每条水平线的交点组成为关键点集合； 按顺序从关 键点集合中取出 纵坐标为 （q ‑1)*delta、 （q ‑2)*delta、 …3*delta、 2 *delta、 delta、 0的关键 点的横坐标组成长度为q的短序列， 如果短序列长度未达到q， 即表示纵坐标对应的点不存 在， 则用自定义的数值default表示其横坐标； 并在每条短序列的结尾加上自定义的阈值 lane_end作为当前短序列的结尾， 最终每条 车道线对应长度为q+1的短序列； 设待检测的图像数据中单张图片出现车道线的最大值为m， 对于单张图片中出现的所 有 条车道线进行排序， 组成长度为 （q+1)*   的序列， 如果 <m， 则表示m ‑ 条车道线 缺失， 用q个default加上阈值lane_end来表示每一条缺失的车道线； 每张图片中的车道线 都可以用长度为max_len  = （q+1)*m的长序列表示； 在长序列的起始位置加上自定义的阈值seq_start得到归一化后的图像对应的预测关 键点序列k； S2， 提取归一化后的图像的特征向量， 对归一化后的图像的特征向量进行降维得到降 维特征， 将该降维特 征按高宽维度展开， 得到图像序列特 征； S3， 基于降维特征的维度计算图像位置编码， 将图像序列特征和图像位置编码相加， 再 共同进行编码得到编码记 忆； 所述步骤S3中， 共 同进行编码得到编码记忆 的过程具体为： 将图像序列特征和图像位 置编码相加作为输入特征输入由若干层自注意力 层组成的编码模块， 其中第一层自注意力 层的查询矩阵、 键矩阵、 值矩阵均为输入特征， 之后每一层自注意力 层的查询矩阵、 键矩阵、 值矩阵均为前一层的输出特征， 每层自注意力层首先基于查询矩阵和键矩阵进行运算， 得 到自注意力分布， 在 对自注意力分布归一化后与值矩阵进行运算， 得到本层的输出特征； 将 最后一层自注意力层的输出 特征作为编码模块的最终输出， 即编码记 忆； S4， 对步骤S1得到的预测关键点序列进行 特征提取， 得到解码序列特 征； S5， 获取预测关键点序列的位置编码， 对编码记忆、 预测关键点序列的位置编码与解码 序列特征进行解码， 得到待预测关键点的隐状态向量； S6， 将待预测关键点的隐状态向量 转化为关键点的坐标。 2.根据权利要求1所述的基于序列预测的车道线检测方法， 其特征在于， 所述步骤S2具 体为： 将归一化后的图像输入主干网络， 经过预先设置的卷积层， 输出大小为Cb* Hb * Wb的 特征向量； Cb、 Hb、 Wb分别表示通道数、 高度和宽度； 将该特征向量feat _backbone输入一卷积 神经网络， 其输入通道数为Cb， 输出通道数为hidden_dim， 得到维度为hidden_dim*Hb * Wb 的降维特征featrue；  将降维特征的按高宽两个维度展开， 得到长度Hb * Wb的编码序列特 征。 3.根据权利要求1所述的基于序列预测 的车道线检测方法， 其特征在于， 所述步骤S3 中， 基于降维特征 的维度计算图像位置编码具体为： 对于降维特征高宽方向组成的面上 的权　利　要　求　书 1/2 页 2 CN 114677442 B 2每个位置， 其对应的高宽取值分别为x和y； 基于x和y分别计算一个位置编码， 编码长度为 hidden_dim/2； 对于x或者y， 其值为奇数时采用正弦函数， 偶 数位置采用余弦函数， 或者其 值为偶数时采用正弦函数， 奇数位置采用余弦函数， 将 两个位置编码拼接为长度为hidden_ dim的图像位置编码， 该图像位置编码尺寸为len_enc*hidden_dim， len_enc表示高宽面上 的位置个数， hid den_dim为每 个位置的位置编码长度。 4.根据权利要求1所述的基于序列预测的车道线检测方法， 其特征在于， 所述步骤S4具 体为： 在预测关键点序列的第T个元素处， 截取长度为lw的序列， 将截取后的序列输入到由 若干一维卷积层组成的解码序列特 征提取模块中， 得到解码序列特 征。 5.根据权利要求1所述的基于序列预测 的车道线检测方法， 其特征在于， 所述步骤S5 中， 获取预测关键点序列的位置编 码的计算过程具体为： 构建一位置嵌入层， 将每一个位置 编码转化为one ‑hot编码， 通过一个全连接层转换得到长度为1*hi dden_dim的预测关键点 序列的位置编码。 6.一种基于序列预测的车道线检测系统， 用于实现权利要求1~5任一项所述的基于序 列预测的车道线检测方法， 其特征在于， 包括： 数据处理模块、 主干网络模块、 编码模块、 解 码序列特 征提取模块、 解码模块和关键点预测模块； 所述数据处 理模块用于将待检测图像进行归一 化处理， 并得到预测关键点序列； 所述主干网络模块用于提取归一 化处理后的图像的图像序列特 征； 所述编码模块用于将图像序列特 征转化为编码； 所述解码序列特 征提取模块用于将预测关键点序列转 化为解码序列特 征； 所述解码模块用于将编码记 忆和解码序列特 征转化为待预测关键点隐状态向量； 所述关键点预测模块用于将待预测关键点隐状态向量 转化为关键点的坐标。 7.一种基于序列 预测的车道线检测装置， 包括存储器和处理器， 其特征在于， 所述存储 器与所述处理器耦接； 其中， 所述存储器用于存储程序数据， 所述处理器用于执行所述程序 数据以实现上述权利要求1 ‑5任一项所述的基于序列预测的车道线检测方法。 8.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述程序被处理器 执行时实现如权利要求1 ‑5中任一所述的基于序列预测的车道线检测方法。权　利　要　求　书 2/2 页 3 CN 114677442 B 3