(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210374860.6 (22)申请日 2022.04.11 (71)申请人 合肥工业大 学 地址 230009 安徽省合肥市包河区屯溪路 193号 (72)发明人 郭丹　曹晨曦　肖同欢　唐申庚　 谷纪豪　黄滨　 (74)专利代理 机构 安徽省合肥新 安专利代理有 限责任公司 34101 专利代理师 陆丽莉　何梅生 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 20/58(2022.01) (54)发明名称 一种基于语义分割的择优式方向偏移预警 系统和方法 (57)摘要 本发明公开了一种基于语义分割的择优式 方向偏移预警系统和方法， 该系统包括： 语义分 割模块， 偏移检测模块， 择优模块和偏移预警模 块； 该方法包括： 1.使用语义分割网络提取道路 像素的分布信息； 2.两个识别道路边缘的过程并 行进行得到两组结果； 3.择优模块对偏移 检测模 块输出的两个结果进行评估选择根优的结果， 增 强算法的鲁棒性； 4.通过对道路边缘信息的处理 得到预警结果。 本发明能实现对道路边缘信息的 进行处理， 并据此给出偏移预警， 从而保证道路 安全。 权利要求书3页 说明书9页 附图2页 CN 114723946 A 2022.07.08 CN 114723946 A 1.一种基于语义分割的择优式方向偏移预警系统， 其特征包括： 语义分割 模块、 偏移检 测模块、 择优 模块、 偏移预警模块； 所述语义分割模块中设置有语义分割网络Fθ， 且是关于输入图片的非线性函数， 其中θ 是语义分割网络Fθ的参数； 利用语义分割网络Fθ对输入的当前RGB图片X提取特征并输出包 含每个像素点的道路概率矩阵P＝Fθ(X)， 其中， X为3 ×H×W的张量， H,W分别表示当前RGB图 片的高和宽， P为H ×W的张量， 令Pi是P中第i个像素点对应的道路概率值， Pi∈[0,1],i＝1, 2,…,H×W； 利用二值化处理函数Ft对所述道路概率矩阵P 进行二值化处理， 得到 所有像素点的分类 结果矩阵S＝Ft(P)， 且S为H ×W的张量， 令Si是S中第i个像素点对应的分类值， Si∈{0,1},i ＝1,2,…,H×W， 若Si＝1， 表示第i个像素点是道路上的像素点， 若Si＝0， 表示第i个像素点 不是道路上的像素点； 所述偏移检测模块采用两个方法并行处理所述分类结果矩阵S， 并相应得到两个道路 边缘直线组L1,L2， 且每个道路边 缘直线组中包 含两条直线， 分别代 表道路的两侧边 缘； 所述择优 模块基于 两个道路边 缘直线组L1,L2构建损失函数l oss： 其中， s1,s2为当前RGB图片X所对应的任意一个道路边缘直线组中的两条直线的斜率， k1,k2是上一次输入的RGB图片所对应的较优道 路边缘直线组中两条直线的斜率， d1,d2分别 表示斜率为s1,s2所对应的道路边缘直线组中两条直线的交点坐标， p1,p2为当前RGB图片X 的中心像素点 坐标； λ1, λ2, λ3, λ4是一组超参数； 所述择优模块利用loss函数分别对两组道路边缘直线组L1,L2进行评估， 从而选取较优 道路边缘直线组记为 L； 所述偏移预警模块根据当前RGB图片X的下边界的中心坐标与所述边缘直线组L之间的 距离， 得到 当前偏移结果， 进而根据一段时间内连续的RGB图片所计算到的偏移结果进 行预 警。 2.一种基于语义分割的择优式方向偏移预警方法， 其特 征是按如下步骤进行： 步骤1、 构建语义分割网络Fθ是关于输入图片的非线性函数， 其中， θ是语义分割网络Fθ 的参数； 利用语义分割网络Fθ对输入的当前RGB图片X提取特征并输出包含每个像素点的道 路概率矩阵P＝Fθ(X)， 其中， X为3 ×H×W的张量， H,W分别表示当前RGB图片的高和宽， P为H ×W的张量， 令Pi是P中第i个 像素点对应的道路概 率值， Pi∈[0,1],i ＝1,2,…,H×W； 利用二值化处理函数Ft对所述道路概率矩阵P 进行二值化处理， 得到 所有像素点的分类 结果矩阵S＝Ft(P)， 且S为H ×W的张量， 令Si是S中第i个像素点对应的分类值， Si∈{0,1},i ＝1,2,…,H×W， 若Si＝1， 表示第i个像素点是道路上的像素点， 若Si＝0， 表示第i个像素点 不是道路上的像素点； 步骤2、 对所述分类结果矩阵S分别按照分支一和分支二的过程进行处理， 并得到两个 直线组L1,L2： 所述分支一包括：权　利　要　求　书 1/3 页 2 CN 114723946 A 2步骤2.1a、 利用带有差分作用的边缘检测滤波器组[K1,K2]对所述分类结果矩阵S进行 valid卷积操作， 得到当前RGB图片X的两组边缘信息 且 K1表示第 一滤波器， K2表示第二滤波器， 表示第一滤波器结果矩阵， 表示第二滤波器结果矩 阵； 计算第一滤波结果矩阵 且SB∈RH×W， 对第一滤波结果矩阵SB 进行膨胀处 理得到膨胀结果矩阵SD， 且SD∈RH×W； 步骤2.2a、 利用高斯滤波器对所述膨胀结果矩阵SD进行处理， 得到高斯滤波结果矩阵 SG； 步骤2.3a、 计算高斯滤波结果矩阵SG中第i个像素点SG(i)的二值化值 从而得到二 值化后的二 值高斯滤波结果矩阵S'G； 步骤2.4a、 将所述二值化后的二值高斯滤波结果矩阵S'G中取值为1的n个像素点的坐标 存入列表Point中， Point＝[(x1,y1),(x2,y2),…,(xn,yn)]； (xn,yn)表示取值为1的第n个像 素点的坐标； 利用霍夫直线检测算法对列表Point进行处理， 得到直线集Line＝[(k1,b1),(k2, b2),…,(km,bm)]， 其中， km,bm分别表示第m条直线的斜 率和截距； 从直线集Line中选出相交次数排序前r条是直线并存入直线集Lout中， 记为Lout＝[(k'1, b'1),(k'2,b'2),…,(k'r,b'r)]， 其中， k'r,b'r分别表示第r条直线的斜率和截距， 其中， r＝ min( α1,m), α1为预先设定的超参数； 步骤2.5a、 利用波峰查找方法对所述直线集Lout进行处理， 得到两个斜率区间， 并将直 线集Lout中处于两个斜率区间内的直线分别存 入列表Lp1,Lp2； 步骤2.6a、 对所述列表Lp1,Lp2中的每条直线分别随机采样两个点， 相应得到两个点集 P1,P2， 利用最小二乘法分别计算点集P1,P2所对应的最 佳拟合直线(s1,b1),(s2,b2)并存入直 线集L1； s1表示点集P1所对应的最佳拟合直线的斜率， b1表示点集P1所对应的最佳拟合直线 的截距， s2表示点集P2所对应的最佳拟合直线的斜率， b2表示点集P2所对应的最佳拟合直线 的截距； 所述分支二包括： 步骤2.1b、 对所述分类结果矩阵S进行多次开 运算得到开 运算结果矩阵Sm,， 且Sm∈RH×W； 步骤2.2b、 利用带有差分作用的边缘检测滤波器组[K'1,K'2]对所述开运算结果矩阵Sm 进行valid卷积操作， 得到当前RGB图片X的两组边缘信息 且 L'1 表示第三滤波器， K'2表示第四滤波器， 表示第三滤波器结果矩阵， 表示第四滤波器 结果矩阵； 计算第二滤波结果矩阵 且S'B∈RH×W， 利用findcontour方 法找到第二滤波结果矩阵S'B中所有的边缘点集的集合Contour＝{E1,E2,…,Ei',…,En'}， 其中， Ei'表示第i'个边缘的点集， 且Ei'＝[(xi',1,yi',1),(xi',2,yi',2),…(xi',m',yi',m')],i'权　利　要　求　书 2/3 页 3 CN 114723946 A 3