(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210535570.5 (22)申请日 2022.05.17 (71)申请人 中国矿业大 学 地址 221000 江苏省徐州市大 学路1号 申请人 中煤科工集团重庆研究院有限公司 (72)发明人 魏东　闫海峰　王忠宾　司垒　 谭超　刘新华　顾进恒　戴剑博　 辛德忠　 (74)专利代理 机构 北京淮海知识产权代理事务 所(普通合伙) 32205 专利代理师 薛茹丹 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/44(2022.01) G06V 10/62(2022.01)E21B 47/002(2012.01) (54)发明名称 一种防冲钻孔机器人动态障碍物监测系统 及监测方法 (57)摘要 一种防冲钻孔机器人动态障碍物监测系统 及监测方法， 采用防爆广角摄像仪对防冲巷道场 景进行采 集， 通过Lucas –Kanade光流法和随机采 样一致性算法实时提取视野区域内的移动目标， 获取所提取移动目标的运动特征信息， 基于该信 息采用强跟踪模型对移动目标运行趋势进行估 计， 判别移动目标在后续时刻是否会落入依据广 角摄影仪与防冲钻孔机器人的刚性关系所建立 的警戒区域， 若是则语音提示模块报警 并将制动 信号发送给防冲钻孔机器人行走控制器进行制 动。 本发明避免了引入多相机或云台带来的控制 及防爆困难， 为防冲钻孔机器人安全作业创造条 件， 实现防冲钻孔机器人行进过程中的自主保 护， 防止发生碰撞事故， 提高其对泄压巷道工作 环境的适应性。 权利要求书4页 说明书8页 附图2页 CN 114913420 A 2022.08.16 CN 114913420 A 1.一种防冲钻孔机器人动态障碍物监测系统， 其特征在于， 包括视觉信 息采集模块、 视 觉信息处理模块、 语音提示模块和PLC控制器， 所述的视觉信息采集模块输出端与视觉信息 处理模块输入端连接， 视觉信息处理模块同时与语音提示模块和PLC控制器连接， PLC控制 器与采煤 机连接。 2.根据权利要求1所述的一种防冲钻孔机器人动态障碍物监测系统， 其特征在于， 所述 的视觉信息采集模块为防爆广角摄像仪(1)， 其安装于防冲钻孔机器人(3)上方基座(2)上， 所述基座(2)为倒L型结构， 其底部与防冲钻孔机器人(3)顶部固定连接， 其顶部端板下端面 上连接防爆广角摄 像仪(1)。 3.根据权利要求1或2所述的一种防冲钻孔机器人动态障碍物监测系统， 其特征在于， 所述的视觉信息采集模块、 视觉信息处理模块、 语音提示模块和PLC控制器之间均通过矿用 阻燃网线 进行通讯。 4.一种防冲钻孔机器人动态障碍物监测方法， 其特 征在于， 包括以下步骤： (1)以防爆广角摄像仪(1)视场中轴线垂直于防冲钻孔机器人(3)机身上平面所 能覆盖 的危险区域视角范围确定危险区域的两方向边界为[Xmin,Xmax,Ymin,Ymax]； (2)采用Lucas –Kanade光流法对防爆广角摄像仪(1)采集到的图像中各个像素的光流 信息进行计算获取图像光流信息， 并通过随机采样一致性算法对移动目标前景与静态背 景 光流进行分类， 获取移动前景光流， 所述移动前景光流的起始像素为图像域内运动前景所 包含的像素， 对所述像素进行形态学闭运算并去掉前景图像内空洞， 得到完整的移动前景 图像， 计算移动前景图像的平均矢量作为该前景目标的运动特征信息， 具体的前景目标运 动特征提取步骤如下： 201)建立自适应的光 流感知窗口为 不同像素的光 流矢量解算提供最优窗口： a.逐行扫描所采集图像的各个像素， 并计算以该像素为中心、 半径为r个像素宽度的 (2r+1)×(2r+1)区域内的灰度方差σ2， 其中， 半径r根据图像尺寸选择， 为有效表示图像内 不同区域平坦度， r取值小于等于 5； 通过式(1)计算平坦系数τ： σ02为所采集图像方差的平均值， 若该(2r+1) ×(2r+1)区域范围内较为平坦， 则 τ趋近于 0， 否则趋 近于1； b.建立根据式(2)建立 光流感知窗口自适应半径κ： κmin和κmax分别为根据实际需要预设定的光流感知窗口自适应半径κ的最小值和最大 值， 为向下取整， 所采集图像的每 个像素均与一个光 流感知窗口自适应半径值相对应； c.在图像域 内， 逐行扫描各个像素， 建立以当前点p为中心， 半径κ为所对应光流感知窗 口自适应半径值， 根据标准 光流法所采用的空间一 致性假设， 在该窗口内建立如下关系式：权　利　要　求　书 1/4 页 2 CN 114913420 A 2Ix、 Iy和It分别表示图像I中像素点沿横纵轴x， y和时间t方向的偏导数， u和v分别表示 当前点p分别在x方向和y方向的光流矢量， n为所对应光流感知窗口内的像素总数， x， y和t 的下角标均为该窗口内的像素号； Wκi为以p为中心、 以κ为半径的感知窗口内为使中心像素 在光流矢量求解中起到主 要作用所 添加的像素权 重； 根据式(4)解 算光流结果： (u,v)＝(ATWκ2A)‑1ATWκ2b             (4) 其中， (u,v)为所求 光流矢量； 202)基于随机采样一 致性算法的目标 前景光流判定： a.通过光流场解算结果建立连续两帧图像中对应点对集合， 记为Ω， 并从其中随机抽 取8个点对， 基于八点法解 算对极线和基础矩阵； b.根据判定阈值， 将剩余点对根据其与对极线的距离划分局内点或局外点， 小阈值的 点对集合为局内点 集； c.在局内点集内随机抽取8个点对， 再次基于八点法解算对极线和基础矩阵， 重复局内 点和局外点判定以及随机抽取点对， 直至内点数量大于总点数的90％； d.依据最终基础矩阵和最终对极线进行划分后的局内点集和局外点集分别为静态背 景所对应的光 流矢量集合和移动前 景目标所对应的光 流矢量点集； 203)计算移动前景目标所对应的光流矢量点集内光流矢量的平均值(U,V)， 及光流矢 量点集的像素重心(X,Y)， 合成当前时刻的状态传感量 值xt|t＝(Xt,Yt,Ut,Vt)； (3)采用强跟踪模型作为移动目标位置预测模型： 301)所述强跟踪模型为卡尔曼滤波模型的演化模型， 在标准卡尔曼滤波模型中， 卡尔 曼滤波算法的迭代过程如下式：权　利　要　求　书 2/4 页 3 CN 114913420 A 3