(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211089702.2 (22)申请日 2022.09.07 (71)申请人 北京理工大 学 地址 100081 北京市海淀区中关村南大街5 号 (72)发明人 王美玲　邓一楠　岳裕丰　杨毅　 唐宇杰　张骐绘　 (74)专利代理 机构 北京理工大 学专利中心 11120 专利代理师 李微微　代丽 (51)Int.Cl. G06T 17/00(2006.01) G06V 10/26(2022.01) G06N 5/04(2006.01) G01C 21/32(2006.01) (54)发明名称 一种移动机 器人连续语义建图方法 (57)摘要 本发明公开了一种移动机器人连续语义建 图方法， 涉及机器人技术领域， 该方法能够提高 所构建三维地图的精度和 效率。 包括如下步骤： 移动机器人搭载着视觉相机和三维激光雷达， 并 将两种传感器的数据融合为语义点云， 进行三维 重建； 采用冗余体素过滤模型对体素进行分类， 得到针对冗余体素的过滤因子， 利用自适应核长 度模型为每个体素分配合适的核长度； 依托过滤 因子和核长度， 构造多熵值核 函数从稀 疏的包含 噪音的语义点云推理得到稠密 的准确的连续语 义地图。 权利要求书4页 说明书10页 附图1页 CN 115457203 A 2022.12.09 CN 115457203 A 1.一种移动机器人 连续语义建图方法， 其特 征在于， 包括如下步骤： 移动机器人搭载着视觉相机和三维激光雷达， 并将两种传感器的数据融合为语义点 云， 进行三维重建； 采用冗余体素过滤模型对体素进行分类， 得到针对冗余体素的过滤因子， 利用自适应 核长度模型为每 个体素分配合 适的核长度； 依托所述过滤因子和核长度， 构造多熵值核函数从所述语义点云推理得到连续语义地 图。 2.如权利要求1所述的一种移动机器人连续语义建图方法， 其特征在于， 所述移动机器 人搭载着视觉相 机和三维激光雷达， 并将两种传感器的数据融合为语义点云， 进行三维重 建， 具体为： 所述移动机器人在完全未知的环境中探索并重建周围环境， 即给定一个移动机器人r， 相机观测为I1:t， 即1～t时刻的图像， 激光雷达观察为L1:t， 即1～t时刻的原始点云， 以及机 器人轨迹O1:t， 即1～t时刻的机器人位姿， 目标 是估计连续语义 地图 其中 指输入为I1:t,L1:t,O1:t时输出为 的概率， 三维重建问题的解 对应于式(1)的最大后验估计； 其中对于输入， 为二维实 数集， 为三维实数集； 对于输出， 连续语义地图 由一系列体素vj组成， j的取值 为 为体素总数； 每个体素vj包含中心的三维坐标， 以及一个相关联的元组 用于存储概率语义标签， 其中K 是语义类别的总数， 并且有 在时刻t， 相机观测图像It被输入语义分割网络， 得到语义图像， 第i个像素输出一个独 热编码形式的测量元组 i为像素索引， 为第i个像素产生的关于第K类 语义的独热编码； 接着， 利用相机和雷达的内参、 相机雷达之间外参， 将原始点云跨维投影 在图像平面； 图像的语义信息被传递给三维的雷达点， 从而得到了当前时刻的语义点云 根据位置信息， 将语义 点云进行对齐， 保证都是在世界坐标系下完成； 式(1)被重写为： 对齐的语义点云 由一系列语义点pi组成， 数量为 每个语义点pi关联着 语义标签ci； 三维重建的问题被细化为： 给定语义点和标签 目标是估计每个体素 vj的概率语义标签 λj： 其中 为输入为 输出为 的后验估计概率； p( λj∣vj,pi,ci)指输入为vj, pi,ci， 输出为 λj的后验估计概率。权　利　要　求　书 1/4 页 2 CN 115457203 A 23.如权利要求1所述的一种移动机器人连续语义建图方法， 其特征在于， 所述采用冗余 体素过滤模型对体素进行分类， 得到针对冗余体素的过 滤因子， 具体为： 引入“块”作为“地图”和“体素”的中间层； 每个块 是一个小的语义八叉树， 由 几个相邻的体素vj组成； J为 块的索引号； 冗余体素的过滤是以块为单位进行的， 因此块bJ中的所有体素都会继承bJ的属性； 为了 获取当前块bJ周围局部空间的状态， 还引入扩展块 它由当前块bJ和周围的 一些块{bx}组成； 从扩展块中提取出一个图模型： 以扩展块中的块作为节点， 以当前块bJ和周围块{bx}之 间的连接作为边； 所提取的图模型为蒲公英 ‑CRF； 给定观察D， 第J个块的上下文熵Econ被描 述为中心节点bJ的条件概 率： 其中， bJ～1表示bJ需要被填充以增强地图的连续 性； 蒲公英‑CRF中有两种类型的团： 一种是单个节点{bk}， 另一种是一对相邻节点{bk,bl}， 其中k和l是索引变量； 通过选择指数势函数并引入特 征函数， 条件概 率定义为： 其中P(bJ～1|D)为输入为D， 输出为bJ～1的后验估计概率； E(bJ～1|D)为 的指代； Z(D)是归一化的偏函数， 状态特征函数ψ(bk)和转移特 征函数ψ(bk,bl)分别描述观察序列和相邻节点的影响； 制定如下规则， ψ(bk)根据块是否具 有观测数据获得不同的值； ψ(bk,bl)采用块之间欧几里得距离的径向基 函数； 在式(7)和(8) 中， ω1和ω2是控制传输信息量的超参数， s是块的分辨 率， pi∈bk表示语义 点pi落在块bk内； 上下文熵Econ揭示了体素之间的潜在差异， 用作区分指标； 以Tcon为熵阈值， 上下文熵 Econ小于Tcon的块中包含的体素是冗余的； 将在连续推理期间过滤掉这些冗余体素， 同时保 留观察体素和待激活体素以估计更准确的地图； 这个操作是通过传递给后续的多熵核推理 模块的过 滤因子fJ来实现的； 其中 为索引为J的块对应的上下文熵； 表示符合 则fJ为1， 不 符合 则fJ为0。 4.如权利要求1～3任一所述的一种移动机器人连续语义建图方法， 其特征在于， 所述权　利　要　求　书 2/4 页 3 CN 115457203 A 3