(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210130569.4 (22)申请日 2022.02.11 (71)申请人 上海市测绘院 地址 200063 上海市普陀区武宁路419号 (72)发明人 岳照溪　昌尧霏　符宏伟　张冲　 刘一宁　郭功举　王文峰　 (74)专利代理 机构 上海科律专利代理事务所 (特殊普通 合伙) 31290 专利代理师 叶凤 (51)Int.Cl. G06V 20/00(2022.01) G06K 9/62(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01) (54)发明名称 一种深度学习辅助的倾斜模型建筑物外立 面目标识别方法 (57)摘要 本发明公开了一种深度学习辅助的倾斜模 型建筑物外立面目标识别方法， 首先在倾斜摄影 相片中勾绘了建筑物外立面目标的样本， 然后投 入Mask‑rcnn的网络中进行网络参数的训练， 接 着借助倾斜摄影瞬间的外方位元素， 依据空间坐 标的平移和旋转， 还原拍摄瞬间的相片位置与姿 态， 并通过共线方程的原理， 将焦点与像方识别 结果边界坐标连接， 形成的直线与倾斜模型表面 相交， 就可以得到倾斜模型中建筑物外立面目标 的真实空间位置信息， 最后， 通过均值漂移的方 式进行删选， 从多个检测结果中得到最佳的点。 本发明将深度学习 与摄影测量技术结合， 实现了 倾斜模型上建筑物外立面上目标的自动识别， 可 用于城市建筑物自动分层分户、 日照分析等应用 问题。 权利要求书3页 说明书6页 附图4页 CN 114549956 A 2022.05.27 CN 114549956 A 1.一种深度学习辅助的倾斜模型建筑物外立面目标识别方法， 其特征在于， 包括如下 步骤： 步骤1： 对倾斜摄影所得影像进行建筑物外立面目标(本发明以窗户为例)的矢量范围 勾勒， 并制作成建筑物 识别样本， 裁 剪为统一尺寸； 步骤2： 将 样本投入mask  rcnn网络进行模型参数的训练； 步骤3： 用步骤2训练得到的模型结果对倾斜摄影区域的所有影像进行建筑物窗户自动 识别； 步骤4： 对步骤3得到的窗户自动识别结果进行边缘提取， 获取边界点在图像上的像方 坐标串， 并进行优化， 得到四个角点信息； 步骤5： 在外方位元 素的参数 下， 将边界点的像方坐标转换为辅助倾 斜摄影测量坐标； 步骤6： 将相机焦点 坐标与步骤5中得到的坐标相连， 用Plucker坐标对直线 进行表示； 步骤7： 用osg库进行倾 斜模型数据的解析， 得到倾 斜模型的所有顶点信息； 步骤8： 将直线方程与倾斜模型构成的三角面进行相交， 在Plucker坐标系中判断三角 形与直线位置 关系， 并从每条直线得到的所有交点中， 取距离焦点最近的一个作为结果， 就 是窗户识别的结果 坐标； 步骤9： 对该区域所有倾斜影像进行步骤1 ‑8， 得到每个窗户的多个检测结果用 均值漂 移聚类的方法定位每 个组的中心点， 得到窗户的最终检测结果。 2.如权利要求1所述的一种深度学习辅助的倾斜模型建筑物外立面目标识别方法， 其 特征在于： 步骤4的具体实现方式如下： 步骤4.1： 使用canny算子对检测结果进行边缘提取， 获取每个窗户监测结果图斑的边 缘坐标串； 步4.2： 对每个窗户的边缘坐标串用opencv中的approxPolyDP函数进行多边形拟合， 将 光滑的窗户边界简化 为四个边界角点， 即为窗户的角点 坐标。 3.如权利要求1所述的一种深度学习辅助的倾斜模型建筑物外立面目标识别方法， 其 特征在于： 步骤5的具体实现方式如下： 步骤5.1： 将像方坐标的原点从左上角转换为相片的中心原点， 并将Y轴方向反向(即假 设步骤4中计算得到的坐标为(xa0,ya0)， 且影像长宽分别为Xsize、 Ysize个像素值， 得到转 变后的坐标(xa0 ‑Xsize/2,Ysize ‑ya0‑Ysize/2)； 步骤5.2： 由于步骤5.1中的坐标数值单位是像素个数， 需要乘以单个像素的长度， 得到 其在像空间坐标系的坐标数值， 以摄像机焦点为像空间辅助坐标系的原点， 则相片上 的坐 标在Z方向的坐标即为 ‑f,即像空间坐标系下坐标为 步骤5.3： 参考外方位元素中摄影时摄像机的位置与姿态信息， 对步骤5.2中得到的像 空间坐标进行平 移和旋转， 还原拍摄瞬 间相片的真实位置与姿态， 其中平 移公式为：权　利　要　求　书 1/3 页 2 CN 114549956 A 2旋转公式为： 其中 Rω、 Rκ分别是外方位元 素中三个倾角的旋转矩阵。 4.如权利要求1所述的一种深度学习辅助的倾斜模型建筑物外立面目标识别方法， 其 特征在于： 步骤8的具体实现方式如下： 步骤8.1： 在步骤6获取的直线上， 沿光线方向取长度为3倍航高(大于2倍即可， 本发明 采用3倍)的点P坐标(px,py,pz)， 并用普朗克 方式对相机焦点F(fx,fy,fz)与点P进行表示: L＝(l0,l1,l2,l3,l4,l5) 其中: l0＝px*fy‑fx*py l1＝px*fz‑fx*pz l2＝px*fx l3＝py*fz‑fy*pz l4＝pz*fz l5＝fy*py 即该条直线可以用LPF进行表示； 步骤8.2： 遍历mesh模型中所有三角面片， 设每个面片的三个角点分别为Ki1、 Ki2、 Ki3， 用 步骤8.1中的普朗克方式对每个面片的三条边进行表示， 就得到三条边分别为Li12、 Li23、 Li13； 步骤8.3： 用Side  Operator对 步骤8.1的直线L0与步骤8.2中每个面片的三条边L1、 L2、 L3 进行计算， 获取直线与三角面片的交点， side  operator计算如下： side(L0， L1)＝L0[0]*L1[4]+L0[1]*L1[5]+L0[2]*L1[3]+L0[3]*L1[2]+L0[4]*L1[0]+L0 [5]*L1[1] 当side(L0， L1)、 side(L0， L2)、 side(L0， L3)三者都大于0或者都小于零时， 直线与三角形 不共面且穿过三角形； 步骤8.4： 步骤8.1中的线与mesh模型可 能有多于1个的交点， 只有线与模型的第一次相 交的点才是目标点， 所以对于每条直线与模型相交所有获取 的所有交点坐标， 与相 机焦点 坐标计算欧式距离： 距离最小的交点就是直线与模型的第 一个交点， 即为对应相片中窗户识别结果的节点 坐标。 5.如权利要求1所述的一种深度学习辅助的倾斜模型建筑物外立面目标识别方法， 其权　利　要　求　书 2/3 页 3 CN 114549956 A 3