(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211171283.7 (22)申请日 2022.09.26 (71)申请人 安徽省儿童医院 （安徽省新 华医院、 安徽省儿科医学研究所、 复旦大 学 附属儿科医院安徽医院） 地址 230051 安徽省合肥市包河区望江东 路39号 申请人 中国科学技术大学 (72)发明人 张思成　方继红　刘传彬　谢康　 孙军　徐静远　谢洪涛　 (74)专利代理 机构 北京科家知识产权代理事务 所(普通合伙) 11427 专利代理师 戴明虎 (51)Int.Cl. G06T 7/00(2017.01)G06N 3/04(2006.01) G06T 7/73(2017.01) (54)发明名称 下肢骨骼图像评估下肢力线方法、 系统、 设 备及存储介质 (57)摘要 本发明公开了一种下肢骨骼图像评估下肢 力线方法、 系统、 设备及存储介质， 包括如下方 法： 步骤S1、 准备下肢骨 骼的X射线图像； 步骤S2、 用GVV‑Net模块对X射线图像进行处理， 在特征最 深层使用VIA模块； 步骤S3、 SDM模 块在VIA模块提 取的数据信息中； 步骤S4、 数据信息中特征点的 全局结构信息检测X射线图像中的下肢解剖标 志， 得到下肢骨骼的热力图并提取每个通道最大 热力值的位置点作为关键点； 步骤S5、 获得关键 点定位后分别连接左侧四组水平位置对应的两 个关键点； 步骤S6、 分别连接右侧四组水平位置 对应两个关键点， 重复步骤S5得到全部下肢力 线。 本发明实现精确特征点性能检测， 提高了判 断和评估速度。 权利要求书2页 说明书6页 附图3页 CN 115272308 A 2022.11.01 CN 115272308 A 1.一种下肢骨骼图像评估下肢力线方法， 其特 征在于， 包括如下 方法： 步骤S1、 准备 下肢骨骼的X射线图像； 步骤S2、 应用GVV ‑Net模块对X射线图像进行网络处理， 在特征最深层使用VIA模块， 且 使用VIA模块在垂直方向感知信息用以匹配下肢骨骼的形状， 从而形成数据信息； 步骤S3、 应用SDM模块在步骤S2中VIA模块提取的数据信息中， 挖掘数据信息中特征点 的全局结构信息； 步骤S4、 通过数据信息中特征点的全局结构信息检测下肢骨骼 的X射线图像中的下肢 解剖标志， 得到对应下肢骨骼的热力图， 从热力图中提取每个通道最大热力值的位置点作 为相应的关键点， 关键点数量 为左侧四组8个关键点和右侧四组8个关键点； 其中， 两侧各四组关键点的位置分别为股骨干部中下水平两侧骨皮质缘、 股骨远端干 骺端两侧骨皮质缘、 胫骨近端干骺 端两侧骨皮质缘和胫骨干中上 水平两侧骨皮质缘； 步骤S5、 获得关键点定位后， 分别连接左侧四组水平位置对应的两个关键点， 并标注两 个关键点的中心 点， 得到股骨干部中下部中心 点、 股骨远端中心 点、 胫骨近端中心 点和胫骨 干中上部中心点， 分别连接股骨干部中下部中心点和股骨远端中心点得到左上侧下肢力 线， 连接胫骨近端中心点和胫骨干中上部中心点得到左下侧下肢力线； 步骤S6、 在分别连接右侧四组水平位置对应的两个关键点， 重复步骤S5， 得到右上侧下 肢力线和右下侧下肢力线。 2.根据权利要求1所述的下肢骨骼图像评估下肢力线方法， 其特征在于， 所述GVV ‑Net 为基于U‑Net框架为基础开发出的网络结构； 所述GVV‑Net开发过程为在U ‑Net的1024维特征层后添加VIA和SDM模块， 其中， 所述 1024维特 征层为U‑Net的特征最深层。 3.根据权利要求1所述的下肢骨骼图像评估下肢力线方法， 其特征在于， 一侧的下肢8 个关键点 位置分别为： 股骨干部中下水平内侧骨皮质缘、 股骨干部中下水平外侧骨皮质缘、 股骨远端干骺端 内侧骨皮质缘、 股骨远端干骺端外侧骨皮质缘、 胫骨近端干骺端内侧骨皮质缘、 胫骨近端干 骺端外侧骨皮质缘各一个点、 胫骨干中上水平内侧骨皮质缘和胫骨干中上水平外侧骨皮质 缘。 4.根据权利要求1所述的下肢骨骼图像评估下肢力线方法， 其特征在于， 所述VIA模块 的应用步骤具体包括： 在特征映射上应用单侧池化操作来聚合垂直方向的信息， 通过平均方式， 聚合同一横 坐标下， 所有垂直方向上的像素的特征， 将特性表示为 ， 计算出 为：  ； 其中， 为聚合后的水平方向特征向量在横坐标为j处的数值,R表示实数， H表示高度， W表示宽度， C表示 通道， 变量 代表经特征提取后得到的特 征图。 5.根据权利要求1所述的下肢骨骼图像评估下肢力线方法， 其特征在于， 所述SDM模块 的应用步骤具体包括： 在特征空间上构建一个全连通 图， 对于输入特征 ， 以V为节点集， E为边集， 构权　利　要　求　书 1/2 页 2 CN 115272308 A 2造一个HW节点的图G： G = (V, E)； 其中， H表示 高度， W表示宽度， C表示通道,R表示实数， V为节点的集合， E为边的集合， 节 点间拓扑 连接关系的集 合， G为一类中间过程的数值； 单层图卷积的表达式为： ； 其中， 表示节点之 间传递信息的邻接矩阵， 是状态更新函数的可训练 权矩阵， 是输入节点特性， 是更新的节点特性， 是一个非线性激活函 数。 6.根据权利要求5所述的下肢骨骼图像评估下肢力线方法， 其特征在于， 所述全连通图 为空间网格中的每 个像素作为图中的一个节点。 7.根据权利要求5所述的下肢骨骼图像评估下肢力线方法， 其特征在于， 利用节点之间 的亲和矩阵 来近似邻接矩阵， 计算任意两个节点之间的亲和度为： ； ； 其中， 为矩阵A第i行第j列的值， 和 为两个 卷积层的权值， 上标T为矩阵 的转置矩阵， 为输入特征在HW方向拉平后第i个特征向量， 为输入特征在HW方向拉平后 第j个特征向量。 8.一种下肢骨骼图像评估下肢力线系统， 基于权利要求1 ‑7任一项所述的方法实现， 所 述系统包括： 生成准备 单元， 用于将VIA模块与X射线图像匹配后， 形成数据信息； 应用模块单 元， 应用S DM模块在数据信息中， 挖掘数据信息中特 征点的全局结构信息； 关键点提取单元， 用于得到对应下肢骨骼 的热力图， 从热力图中提取每个通道最大热 力值的位置点作为相应的关键点。 9.一种处 理设备， 其特 征在于， 包括： 一个或多个处 理器； 存储器， 用于存 储一个或多个程序； 其中， 当所述一个或多个程序被所述一个或多个处理器执行时， 使得所述一个或多个 处理器实现如权利要求1 ‑7任一项所述的方法。 10.一种可读存储介质， 存储有计算机程序， 其特征在于， 当计算机程序被处理器执行 时实现如权利要求1 ‑7任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115272308 A 3