一种基于融合三维CT数据的踝关节图像配准方法及系统

一种基于融合三维CT数据的踝关节图像配准方法及系统

本发明涉及图像配准,尤其涉及一种基于融合三维ct数据的踝关节图像配准方法及系统。

背景技术:

1、结合计算机技术与影像数据,对患者的骨骼结构进行3d建模,帮助医生规划手术过程,使得术中不需要大量的x光透射,从而大大减少辐射剂量,骨科手术导航系统的基本工作流程是在术前通过ct扫描获取患者相应骨骼的3d数据,构建出完整的3d模型。在手术过程中,系统实时采集2dx光数据,并将其与术前获取的3dct数据进行配准,建立数字空间和真实空间的对应关系。随后,系统会实时跟踪导航点(即手术工具)的位置,并在数字空间中渲染,以帮助医生准确定位和操作,然而,相关技术中基于图像特征的方法利用患者身体内外的人工标记物或者固有特征来定位。例如在术前对人体贴皮肤标记或打钛钉等。这种方法虽然速度快且精准,但对人体损伤太大,不符合微创手术的原则,其他外部标记物方法都有此问题,难以满足临床手术的需求,而基于图像灰度的2d/3d配准方法首先采用数字重建放射影像数字影像重建技术(drr),将3d图像投影为2d图像,实现维数统一,之后测算drr与x光的相似性测度,迭代优化求出最佳配准结果。然而,单纯的基于灰度迭代的方法在速度上距离手术临床需求有显著的差距,另外,基于深度学习的医学影像配准按照种类和训练方案大概分为深度迭代、监督和无监督三种。深度迭代方法仅使用神经网络提取图像特征、学习相似度,仍然用传统方法迭代计算,但同样存在速度慢的问题;监督学习方法使用真实的变换参数作为金标准来训练网络,回归出变换参数,这种方法需要大量的标注数据进行训练。无监督学习通过自身的损失函数或对抗网络来优化配准结果,可以适应不同类型和模态的问题,但是缺乏标签使得结果难以评估,解释性差,而且需要大量数据学习有效的特征表示,而医学数据量往往较少,不足以支撑训练。总而言之,基于深度学习的方法在骨科手术导航任务背景下,普遍存在因缺乏大量标注数据集而导致效果不足、泛化性不足等问题。

技术实现思路

1、为了解决上述技术问题,本发明的目的是提供一种基于融合三维ct数据的踝关节图像配准方法及系统,能够实现快速且准确的实现踝关节图像配准。

2、本发明所采用的第一技术方案是:一种基于融合三维ct数据的踝关节图像配准方法,包括以下步骤:

3、基于训练后的cyclegan网络模型并结合具有标签信息的踝关节drr图像,对踝关节x光图像进行灰度统一处理,得到灰度统一后的踝关节x光图像;

4、基于训练后的影像分割网络模型,对灰度统一后的踝关节x光图像进行推理预测,得到踝关节x光图像的分割标签信息;

5、基于踝关节x光图像的分割标签信息,进行二阶段图像配准处理,得到预测仿射变换参数;

6、基于预测仿射变换参数实现踝关节图像配准。

7、进一步,所述基于训练后的cyclegan网络模型并结合踝关节drr图像,对踝关节x光图像进行灰度统一处理,得到灰度统一后的踝关节x光图像这一步骤,其具体包括:

8、获取踝关节x光图像;

9、获取踝关节ct图像并根据各个骨骼部位进行分割处理,得到具有标签信息的踝关节ct图像;

10、通过数字重建放射影像方法对具有标签信息的踝关节ct图像进行投影处理,构建具有标签信息的踝关节drr图像;

11、结合具有标签信息的踝关节drr图像与踝关节x光图像,构建踝关节训练数据集;

12、基于踝关节训练数据集对改进后的cyclegan网络模型进行训练,得到训练后的cyclegan网络模型;

13、基于训练后的cyclegan网络模型,结合具有标签信息的踝关节drr图像,对踝关节x光图像进行灰度统一处理,得到灰度统一后的踝关节x光图像。

14、进一步,所述改进后的cyclegan网络模型具体包括第一生成器、第二生成器、注意力机制模块、第一判别器、第二判别器与损失函数模块,所述损失函数模块包括循环一致性损失函数、对抗损失函数、风格损失函数、内容损失函数与加权损失函数,其中,所述第一生成器的输出端、所述第二生成器的输出端均与所述注意力机制模块的输入端连接,所述注意力机制模块的输出端均与所述第一判别器的输入端、所述第二判别器的输入端连接,所述第一判别器的输出端、所述第二判别器的输出端均与所述损失函数模块的输入端连接。

15、进一步,所述基于踝关节训练数据集对改进后的cyclegan网络模型进行训练,得到训练后的cyclegan网络模型这一步骤,其具体包括:

16、将踝关节训练数据集输入至改进后的cyclegan网络模型;

17、基于改进后的cyclegan网络模型的第一生成器,对踝关节x光图像进行图像风格转换处理,得到具有drr风格的踝关节x光图像;

18、基于改进后的cyclegan网络模型的第二生成器,对具有标签信息的踝关节drr图像进行图像风格转换处理,得到具有x光风格的踝关节drr图像;

19、基于改进后的cyclegan网络模型的注意力机制模块,对具有drr风格的踝关节x光图像与具有x光风格的踝关节drr图像进行特征增强处,得到增强后的具有drr风格的踝关节x光图像与增强后的具有x光风格的踝关节drr图像;

20、基于改进后的cyclegan网络模型的第一判别器,对增强后的具有drr风格的踝关节x光图像进行判断,得到第一判断结果;

21、基于改进后的cyclegan网络模型的第二判别器,对增强后的具有x光风格的踝关节drr图像进行判断,得到第二判断结果;

22、基于改进后的cyclegan网络模型的损失函数模块,对第一判断结果与第二判断结果进行还原,输出训练后的cyclegan网络模型。

23、进一步,所述基于训练后的影像分割网络模型,对灰度统一后的踝关节x光图像进行推理预测,得到踝关节x光图像的分割标签信息这一步骤,其具体包括:

24、通过具有标签信息的踝关节drr图像对影像分割网络模型进行预训练,得到训练后的影像分割网络模型;

25、将灰度统一后的踝关节x光图像输入至训练后的影像分割网络模型进行推理预测,得到踝关节x光图像的分割标签信息。

26、进一步,所述基于踝关节x光图像的分割标签信息,进行二阶段图像配准处理,得到预测仿射变换参数这一步骤,其具体包括:

27、对踝关节x光图像的分割标签信息与具有标签信息的踝关节ct图像进行粗配准,获取初步的预测仿射变换参数;

28、将初步的预测仿射变换参数作用于踝关节ct图像上进行ddr投影处理,得到预测的踝关节drr图像;

29、对预测的踝关节drr图像与踝关节x光图像进行相似度值计算处理,并对计算结果进行判断;

30、若计算结果不满足预设的精度要求,以该初步的预测仿射变换参数作为初始位姿进行灰度迭代优化配准;

31、直至计算结果满足预设的精度要求,对初步的预测仿射变换参数进行剪枝操作,输出预测仿射变换参数。

32、进一步,所述对初步的预测仿射变换参数进行灰度迭代配准这一步骤,其具体包括:

33、根据初步的预测仿射变换参数提取旋转角度与位移值,构建变换矩阵;

34、对变换矩阵进行逆变换处理,并对虚拟点光源进行变换以及与预测的踝关节drr图像进行矩阵乘法计算,得到变换后的虚拟光源点位置与新的drr物理坐标数组;

35、根据变换后的虚拟光源点位置与新的drr物理坐标数组,生成新的踝关节drr图像;

36、将踝关节x光图像转换为图像数组形式并与新的踝关节drr图像进行像素梯度值计算,得到梯度方向测度值与梯度中值;

37、若梯度方向测度值与梯度中值不满足预设相似度值要求,循环进行灰度迭代配准,直至梯度方向测度值与梯度中值满足预设相似度值要求。

38、本发明所采用的第二技术方案是:一种基于融合三维ct数据的踝关节图像配准系统,包括:

39、第一模块,用于基于训练后的cyclegan网络模型并结合具有标签信息的踝关节drr图像,对踝关节x光图像进行灰度统一处理,得到灰度统一后的踝关节x光图像;

40、第二模块,用于基于训练后的影像分割网络模型,对灰度统一后的踝关节x光图像进行推理预测,得到踝关节x光图像的分割标签信息;

41、第三模块,用于基于踝关节x光图像的分割标签信息,进行二阶段图像配准处理,得到预测仿射变换参数;

42、第四模块,用于基于预测仿射变换参数实现踝关节图像配准。

43、本发明方法及系统的有益效果是:本发明通过基于训练后的cyclegan网络模型并结合具有标签信息的踝关节drr图像,对踝关节x光图像进行灰度统一处理,采用drr结合图像风格统一方法代替x光用于训练相关的深度学习过程的网络,不需要大量采集昂贵的真实临床影像数据,极大的降低了数据成本和标注成本,进一步基于训练后的影像分割网络模型,对灰度统一后的踝关节x光图像进行推理预测,获取踝关节x光图像的分割标签信息,最后基于踝关节x光图像的分割标签信息,进行二阶段图像配准处理,通过对输入的x光图像进行图像风格统一,使其强度分布与drr图像相同,在第一阶段配准过程中,有利于预测x光图像的标签信息,减少对比度差异造成的误差;在第二阶段配准中,有利于灰度迭代的优化过程,减少陷入局部最优解的可能,最终提高图像的配准精度。

相关推荐

结扎,该“扎”男人还是“扎”女人?
365招聘

结扎,该“扎”男人还是“扎”女人?

📅 10-05 👁️ 7603
分类:暗黑2 任务
365账号无法登陆

分类:暗黑2 任务

📅 08-19 👁️ 4768
巴林國家足球隊
365bet平台开户

巴林國家足球隊

📅 08-04 👁️ 1241