(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202211212520.X
(22)申请日 2022.09.29
(71)申请人 山东师范大学
地址 250061 山东省济南市历下区文化 东
路88号
(72)发明人 虞刚 赵博 蔡智 王晶晶
张学仁 张子健 魏克鑫 李登旺
(74)专利代理 机构 苏州科洲知识产权代理事务
所(普通合伙) 3243 5
专利代理师 周亮
(51)Int.Cl.
G06T 11/00(2006.01)
G06N 3/04(2006.01)
G06N 3/08(2006.01)
G06T 5/00(2006.01)G06T 7/33(2017.01)
G06V 10/42(2022.01)
G06V 10/44(2022.01)
G06V 10/46(2022.01)
G06V 10/80(2022.01)
G06V 10/82(2022.01)
(54)发明名称
基于残差Tran sformer生成对抗网络的MR图
像合成CT图像系统及方法
(57)摘要
本申请提供的一种基于残差Tran sformer生
成对抗网络的MR图像合成CT图像系统及方法, 设
计一个新的生成器结构, 在生器中加入了深层特
征提取模块以提取更深层次的特征, 对参考MR图
像和参考CT图像进行学习训练得到MR合成CT模
型; 将实际MR图像输入所述MR合成CT模型生成合
成CT图像。 本申请弥补了传统生成对抗网络在捕
捉全局信息能力的不足, 提高了合成CT图像的准
确性。 同时, 该生成器还包含特征增强模块, 该模
块利用卷积自适应加权全局信息与局部信息。 本
申请实现了Tran sformer与CNN的优势互补, 并将
其应用到医学图像合成任务中。
权利要求书2页 说明书7页 附图2页
CN 115546334 A
2022.12.30
CN 115546334 A
1.一种基于残差Transformer生成对抗网络的MR图像合成CT图像系统, 其特征在于, 所
述系统包括图像预处 理单元、 图像合成单 元、 图像生成单 元, 其中
所述图像预处 理单元, 用于对参 考MR图像和参 考CT图像进行 预处理;
所述图像合成单 元, 用于得到 MR合成CT模型;
所述图像生成单 元, 用于将实际MR图像输入所述MR合成CT模型生成合成CT图像。
2.根据权利要求1所述的一种基于残差Transformer生成对抗网络 的MR图像合成CT图
像系统, 其特 征在于, 所述图像合成单 元包括生成器和判别器, 其中
所述生成器, 用于根据参 考MR图像合成中间CT图像;
所述判别器, 用于鉴别参 考CT与中间CT图像,迫使所述 生成器生成更加真实的CT图像。
3.根据权利要求1所述的一种基于残差Transformer生成对抗网络 的MR图像合成CT图
像系统, 其特 征在于, 所述 生成器包括编码器、 深层特 征提取模块和解码器, 其中
所述编码器, 用于提取参考MR图像不同分辨率下的特征, 其中最后一个特征作为所述
深层特征提取模块的输入;
所述深层特征提取模块, 用于对所述最后一个特征进行深层特征提取, 并通过残差连
接将所述编码器提取的最后一个特 征与提取的深层特 征进行聚合;
所述解码器, 用于进行图像重建, 得到中间CT图像。
4.根据权利要求3所述的一种基于残差Transformer生成对抗网络 的MR图像合成CT图
像系统, 其特征在于, 所述深层特征提取模块包括12层Transformer层和特征增强模块, 所
述特征增强模块用于将聚合后的特 征进行归纳增强。
5.根据权利要求3所述的一种基于残差Transformer生成对抗网络 的MR图像合成CT图
像系统, 其特征在于, 所述编 码器由4层卷积模块、 4个下采样层组成; 所述解码 器由4个上采
样层、 4个特 征拼接层组成。
6.根据权利要求4所述的一种基于残差Transformer生成对抗网络 的MR图像合成CT图
像系统, 其特征在于, 所述特征增强模块由2层卷积层组成, 利用卷积的归纳偏置对聚合后
的特征进行归纳增强。
7.基于权利要求1 ‑6任一项所述系统的一种基于残差Transformer生成对抗网络 的MR
图像合成CT图像方法, 其特 征在于, 所述方法包括训练阶段和生成阶段, 其中
所述训练阶段包括:
图像预处 理: 对参考CT图像与参 考MR图像进行 预处理;
图像合成: 对预处理后的参考CT图像和参考MR图像输入条件生成对抗网络进行训练,
得到MR合成CT模型。
8.根据权利要求7所述的方法, 其特征在于, 所述对参考CT图像与参考MR图像进行预处
理包括:
对参考CT图像与参 考MR图像进行非刚体 配准;
提取参考CT图像中的患者主体图像;
对参考MR图像进行强度校正;
对参考MR图像进行强度匹配。
9.根据权利要求7 所述的方法, 其特 征在于, 所述图像合成包括:
训练判别器, 使所述判别器能够区分 真实CT图像与合成CT图像;权 利 要 求 书 1/2 页
2
CN 115546334 A
2训练生成器, 将参考MR图像输入至编码器, 由编码器对参考MR图像进行特征提取; 将所
述编码器提取的最后一个特征输入至深层特征提取模块, 所述深层特征提取模块对所述最
后一个特征进 行深层特征提取; 通过残差连接将所述编 码器提取的最后一个特征与所述深
层特征提取模块提取的深层特征进行聚合; 将聚合后的特征经过特征增强模块进 行特征归
纳; 所述解码器进行图像重建, 得到中间CT图像;
所述判别器对参考CT图像与中间CT图像进行鉴别, 若通过鉴别, 则得到MR合成CT模型,
若未通过鉴别, 则生成器继续训练, 直到通过判别器的鉴别。
10.根据权利要求7所述的方法, 其特征在于, 所述生成阶段包括: 将 实际MR图像输入所
述MR合成CT模型生成合成CT图像。权 利 要 求 书 2/2 页
3
CN 115546334 A
3
专利 基于残差Transformer生成对抗网络的MR图像合成CT图像系统及方法
安全报告 >
其他 >
文档预览
中文文档
12 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共12页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 人生无常 于 2024-03-18 04:41:36上传分享