(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211082384.7 (22)申请日 2022.09.06 (65)同一申请的已公布的文献号 申请公布号 CN 115170564 A (43)申请公布日 2022.10.11 (73)专利权人 北京肿瘤医院 （北京大 学肿瘤医 院） 地址 100142 北京市海淀区阜成路52号 (72)发明人 夏邵君　孙应实　朱海涛　秦源泽　 张晓燕　卢巧媛　李清扬　 (74)专利代理 机构 北京君尚知识产权代理有限 公司 11200 专利代理师 邱晓锋 (51)Int.Cl. G06T 7/00(2017.01)G06N 3/04(2006.01) G16H 20/17(2018.01) G16H 50/20(2018.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (56)对比文件 CN 114170183 A,202 2.03.11 CN 108922602 A,2018.1 1.30 US 20120 02786 A1,2012.01.0 5 US 2005266420 A1,20 05.12.01 CN 109259780 A,2019.01.25 审查员 刘海莺 (54)发明名称 一种结直肠癌放 化疗反应自动预测系统 (57)摘要 本发明涉及一种结直肠癌放化疗反应自动 预测系统。 该系统包括： 图像获取模块， 用于采集 结直肠癌放化疗相关的医学图像； 预处理模块， 用于对图像获取模块采集的图像进行预处理； 图 像分类模块， 用于将预处理后的图像使用一级级 联网络进行图像分类， 得到的分类结果为3类， 包 括非肿瘤图像、 PCR图像、 非PCR图像； 语义分割模 块， 用于对分类得到的非PCR图像使用二级级联 网络进行语义分割， 以提取肿瘤区域； 预测模块， 用于对提取出的肿瘤区域使用三级级联网络分 别进行T分期预测以及TRG分期预测， 得到基于T 的分期预测结果以及基于TRG的分期预测结果。 本发明能够对放化疗反应进行有效预测， 对结直 肠癌患者后期治 疗方案的决策 具有重要意 义。 权利要求书2页 说明书8页 附图5页 CN 115170564 B 2022.12.02 CN 115170564 B 1.一种结直肠癌放 化疗反应自动预测系统， 其特 征在于， 包括： 图像获取模块， 用于采集结直肠癌放 化疗相关的医学图像； 预处理模块， 用于对图像获取模块采集的图像进行 预处理； 图像分类模块， 用于将预处理后的图像使用一级级联网络进行图像分类， 得到的分类 结果为3类， 包括非肿瘤图像、 PCR图像、 非PCR图像； 语义分割模块， 用于对分类得到的非PCR图像使用二级级联网络进行语义分割， 以提取 肿瘤区域； 预测模块， 用于对提取出的肿瘤区域使用三级级联网络分别进行T分期预测以及TRG分 期预测， 得到基于T的分期预测结果以及基于TRG的分期预测结果； 所述一级级联网络、 所述二级级联网络、 所述三级级联网络采用Swin  Transformer网 络实现， 分别称为Swin  Transformer一级级联网络、 Swin  Transformer二级级联网络、 Swin   Transformer三级级联网络； 所述Swin  Transformer二级级联网络为Swin  Transformer   Unet网络； 所述Sw in Transformer三级 级联网络包括T分期预测网络和TRG 分期预测网络； 所述Swin Transformer一级 级联网络的处 理过程包括： 获得预处理好的待分类图像， 将其构建好训练集输入到所述Swin  Transformer一级级 联网络中； 对输入的图像进行分块处 理， 然后进行分块嵌入处 理； 将图像输入三阶段的Swin  Transformer  block， 其中： 阶段一包括2个Swin   Transformer block和1个分块合并模 块， 2个Swin Transformer block进行连接， 其中一个 是基于窗口自注意力机制， 另一个是基于滑动窗口自注意力机制； 阶段二包括6个Swin   Transformer  block和1个分块合并模块， 6个Swin  Transformer  block分为3组， 每组中一 个是基于窗口自注意力机制， 另一个是基于滑动窗口自注意力机制； 阶段三与阶段一结构 相似， 包括2个Sw in Transformer  block和1个分块 合并模块； 采用适应池化层对阶段三的输出进行池化操作； 采用线性分类层对池化操作后的所有特征进行分类， 分为3类， 包括非肿瘤图像、 PCR图 像、 非PCR图像； 所述Swin  Transformer  Unet由三部分组成， 分别为左边的编码器， 下面的瓶颈层即2 个Swin Transformer  block， 以及右边的解码器； 在解码器中使用分块扩展进行特征图的 扩充， 以和 编码器中的特征图进 行对齐， 然后与编 码器进行跳跃连接； 通过跳跃连接将编码 器中的浅层信息与解码器中的特征进行融合以减少信息丢失； 所述Swin  Transformer   Unet通过分块映射将图像映射为掩膜图像特征， 输出图中每个像素点均为二分类， 即属于 肿瘤区域与非肿瘤区域； 所述T分期预测网络对图像进行T分期操作， 预测的结果为4分类， 分别为I、 II、 III、 IV 期； 所述TRG分期预测网络对图像进行TRG分期操作， 预测的结果为3分类， 分别为TRG1、 TRG2、 TRG3； T分期预测的损失函数为： LT＝ λ2L2+λ3L3 其中， L2为二级级联网络的损失函数值， L3为三级级联网络中T分期的损失函数值， λ2、 λ3 为权重系数；权　利　要　求　书 1/2 页 2 CN 115170564 B 2TRG分期预测的损失函数为： LTRG＝ λ2L2+λ4L4 其中， L2为二级级联网络的损失函数值， L4为三级级联网络中TRG分期的损失函数值， λ2、 λ4为权重系数， 其中λ2与T分期预测的损失函数中的λ2是同一个超参数。 2.根据权利要求1所述的系统， 其特征在于， 所述采集结直肠癌放化疗相关的医学图 像， 包括： 采集局部进 展期直肠癌 患者在接受新辅助放 化疗nCRT前一周的T2 ‑MRI图像； 采集局部进 展期直肠癌 患者在接受新全直肠系膜切除手术TM E前一周的T2 ‑MRI图像。 3.根据权利要求1所述的系统， 其特征在于， 所述一级级联网络不与所述二级级联网 络、 所述三级级联网络一起进 行训练， 而 是单独训练； 所述二级级联网络与所述三级级联网 络一起进行训练， 共同决定最终的损失函数， 同时进行反向传播与梯度更新。 4.一种电子装置， 其特征在于， 包括存储器和 处理器， 所述存储器存储计算机程序， 所 述计算机程序被配置为由所述处理器执行， 所述计算机程序包括用于实现权利要求 1～3中 任一项所述系统的图像获取模块、 预处理模块、 图像分类模块、 语义分割模块、 预测模块的 功能的指令 。 5.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储计算机程序， 所述计算机程序包括实现权利要求1～3中任一项所述系统的图像获取模块、 预处理模块、 图像分类模块、 语义分割模块、 预测模块的功能的指令 。权　利　要　求　书 2/2 页 3 CN 115170564 B 3