(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210939958.1 (22)申请日 2022.08.05 (71)申请人 中国科学院自动化研究所 地址 100190 北京市海淀区中关村东路95 号 (72)发明人 田捷　刘振宇　刘相宇　 (74)专利代理 机构 北京市恒有知识产权代理事 务所(普通 合伙) 11576 专利代理师 郭文浩　尹文会 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01) G06V 10/25(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于术前术中影像的乳腺癌淋巴结良恶性 分类系统及方法 (57)摘要 本发明属于图像处理技术领域， 具体涉及了 一种基于术前术中影像的乳腺癌淋巴结良恶性 分类系统及方法， 旨在解决现有技术存在乳腺癌 淋巴结错误清扫的问题。 本发明包括： 术前多模 态影像预处理及编码模块， 提取患者术前多模态 影像的淋巴结相关的高维预定义特征； 术中荧光 图像序列预处理及编码模块和术中荧光强度时 变序列预处理及编码模块， 分别提取术中淋巴结 在荧光影像中的全局特征和局部特征； 术中前 哨/非前哨淋巴结良恶性分类模块， 进行高维预 定义特征、 全局特征和局部特征的融合， 并进行 建模及模型训练， 通过训练好的模 型进行乳腺癌 淋巴结良恶性分类。 本发明分析结果的准确性和 精度高， 从而能够提供 更好的辅助诊 疗方案。 权利要求书2页 说明书8页 附图2页 CN 115222992 A 2022.10.21 CN 115222992 A 1.一种基于术前术中影像的乳腺癌淋巴结良恶性分类系统， 其特征在于， 所述分类系 统包括： 术前多模态影像预处理及编码模块， 基于淋巴结转移乳腺癌患 者术前多模态影像的感 兴趣区域， 提取淋巴结相关的高维预定义特 征； 术中荧光图像序列 预处理及编码模块， 通过生成对抗网络变体对患 者术中荧光成像序 列进行图像增强后， 基于深度残差网络及 Transformer编码器编码整体序列， 获得术中淋巴 结在荧光影像中的全局特 征； 术中荧光强度时变序列预处理及编码模块， 通过荧光成像序列感兴趣区域获取增强后 的序列中荧光亮度的时变像素强度， 拟合生物物理模型参数， 获得术中淋巴结在荧光影像 中的局部特 征； 术中前哨/非前哨淋巴结良恶性分类模块， 基于术前多模态影像的高维预定义特征， 术 中荧光影像全局与局部特征， 构建和训练术中前哨/非前哨淋巴结良恶性分类模 型， 并通过 训练好的模型进行乳腺癌淋巴结良恶性分类。 2.根据权利要求1所述的基于术前术中影像的乳腺癌淋巴结良恶性分类系统， 其特征 在于， 所述术前多模态影像包括患者术前检查的多序列磁共振图像、 钼靶图像以及超声图 像。 3.根据权利要求1所述的基于术前术中影像的乳腺癌淋巴结良恶性分类系统， 其特征 在于， 所述术前多模态影像的感兴趣区域以及所述荧光成像序列感兴趣区域， 为表面出血 或水肿区域占比低于设定阈值的肿瘤区域。 4.根据权利要求1所述的基于术前术中影像的乳腺癌淋巴结良恶性分类系统， 其特征 在于， 所述高维预定义特 征包括形状特 征、 强度特 征、 纹理特征和小波特征。 5.根据权利要求1所述的基于术前术中影像的乳腺癌淋巴结良恶性分类系统， 其特征 在于， 所述生成对抗网络变体基于深度 残差卷积神经网络构建， 包括顺次连接的1个卷积模 块和4个残差模块； 所述深度残差网络包括顺 次连接的卷积模块、 残差模块和全局平均池化层， 所述模块， 其卷积层的卷积核为3 ×3×3； 所述Trans former编码器包括顺次连接的2个Trans former编码层， 所述Trans former编 码层包括8头注意力机制。 6.根据权利要求1所述的基于术前术中影像的乳腺癌淋巴结良恶性分类系统， 其特征 在于， 所述 生物物理模型参数包括 荧光信号的流入行为和指数衰减。 7.根据权利要求1所述的基于术前术中影像的乳腺癌淋巴结良恶性分类系统， 其特征 在于， 所述乳腺癌淋巴结良恶性分类， 其方法为： 判断前哨淋巴结的性状， 若为阴性， 则终止； 若为阳性， 则进一步判断非前哨淋巴结的 良恶性。 8.一种基于术前术中影像的乳腺癌淋巴结良恶性分类方法， 其特征在于， 所述分类方 法包括： 步骤S100， 基于淋巴结转移乳腺癌患者术前多模态影像的感兴趣区域， 提取淋巴结相 关的高维预定义特 征； 步骤S200， 通过生成对抗网络变体对患者术中荧光成像序列进行图像增 强， 获得患者权　利　要　求　书 1/2 页 2 CN 115222992 A 2术中增强荧 光成像序列； 步骤S300， 基于深度残差网络及Transformer编码器编码所述患者术中增强荧光成像 序列， 获得术中淋巴结在荧 光影像中的全局特 征； 步骤S400， 通过荧光成像序列感兴趣区域获取所述患者术中增强荧光成像序列中荧光 亮度的时变 像素强度， 拟合 生物物理模型参数， 获得术中淋巴结在荧 光影像中的局部特 征； 步骤S500， 基于术前多模态影像的高维预定义特征， 术中荧光影像全局与局部特征， 构 建和训练术中前哨/非前哨淋巴结良恶性分类模型； 步骤S600， 获取患者术前/术中影像， 并通过训练好的术中前哨/非前哨淋巴结良恶性 分类模型进行乳腺癌淋巴结良恶性分类。 9.根据权利要求8所述的基于术前术中影像的乳腺癌淋巴结良恶性分类方法， 其特征 在于， 所述 生物物理模型参数， 其表示 为： 其中， I表示荧光强度， θ表示视 频开始和示踪剂注射之间经过的时间， τ和 τi分别表示编 码示踪剂的冲入和冲出速率， D表示强度振荡的存在和持续存在的无单位数， K表示荧光轮 廓的整体强度。 10.根据权利要求8所述的基于术前术中影像的乳腺癌淋巴结良恶性分类方法， 其特征 在于， 步骤S6 00包括： 步骤S601， 进行术前多模态影像的高维预定义特征、 术中荧光影像全局与局部特征的 拼接， 获得拼接特 征； 步骤S602， 将所述拼接特征输入训练好的术中前哨淋巴结良恶性分类模型的全连接 层， 获得前哨淋巴结良恶性 概率； 步骤S603， 若所述前哨淋巴结良恶性概率低于设定阈值， 则前哨淋巴结的性状为阴性； 否则前哨淋巴结的性状为阳性， 并跳转 步骤S604； 步骤S604， 将所述拼接特征输入训练好的术中非前哨淋巴结良恶性分类模型的全连接 层， 获得非前哨淋巴结良恶性 概率。权　利　要　求　书 2/2 页 3 CN 115222992 A 3