(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210377920.X (22)申请日 2022.04.12 (71)申请人 中国科学院深圳先进技 术研究院 地址 518055 广东省深圳市南 山区深圳大 学城学苑大道1068号 (72)发明人 侯嘉馨　秦文健　谢耀钦　 (74)专利代理 机构 北京市诚辉律师事务所 11430 专利代理师 耿慧敏　成丹 (51)Int.Cl. G06V 10/762(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06V 10/25(2022.01)G06N 3/04(2006.01) G06T 7/00(2017.01) G06T 7/11(2017.01) (54)发明名称 一种多模态肿瘤数据融合方法和装置 (57)摘要 本发明公开一种多模态肿瘤数据融合方法 和装置。 该方法包括： 针对目标的影像数据， 提取 第一形态特征； 针对目标的病理数据， 提取第二 形态特征和结构特征； 针对目标的基因数据， 提 取集群特征； 将第一形态特征、 第二形态特征、 结 构特征和集群特征通过融合网络进行融合， 其中 融合网络包括第一层网络和第二层网络， 第一层 网络从微观到宏观的变化将第一形态特征与第 二形态特征、 第一形态特征与结构特征、 第二形 态特征与集群特征、 结构特征与集群特征进行两 两融合； 第二层网络对两两融合特征融合， 获得 第一融合特征和第二融合特征； 利用第一融合特 征和第二融合特征对目标进行分类或预测。 本发 明实现对多模态数据的综合分析， 为临床提供辅 助参考。 权利要求书2页 说明书8页 附图3页 CN 114821137 A 2022.07.29 CN 114821137 A 1.一种多模态肿瘤数据融合方法， 包括以下步骤： 针对目标的影像数据， 提取第一形态特征， 该第一形态特征反映病变组织整体的几何 形态表征； 针对目标的病理数据， 提取第二形态特征和结构特征， 该第二形态特征描述肿瘤细胞 核的异常程度， 该 结构特征描述细胞的分布特点； 针对目标的基因数据， 提取集群特征， 该集群特征反映肿瘤在基因分子层面的表达特 征； 将第一形态特征、 第二形态特征、 结构特征和集群特征通过经训练的融合网络进行融 合， 其中所述融合网络包括第一层 网络和第二层 网络， 第一层 网络基于从微观到宏观的变 化将第一形态特征与第二形态特征、 第一形态特征与结构特征、 第二形态特征与集群特征、 结构特征与集群特征进行两两融合； 第二层 网络对两两融合特征进一步融合， 获得第一融 合特征和第二融合特 征； 利用第一融合特 征和第二融合特 征对目标进行分类识别或回归预测。 2.根据权利要求1所述的方法， 其特征在于， 所述第二层网络包含两条路径分支， 一条 路径分支对第一形态特征与第二形态特征、 集群特征与结构特征进行融合获得第一融合特 征， 另一条路径分支对集群特征与第二形态特征、 第一形态特征与结构特征进行融合获得 第二融合特征， 所述两条路径分支具有相同的结构， 各包含输入层、 多层 全连接隐藏层和输 出层。 3.根据权利要求1所述的方法， 其特征在于， 所述第一层网络将两两特征做克罗内克 积， 表示如下： 其中， A和B是维度分别为m ×n和p×q的特征矩阵。 4.根据权利要求2所述的方法， 其特征在于， 所述第 二层网络包含两条路径分支各包含 两层全连接层作为隐藏层， 并采用神经元丢弃策略和线性整流激活函数， 将融合特征逐层 降维， 进而分别输出第一融合特 征和第二融合特 征。 5.根据权利要求1所述的方法， 其特征在于， 根据目标分类任务， 将训练所述融合网络 的损失函数设置为： 其中， N表示样本的总数， yn为样本xn的真实标签， 表示样本xn的预测概率， xn为 第一层网络融合得到的特 征向量， n是样本索引下 标。权　利　要　求　书 1/2 页 2 CN 114821137 A 26.根据权利要求1所述的方法， 其特征在于， 根据目标回归任务， 将训练所述融合网络 的损失函数设置为： 其中， ti和tj分别为第i个、 第j个时间节点， R(ti)为时间节点ti时的风险集合， δi为数据 删失标记。 7.根据权利要求1所述的方法， 其特征在于， 输入所述融合网络的各模态特征根据以下 步骤获得： 针对提取的第 一形态特征、 第 二形态特征、 结构特征和集群特征各模态特征， 分别使用 特征嵌入选择 方法筛选出高相关性特 征； 使用主成分 分析算法对筛 选后的特 征进行降维处 理， 并统一各模态的特 征纬度。 8.一种多模态肿瘤数据融合装置， 包括： 特征提取模块： 用于针对目标的影像数据， 提取第 一形态特征， 该第 一形态特征反映病 变组织整体的几何形态表征； 针对目标的病理数据， 提取第二形态特征和结构特征， 该第二 形态特征描述肿瘤细胞核的异常程度， 该结构特征描述细胞的分布特点； 针对目标 的基因 数据， 提取集群特 征， 该集群特 征反映肿瘤 在基因分子层面的表达特 征； 特征融合模块： 用于将第 一形态特征、 第二形态特征、 结构特征和集群特征通过经训练 的融合网络进行融合， 其中所述融合网络包括第一层 网络和第二层 网络， 第一层 网络基于 从微观到宏观的变化将第一形态特征与第二形态特征、 第一形态特征与结构特征、 第二形 态特征与集群特征、 结构特征与集群特征进行两两融合； 第二层 网络对两两融合特征进一 步融合， 获得第一融合特 征和第二融合特 征； 预测模块： 用于利用第一融合特 征和第二融合特 征对目标进行分类识别或回归预测。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其中， 该计算机程序被处理器执 行时实现根据权利要求1至7中任一项所述方法的步骤。 10.一种计算机设备， 包括存储器和处理器， 在所述存储器上存储有能够在处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现权利要求1至7中任 一项所述的方法的步骤。权　利　要　求　书 2/2 页 3 CN 114821137 A 3