(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211036726.1 (22)申请日 2022.08.29 (71)申请人 苏州深思考人工智能科技有限公司 地址 215123 江苏省苏州市苏州工业园区 金鸡湖大道88号人工智能产业园内 G3-305单元 (72)发明人 杨志明　 (74)专利代理 机构 北京德琦知识产权代理有限 公司 11018 专利代理师 牛峥　王丽琴 (51)Int.Cl. G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/44(2022.01)G06V 10/42(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种用于医学图像分类的神经网络模型的 训练方法及系统 (57)摘要 一种用于医学图像分类的神经网络的训练 方法及系统， 采用改进的视觉转换器作为用于医 学图像分类的神经网络模型， 具有聚合功能， 将 基于医学图像进行编码得到的局部图像区域编 码特征聚合形成全局图像区域编码特征， 且将全 局图像区域编码特征与局部图像区域编码特征 聚合； 将该视觉转换器作为编码层嵌入到对比学 习网络中进行预训练， 且使用了鲁棒性对比自监 督损失函数(RS ‑InfoNCE)作为对比损失函数； 将 预训练后的视觉转换器微调后， 得到训练好的神 经神经网络模型用于医学图像的分类。 这样， 本 申请实施例采用对比学习技术对用于医学图像 分类的神经网络模型进行预训练， 提高神经网络 模型分类医学图像的质量。 权利要求书3页 说明书10页 附图3页 CN 115424112 A 2022.12.02 CN 115424112 A 1.一种用于医学图像分类的神经网络的训练方法， 其特 征在于， 所述方法包括： a、 预设具有特征聚合功能的视觉转换器， 将所述视觉转换器作为编码层嵌入到对比学 习网络中； b、 提供预训练用的多个医学图像， 对于每个医学图像， 将所述医学图像输入所述对比 学习网络中， 所述对比学习网络采用不同的图像特征提取方式提取第一图像区域特征及第 二图像区域特 征； c、 将第一图像区域特征及第二图像区域特征分别输入到所述视觉转换器中进行多层 编码， 在最后编码层进行编码之前， 采用特征聚合功能将多层编码得到的局部图像区域编 码特征聚合形成全局图像区域编码特征， 在最后编码层进行编码之后， 将所述全局图像区 域编码特征与最后编 码层得到的局部图像区域编码特征聚合为图像区域嵌入特征， 分别得 到第一图像区域嵌入特 征及第二图像区域嵌入特 征； d、 将所述第 一图像区域嵌入特征及所述第二图像区域嵌入特征， 分别采用对比学习网 络中的多层感知器MLP处理后， 采用预设的对比损失函数计算得到两者的差异 值， 判断两者 的差异值大于预设阈值时， 对视觉转换器中的参数调整， 返回执行步骤b～c的预训练过程， 直到所述差异值 不大于所述预设阈值 为止； e、 对预训练得到的所述视觉转换器采用具有标注信息的医学图像进行训练后， 得到训 练好的视 觉转换器， 应用于医学图像的分类。 2.如权利要求1所述的方法， 其特征在于， 所述将第 一图像区域特征及第 二图像区域特 征分别输入到所述视 觉转换器中进行多层编码包括： 所述视觉转换器包括串联的至少一采用Transformer的编码层， 从第一编码层到最后 编码层之前的一编 码层的每层编码层中， 采用对应各个所述编 码层的注意权重对第一图像 区域特征及第二图像区域特 征分别进行编码； 对于最后编码层， 在将第 一编码层到最后编码层之前的一编码层的每个编码层的注意 权重相乘后， 得到最后编 码层的注意权重， 采用所述最后编码层的注意权重， 对第一图像区 域特征及第二图像区域特 征分别进行编码。 3.如权利要求1所述的方法， 其特征在于， 所述采用预设的对比损失函数计算得到两者 的差异值时， 所述对比损失函数为鲁棒 性对比自监 督损失函数RS ‑InfoNCE。 4.如权利要求1所述的方法， 其特 征在于， 所述鲁棒 性对比自监 督损失函数包括： 其中， 公式中zi和zj分别表示预训练用的同一医学图像经过所述视觉转换器进行编码及MLP 处理后的第一图像区域嵌入特征及第二图像区域嵌入特征， zk表示预训练用的其他不同医 学图像经过所述视觉转换器进 行编码及MLP处理后的第一图像区域 嵌入特征及第二图像区 域嵌入特征， sim(zi,zj)为第一图像区域嵌入特征及第二图像区域嵌入特征 之间的相似度， |zi|为经过特征正则化之后的第一图像区域嵌入特 征， t表示超参数， 初步设置的t为0.07。 5.如权利要求1所述的方法， 其特征在于， 在分别采用对比学习网络中的多层MLP处理 后， 在采用预设的对比损失函数计算得到 两者的差异值之前， 还 包括：权　利　要　求　书 1/3 页 2 CN 115424112 A 2采用对比信 息网络中的预测器分别进行预测， 得到预测后的第 一图像区域嵌入特征及 第二图像区域嵌入特 征。 6.一种用于 医学图像分类的神经网络的训练系统， 其特征在于， 包括： 预训练单元及训 练单元， 其中， 所述预训练单元， 用于将具有特征聚合功能的视觉转换器作为编码层嵌入到对比学习 网络中； 提供预训练用的多个医学图像， 对于每个医学图像， 将所述医学图像输入所述对比 学习网络中， 所述对比学习网络采用不同的图像特征提取方式提取第一图像区域特征及第 二图像区域特征； 将第一图像区域特征及第二图像区域特征分别输入到所述视觉转换器中 进行多层编码， 在最后编码层进行编码之前， 采用特征聚合功能将多层编码得到的局部图 像区域编码特征聚合形成全局图像区域编码特征， 在最后编码层进行编码之后， 将所述全 局图像区域编码特征与最后编码层得到的局部图像区域编码特征聚合为图像区域嵌入特 征， 分别得到第一图像区域嵌入特征及第二图像区域嵌入特征； 将所述第一图像区域嵌入 特征及所述第二图像区域嵌入特征， 分别采用对比学习网络中的MLP处理后， 采用预设的对 比损失函数计算得到两者的差异值， 判断两者的差异值大于预设阈值时， 对视觉转换器中 的参数调整， 返回执 行预训练过程， 直到所述差异值 不大于所述预设阈值 为止； 所述训练单元， 用于对预训练得到的所述视觉转换器采用具有标注信 息的医学图像进 行训练后， 得到训练好的视 觉转换器， 应用于医学图像的分类。 7.如权利要求6所述的系统， 其特征在于， 所述预训练单元， 还用于所述视觉转换器包 括串联的至少一采用Transformer的编码层， 从第一编码层到最后编码层之前的一编码层 的每层编 码层中， 采用对应各个所述编 码层的注 意权重对第一图像区域特征及第二图像区 域特征分别进行编码； 对于最后编码层， 在将第 一编码层到最后编码层之前的一编码层的每个编码层的注意 权重相乘后， 得到最后编 码层的注意权重， 采用所述最后编码层的注意权重， 对第一图像区 域特征及第二图像区域特 征分别进行编码。 8.如权利要求6所述的系统， 其特征在于， 所述采用预设的对比损失函数计算得到两者 的差异值时， 所述对比损失函数为鲁棒 性对比自监 督损失函数RS ‑InfoNCE。 9.如权利要求8所述的系统， 其特 征在于， 所述鲁棒 性对比自监 督损失函数包括： 其中， 公式中zi和zj分别表示预训练用的同一医学图像经过所述视觉转换器进行编码及MLP 处理后的第一图像区域嵌入特征及第二图像区域嵌入特征， zk表示预训练用的其他不同医 学图像经过所述视觉转换器进 行编码及MLP处理后的第一图像区域 嵌入特征及第二图像区 域嵌入特征， sim(zi,zj)为第一图像区域嵌入特征及第二图像区域嵌入特征 之间的相似度， |zi|为经过特征正则化之后的第一图像区域嵌入特 征， t表示超参数， 初步设置的t为0.07。 10.一种电子设备， 其特 征在于， 包括： 处理器； 存储器， 存储有程序， 所述程序配置为在被所述处理器执行时实现如权利要求1至5中权　利　要　求　书 2/3 页 3 CN 115424112 A 3