(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211024009.7 (22)申请日 2022.08.24 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市下沙高教园区2 号大街 (72)发明人 秦飞巍　陈奔　邵艳利　 (74)专利代理 机构 杭州君度专利代理事务所 (特殊普通 合伙) 33240 专利代理师 杨舟涛 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/44(2022.01) G06V 10/42(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于注意力机制的白细胞细粒度分类方法 (57)摘要 本发明公开了一种基于注意力机制的白细 胞细粒度分类方法， 本发明端到端的可训练的 Transformer与卷积结合的模型， 融合了 Transformer的擅长捕捉长距离依赖关系， 提取 全局特征的优点和CNN在low ‑level提取 图像局 部特征的优点， 能够更好的构建白细胞图像的特 征图谱， 丰富白细胞的特征信息， 提高细胞图像 的识别准确率。 并且该模型具有一定的泛化性和 稳定性， 其使用SGD和AdamW俩个优化器均能得到 最优解。 权利要求书2页 说明书6页 附图3页 CN 115439683 A 2022.12.06 CN 115439683 A 1.基于注意力机制的白细胞细粒度分类方法， 其特 征在于， 该 方法具体包括以下步骤： 数据集的收集， WBCLformer模型的搭建和训练， WBCLformer模型效果检验； 步骤1： 获取白细胞图像作为基础数据集， 并且分为训练集和 测试集； 步骤2： WBCLformer模型的搭建和训练 WBCLformer模型的训练分为三个步骤： 神经网络模型的搭建， 预训练， 在白细胞数据 集 训练； 步骤2.1： 神经网络模型 搭建 该神经网络由三个部分组成， 分别为特 征提取器， 编码器， 辨别区域筛 选； 步骤2.1.1： 特 征提取器 先将图像数据转化为局部特征数据， 采用卷积核为3*3的卷积操作获取图像的特征数 据； 步骤2.1.2： 编码器 在WBCLformer中有两种编码器， 一种为Transformer中的编码器， 另一种是通过改进的 局部编码器； 步骤2.1.2.1： Transformer编码器 该编码器分成两个模块， 一个为Multi ‑head Self Attention  layers， 即MSA， 另一个 为Feed Forward Network， 即FFN； MSA： 通过输入向量之间的彼此交互学习， 通过计算不同对象的不同权重， 从而找出更 关注的区域信息； FFN： 获得加权的向量之后， 需要将向量输入到F FN中进行进一 步处理； 步骤2.1.2.2： 局部编码器 局部编码器通过将自注意力机制中的全局注意力和CNN相结合， 从而达到局部信息和 全局信息之间的融合， 能够提取到有效的白细胞特征信息； 由于自注意力机制是通过学习 不同patch 之间的相关性， 其更关注的是全局的特征信息， 并在编码 器中加入卷积操作来 实 现局部信息的提取； 步骤2.1.3： 辨别区域筛 选 步骤2.2： 白细胞 数据集训练 由于WBCLformer在小数据集上会产生过拟合的现象， 因此该步骤分为俩个过程， 在 ImageNet‑2012数据集的预训练和在白细胞 数据集的训练； ； 步骤2.2.1： 预训练 模型训练采用AdamW优化算法来调整参数， 学习率为5e ‑4， 权重衰减为1e ‑3， 一阶指数 衰减率为0.9， 二阶指数衰减率 为0.999， 总共训练15 0‑250轮； 步骤2.2.2： 白细胞 数据集训练 将模型的最后一层进行替换， 并且使用预训练的模型参数作为训练的初始值， 随后进 行模型的训练； 模型训练采用的是AdamW优化算法来调整参数， 其训练参数与预训练相同； 其学习率调 整策略采用了warm ‑up和余弦退火； 步骤3： WBCLformer模型效果检验 为了能够定量的分析模型的泛化能力， 需要将训练好的模型在测试集中进行测验， 将权　利　要　求　书 1/2 页 2 CN 115439683 A 2预测的结果与实际值进行比较， 并采用评价指标来进行分析。 2.根据权利要求1所述的基于注意力 机制的白细胞细粒度分类方法， 其特征在于： 所述 的获取白细胞图像作为基础数据集， 并且分为训练集和测试集， 其具体操作如下： 进 行白细 胞图像数据集得采样， 该 数据集按照类别以8： 2的比例划分训练集和 测试集。 3.根据权利要求1所述的基于注意力 机制的白细胞细粒度分类方法， 其特征在于： 所述 的评价指标采用的准确率， 精确率， 召回率和F1分数； 在介绍评价指标之前， 先介绍 混淆矩 阵： ·TP： 被模型 预测为正类的正样本 ·TN： 被模型 预测为负类的负 样本 ·FP： 被模型 预测为正类的负 样本 ·FN： 被模型 预测为负类的正样本 准确率Ac curacy： 预测正确的结果占总样本的占比， 公式如下 精确率Precision： 其含义是在被所有预测为正的样本中实际为正样本的概率； 公式如 下： 召回率Recal l： 其含义 为实际为 正的样本中被预测为 正样本的概 率； 公式如下： F1分数： 为了平衡精确率和召回率， 引入了F1分数； 公式如下： 由于是多分类问题， 因此精确率和召回率的计算方式进行改变， 首先计算各个类别的 精确率和召回率， 随后按照权 重进行相加， 计算平均的精确率和召回率。权　利　要　求　书 2/2 页 3 CN 115439683 A 3