(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210129374.8 (22)申请日 2022.02.11 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 王伟凝　郭沛榕　骆美鸽　尉岩　 石红霞　谭燕　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 李君 (51)Int.Cl. G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/764(2022.01)G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/26(2022.01) (54)发明名称 骨髓细胞分类方法、 系统、 计算机设备及存 储介质 (57)摘要 本发明公开了一种骨髓细胞分类方法、 系 统、 计算机设备及存储介质， 所述方法包括： 获取 第一数据集和第二数据集； 构建骨髓细胞细粒度 分类网络； 获取多张原始骨髓细胞显微图像； 将 每张原始骨髓细胞显微图像输入训练好的骨髓 细胞检测网络中进行预测， 输出得到每张原始骨 髓细胞显微图像中细胞边界框的预测标注； 根据 细胞边界框的预测结果对原始骨髓细胞显微图 像进行分割， 使每张图像中仅含一个完整的骨髓 细胞； 将分割后的图像输入骨髓细胞细粒度分类 网络中进行分类， 输出得到骨髓细胞的分类结 果。 本发明通过对深度网络中多层特征的学习， 同时引入知识蒸馏机制， 将融合信息引入到单层 次的特征分类器中， 提高了骨髓细胞的分类精 度。 权利要求书3页 说明书10页 附图4页 CN 114580501 A 2022.06.03 CN 114580501 A 1.一种骨髓细胞分类方法， 其特 征在于， 所述方法包括： 获取第一数据集和第二数据集； 构建基于特 征融合的多层次特 征学习网络； 选择YOLOX网络作为骨髓细胞检测网络， 利用第一数据集对骨髓细胞检测网络进行训 练， 得到训练好的骨髓细胞检测网络； 利用第二数据集对多层次特征学习网络进行训练， 将训练好的多层次特征学习网络作 为骨髓细胞细粒度分类网络； 获取多张原 始骨髓细胞显微图像； 将每张原始骨髓细胞显微图像输入训练好的骨髓细胞检测网络中进行预测， 输出得到 每张原始骨髓细胞显微图像中细胞边界框的预测标注； 根据细胞边界框的预测结果对原始骨髓细胞显微图像进行分割， 使每张图像中仅含一 个完整的骨髓细胞； 将分割后的图像输入骨髓细胞细粒度分类网络 中进行分类， 输出得到骨髓细胞的分类 结果。 2.根据权利要求1所述的骨髓细胞分类方法， 其特征在于， 所述多层次特征学习网络包 括主干网络结构、 多层次特 征学习分支、 融合知识蒸馏分支以及通道互补信息挖掘模块； 所述主干 网络结构采用了去除全局池化层与全连接层的ResNet50结构， 共有五个卷积 层组； 所述多层次特 征学习分支包括 三个特征学习模块、 三个特 征分类器和最大k池化层； 所述融合知识蒸馏分支用于指导单个层次的特 征分类器进行融合信息获取； 所述通道互补信息挖掘模块， 用于对特征通道间的关系进行建模， 从而挖掘特征中的 通道互补信息 。 3.根据权利要求2所述的骨髓细胞分类方法， 其特征在于， 所述融合知识蒸馏分支用于 指导单个层次的特 征分类器进行融合信息获取， 具体如下： 对多层次特 征学习分支中得到的三个第一特 征向量进行聚合， 得到第二特 征向量； 利用第二特 征向量训练一个融合特 征分类器， 得到一个预测概 率分布； 利用KL散度损失对所述预测概率分布进行训练， 进而使得单个层次的特征分类器获得 融合特征知识； 所述KL散度损失的具体公式如下： 4.根据权利要求2所述的骨髓细胞分类方法， 其特征在于， 所述挖掘特征中的通道互补 信息， 具体公式如下： Mrel＝softmax( ‑XFlatXFlatT) Xenh＝Xori+f(XFlat·Mrel) 其中， X∈Rc×h×w表示输入特征图大小， c， h， w表示特征通道数、 特征图的高度和特征 图 的宽度； XFlat∈Rc×l表示经空间维度展开后输入特征图的矩阵形式， l＝h ×w； Mrel表示通道 关系矩阵。 5.根据权利要求1所述的骨髓细胞分类方法， 其特征在于， 所述利用第 二数据集对多层权　利　要　求　书 1/3 页 2 CN 114580501 A 2次特征学习网络进行训练， 将训练好的多层次特征学习网络作为骨髓细胞细粒度分类网 络， 具体包括： 将第二数据集输入骨髓细胞检测网络， 得到第二训练集， 并对第二训练集进行 预处理； 将预训练参数导入主干网络， 对具有特征融合的多层次特征学习网络进行初始化处 理， 并设置对应网络参数以及训练参数； 将预处理完成的第 二训练集输入多层次特征学习网络， 使用交叉熵损失函数进行损失 计算， 以及使用KL散度损失函数进行蒸馏； 采用随机梯度下降法， 更新网络参数， 使损失逐渐减小至收敛， 从而得到训练好的多层 次特征学习网络， 将训练好的多层次特 征学习网络作为骨髓细胞细粒度分类网络 。 6.根据权利要求1所述的骨髓细胞分类方法， 其特征在于， 所述选择YOLOX网络作为骨 髓细胞检测网络， 利用第一数据集对骨髓细胞检测网络进行训练， 得到训练好的骨髓细胞 检测网络， 具体包括： 对第一数据集进行 数据增强处 理； 对完成数据增强的第一数据集进行划分， 得到第一训练集和第一验证集； 选择YOLOX网络作为骨髓细胞检测网络， 利用第一训练集对骨髓细胞检测网络进行训 练， 训练过程中使用检测框位置损失函数以及类别损失函数； 采用余弦退火学习率衰减策略， 对骨髓细胞检测网络进行迭代优化， 迭代过程中使用 第一验证集数据进行验证， 得到训练好的骨髓细胞检测网络 。 7.根据权利要求6所述的骨髓细胞分类方法， 其特征在于， 所述检测框位置损失函数的 具体公式如下： 其中， GIoU表示检测框位置损失函数； 所述类别损失函数的具体公式如下： BCE＝‑wi[yilogxi+(1‑yi)log(1‑xi)] 其中， BCE表示类别损失函数。 8.一种骨髓细胞分类系统， 其特 征在于， 所述系统包括： 第一获取 单元， 用于获取第一数据集和第二数据集； 构建单元， 用于构建基于特 征融合的多层次特 征学习网络； 第一训练单元， 用于选择YOLOX网络作为骨髓细胞检测网络， 利用第一数据集对骨髓细 胞检测网络进行训练， 得到训练好的骨髓细胞检测网络； 第二训练单元， 用于利用第二数据集对多层次特征学习 网络进行训练， 将训练好的多 层次特征学习网络作为骨髓细胞细粒度分类网络； 第二获取 单元， 用于获取多张原 始骨髓细胞显微图像； 预测单元， 用于将每张原始骨髓细胞显微图像输入训练好的骨髓细胞检测网络 中进行 预测， 输出 得到每张原 始骨髓细胞显微图像中细胞边界框的预测标注； 分割单元， 用于根据细胞边界框的预测结果对原始骨髓细胞显微图像进行分割， 使每 张图像中仅含一个完整的骨髓细胞； 分类单元， 用于将分割后的图像输入骨髓细胞细粒度分类网络中进行分类， 输出得到权　利　要　求　书 2/3 页 3 CN 114580501 A 3