(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211078519.2 (22)申请日 2022.09.05 (71)申请人 湖南大学 地址 410082 湖南省长 沙市岳麓区麓山 南 路麓山门 申请人 中国烟草总公司郑州烟草研究院 (72)发明人 陈华　彭婷　李嘉康　张小刚　 张雷　堵劲松　 (74)专利代理 机构 长沙新裕知识产权代理有限 公司 43210 专利代理师 颜田庆 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/44(2022.01)G06V 10/42(2022.01) G06V 10/80(2022.01) (54)发明名称 一种结合CNN和Transformer的烤烟烟叶图 像分级方法 (57)摘要 一种结合CNN和Transformer的烤烟烟叶图 像分级方法， 先拍照采集烤烟烟叶图像 建立烤烟 烟叶数据集； 接着将烤烟烟叶数据集进行预处 理； 然后将经过预处理后的烤烟烟叶数据集输入 至烤烟烟叶图像 分类模型中进行分类训练， 由定 位模块得到烟叶图像的目标位置、 关键局部区 域， 由定位模块计算原始损失， 根据该原始损失 对烤烟烟叶图像 分类模型参数进行更新， 再然后 由分类模块根据关键局部区域得到分类结果， 由 分类模块计算分类损失， 根据该分类损失对烤烟 烟叶图像分类模 型参数进行再次更新， 得到优化 后的烤烟烟叶图像分类模型； 最后， 将待分类的 烤烟烟叶图像输入至已训练好的烤烟烟叶图像 分类模型中， 输出烟叶的分类结果。 本发 明可靠、 有效， 分类效果 好。 权利要求书2页 说明书6页 附图2页 CN 115439690 A 2022.12.06 CN 115439690 A 1.一种结合CN N和Transformer的烤烟 烟叶图像分级方法， 其特 征在于， 包括以下步骤： 步骤S1， 实地拍照采集烤烟 烟叶图像， 建立烤烟 烟叶数据集； 步骤S2， 将烤烟 烟叶数据集进行 预处理； 步骤S3， 构建包括基于CNN 的定位模块以及基于CNN和Transformer的分类模块的烤烟 烟叶图像分类模型； 步骤S4， 将经过预处理后的烤烟烟叶数据集输入至烤烟烟叶图像分类模型中进行分类 训练， 训练时， 所述烤烟烟叶数据集中的烟叶图像先经过定位模块的定位处理得到目标位 置， 进而确定烟叶图像的关键局部区域， 并由定位模块计算烟叶图像的原始损失， 再根据该 原始损失将梯度反向传播进行烤烟烟叶图像分类模型参数的更新， 接着将关键局部区域经 过分类模块的处理得到分类结果， 并由分类模块计算关键局部区域的分类损失， 且根据该 分类损失将梯度反向传播进行烤烟烟叶图像分类模型参数的再次更新， 从而得到优化后的 烤烟烟叶图像分类模型； 步骤S5， 将待分类的烤烟烟叶图像输入至已优化训练好的烤烟烟叶图像分类模型中， 输出烟叶的分类结果。 2.根据权利要求1所述的结合CNN和Transformer的烤烟烟叶图像分级方法， 其特征在 于： 在步骤S2中， 将烤烟烟叶数据集进行预处理时， 先将烟叶图像随机反转， 再裁切为 224x224大小。 3.根据权利要求2所述的结合CNN和Transformer的烤烟烟叶图像分级方法， 其特征在 于： 在步骤S4中， 所述定位模块将烤烟烟叶数据集中的烟叶图像经过如下定位处理得到烟 叶图像的目标位置： 所述定位模块先通过其CNN对烤烟烟叶数据集中的烟叶图像进行特征提取， 得到特征 图， 再聚合 通道维度上的特 征图， 得到一个激活图F， 如下表达式(1)： 其中， fi为第i个通道的特 征图， C为图像通道数； 然后根据激活图F求得平均值 如下表达式(2)： 其中， W为 图像宽度， H为 图像高度， x、 y分别为特征图上某一位置的横坐标值和纵坐标 值； 接着将该平均值 作为阈值 来判断激活图F中每 个位置的元 素是否属于目标物体； 最后根据如下表达式(3)得到一个粗糙的掩模图 掩模图中包含最大连接区域的 最小边框即为烟叶 图像的目标位置； 4.根据权利要求3所述的结合CNN和Transformer的烤烟烟叶图像分级方法， 其特征在 于： 步骤S4中， 在得到烟叶图像的目标位置后， 先根据目标位置的坐标确定烟叶图像的关键 局部区域， 再利用采样函数将关键局部区域的图像裁切到指定大小。权　利　要　求　书 1/2 页 2 CN 115439690 A 25.根据权利要求4所述的结合CNN和Transformer的烤烟烟叶图像分级方法， 其特征在 于： 所述分类模块的CN N采用efficient net网络。 6.根据权利要求5所述的结合CNN和Transformer的烤烟烟叶图像分级方法， 其特征在 于： 步骤S4中， 所述分类模块将关键局部区域依次经过efficient  net网络、 Transformer的 处理得到烟叶的分类结果， 其中： efficient net网络： 对 采样到指定大小的关键局部区域的图像进行 特征提取； Transformer： 先通过Patch  Embedding的一个普通卷积对efficient  net网络得到的 特征图进行升维， 再经过flatten将 升维后的特征图转换为二 维数据， 接着拼接上可训练参 数class token， 同时再拼接上位置信息Position  Embedding， 最后经过多个堆叠的 Transformer  Encoder之后， 利用MLP  head对clas s token进行提取， 得到烟叶的分类结果。 7.根据权利要求6所述的结合CNN和Transformer的烤烟烟叶图像分级方法， 其特征在 于： 所述Transformer  Encoder的数量为六个， 所述Transformer  Encoder包括前馈神经网 络FFN和多头自注意力层MSA。 8.根据权利要求7所述的结合CNN和Transformer的烤烟烟叶图像分级方法， 其特征在 于： 步骤S4中， 所述分类模块计算的分类损失包括由efficient  net网络计算的损失以及由 Transformer计算的损失， 所述定位模块计算原始损失、 efficient  net网络计算损失以及 Transformer计算损失时均采用交叉熵损失函数， 所述交叉熵损失函数如下表达式(4)： 其中， x为烟叶分类的预测值， clas s为烟叶分类的真实值， j为烟叶类别数目。 9.根据权利要求8所述的结合CNN和Transformer的烤烟烟叶图像分级方法， 其特征在 于： 步骤S4中， 将经过预处理后的烤烟烟叶数据集输入至烤烟烟叶图像分类模型中进行分 类训练的次数为20 0轮。 10.根据权利 要求9所述的结合CNN和Transformer的烤烟烟叶图像分级方法， 其特征在 于： 步骤S4中， 根据 原始损失将梯度反向传播进 行烤烟烟叶图像 分类模型参数更新时， 以及 根据分类损失将梯度反向传播进行烤烟烟叶图像分类模型参数再次更新时， 均采用SGD优 化算法。权　利　要　求　书 2/2 页 3 CN 115439690 A 3