(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210403647.3 (22)申请日 2022.04.18 (71)申请人 中汽创智科技有限公司 地址 211100 江苏省南京市江宁区秣陵街 道胜利路8 8号 (72)发明人 陈芝琳　王云田　郁健峰　朱元豪　 周伟　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 黄盼 (51)Int.Cl. G06V 20/58(2022.01) G06V 10/764(2022.01) G06V 10/74(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种小样本图像分类方法、 装置、 设备及介 质 (57)摘要 本申请提供一种小样本图像分类方法， 包 括:获取支持图像集和查询图像集； 支持图像集 包括若干个分类标签， 每个分类标签对应若干张 支持图像， 支持图像的数量小于预设数量阈值， 查询图像集包括若干张待分类的查询图像； 将每 个分类标签对应的若干张支持图像和查询图像 分别输入卷积神经网络， 进行逐层特征遍历提取 和跨层特征遍历提取， 得到每个分类标签对应的 若干张支持图像的第一原型特征和查询图像的 第二原型特征； 根据每个分类标签对应的若干张 支持图像的第一原型特征， 确定每个 分类标签的 第三原型特征； 基于第二原型特征和第三原型特 征之间的相似度， 从若干个分类标签中确定查询 图像所属的目标标签。 避免因样 本特征数据少导 致的训练过拟合的问题。 权利要求书3页 说明书11页 附图5页 CN 114758320 A 2022.07.15 CN 114758320 A 1.一种小样本图像分类方法， 其特 征在于， 所述方法包括: 获取支持图像集和查询图像集； 所述支持图像集包括若干个分类标签， 每个所述分类 标签对应若干张支持图像， 所述支持 图像的数量小于预设数量阈值， 所述查询图像集包括 若干张待分类的查询图像； 将每个所述分类标签对应的若干张支持图像和所述查询图像分别输入卷积神经网络， 进行逐层特征遍历提取和跨层特征遍历提取， 得到每个所述分类标签对应的若干张支持图 像的第一原型 特征和所述 查询图像的第二原型 特征； 根据每个所述分类标签对应的若干张支持图像的第 一原型特征， 确定每个所述分类标 签的第三原型 特征； 基于所述第 二原型特征和所述第 三原型特征之间的相似度， 从所述若干个分类标签中 确定所述 查询图像所属的目标 标签。 2.根据权利要求1所述的小样本图像分类方法， 其特征在于， 所述跨层特征遍历提取包 括奇数层特 征遍历提取和偶数层特 征遍历提取； 所述将每个所述分类标签对应的若干张支持图像和所述查询图像分别输入卷积神经 网络， 进行逐层特征遍历提取和跨层特征遍历提取， 得到每个所述分类标签对应的若干张 支持图像的第一原型 特征和所述 查询图像的第二原型 特征， 包括： 将每个所述分类标签对应的若干张支持图像和所述查询图像分别输入卷积神经网络， 进行逐层特征遍历提取、 奇数层特征遍历提取和偶数层特征遍历提取， 得到每个所述分类 标签对应的若干张支持图像的第一原型 特征和所述 查询图像的第二原型 特征。 3.根据权利要求2所述的小样本图像分类方法， 其特征在于， 所述将每个所述分类标签 对应的若干张支持 图像和所述查询图像分别输入卷积神经网络， 进行逐层特征遍历提取、 奇数层特征遍历提取和 偶数层特征遍历提取， 得到每个所述分类标签对应的若干张支持图 像的第一原型 特征和所述 查询图像的第二原型 特征， 包括： 将每个所述分类标签对应的若干张支持图像输入卷积神经网络， 进行逐层特征遍历提 取、 奇数层特征遍历提取和偶数层特征遍历提取， 得到每个所述分类标签对应的若干张支 持图像的第一逐层特 征提取结果、 第一奇数层特 征提取结果和第一偶数层特 征提取结果； 将所述查询图像输入卷积神经网络， 进行逐层特征遍历提取、 奇数层特征遍历提取和 偶数层特征遍历提取， 得到所述查询图像的第二逐层特征提取结果、 第二奇数层特征提取 结果和第二偶数层特 征提取结果； 基于所述第 一逐层特征提取结果、 所述第 一奇数层特征提取结果和所述第 一偶数层特 征提取结果， 融合得到每 个所述分类标签对应的若干张支持图像的第一特 征融合结果； 基于所述第 二逐层特征提取结果、 所述第 二奇数层特征提取结果和所述第 二偶数层特 征提取结果， 融合得到所述 查询图像的第二特 征融合结果； 将所述第一特征融合结果作为第 一原型特征； 将所述第 二特征融合结果作为第 二原型 特征。 4.根据权利要求1所述的小样本图像分类方法， 其特 征在于， 所述方法还 包括： 获取样本支持图像集和样本查询图像集， 所述样本支持图像集包括若干个样本支持分 类标签， 每个所述样本分类标签对应若干张样本支持图像， 所述样本查询图像集包括若干 张样本查询图像， 所述样本查询图像标注有样本查询分类标签；权　利　要　求　书 1/3 页 2 CN 114758320 A 2将每个所述样本分类标签对应的若干张样本支持图像和所述样本查询图像分别输入 预设卷积神经网络， 进行逐层特征遍历提取和 跨层特征遍历提取， 得到每个所述样本分类 标签对应的若干张样本支持 图像的第一样本原型特征和所述样本查询图像的第二样本原 型特征； 根据每个所述样本分类标签对应的若干张样本支持图像的第 一样本原型特征， 确定每 个所述样本分类标签的第三样本原型 特征； 计算所述第 二样本原型特征和所述样本查询分类标签之间的第 一相似度； 计算所述第 三样本原型 特征特征和所述样本支持标签特 征之间的第二相似度； 根据所述第一相似度与所述第二相似度， 确定损失信息； 根据所述损失信息， 对所述预设卷积神经网络进行训练， 得到所述卷积神经网络 。 5.根据权利要求1所述的小样本图像分类方法， 其特征在于， 所述获取支持图像集和查 询图像集， 包括： 获取交通标志图像； 对所述交通标志图像进行 数据增强， 得到增强后的交通标志图像； 从所述增强后的交通标志图像中获取 所述支持图像集和所述 查询图像集。 6.根据权利要求1所述的小样本图像分类方法， 其特征在于， 所述基于所述第 二原型特 征和所述第三原型特征之 间的相似度， 从所述若干个分类标签中确定所述查询图像所属的 目标标签， 包括： 计算所述第二原型 特征和所述第三原型 特征之间的欧氏距离； 根据所述欧式距离， 确定所述相似度； 基于所述相似度从所述若干个分类标签中确定所述 查询图像所属的目标 标签。 7.根据权利要求5所述的小样本图像分类方法， 其特征在于， 所述对所述交通标志图像 进行数据增强， 包括： 采用仿射变换、 色度变换和噪声添加中的至少一种方式， 对所述交通标志图像进行数 据增强。 8.一种小样本图像分类装置， 其特 征在于， 所述装置包括： 分类模块， 用于获取支持图像集和查询图像集； 所述支持图像集包括若干个分类标签， 每个所述分类标签对应若干张支持图像， 所述支持 图像的数量小于预设数量阈值， 所述查 询图像集包括若干张待分类的查询图像； 图像特征提取模块， 用于将每个所述分类标签对应的若干张支持图像和所述查询图像 分别输入卷积神经网络， 进行逐层特征遍历提取和跨层特征遍历提取， 得到每个所述分类 标签对应的若干张支持图像的第一原型 特征和所述 查询图像的第二原型 特征； 标签特征提取模块， 根据每个所述分类标签对应的若干张支持图像的第一原型特征， 确定每个所述分类标签的第三原型 特征； 目标标签确定模块， 用于基于所述第二原型特征和所述第三原型特征之间的相似度， 从所述若干个分类标签中确定所述 查询图像所属的目标 标签。 9.根据权利要求8所述的小样本图像分类装置， 其特 征在于， 所述装置还 包括： 获取模块， 用于获取交通标志图像； 数据增强模块， 用于对所述交通标志图像进行 数据增强， 得到增强后的交通标志图像。权　利　要　求　书 2/3 页 3 CN 114758320 A 3