(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221041597 7.4 (22)申请日 2022.04.20 (71)申请人 西北工业大 学 地址 710072 陕西省西安市友谊西路127号 (72)发明人 张秀伟　张艳宁　赵梓旭　尹翰林　 邢颖慧　王康威　刘启兴　 (74)专利代理 机构 西安凯多 思知识产权代理事 务所(普通 合伙) 61290 专利代理师 赵革革 (51)Int.Cl. G06V 10/26(2022.01) G06V 20/17(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) (54)发明名称 一种黄河冰凌无人机航拍图像实时语义分 割方法 (57)摘要 本发明公开了一种基黄河冰凌无人机航拍 图像实时语义分割方法， 根据收集的无人机航拍 冰凌图像构造黄河冰凌语义分割数据集， 数据集 包含黄河无人机航拍冰凌图像以及标签数据； 再 利用构建的黄河冰凌语义分割数据集对分割网 络FastICENet进行训练， 得到最终的语义 分割模 型。 即使图像中冰凌大小形态各异， 本发明的检 测结果依然精确； 本发明的语义 分割网络在精度 与其他网络相近时， 分割速度远胜于其他语义分 割网络。 权利要求书3页 说明书7页 附图1页 CN 114943835 A 2022.08.26 CN 114943835 A 1.一种基黄河冰凌无 人机航拍图像实时语义分割方法， 其特 征在于， 包括如下步骤： 步骤1： 根据收集的无人机航拍冰凌图像构造黄河冰凌语义分割数据集， 所述数据集包 含黄河无 人机航拍冰凌图像以及标签数据； 将数据集划分为训练集、 验证集和 测试集； 步骤2： 构建语义分割模型 FastICENet； 所述语义分割模型FastICENet包括浅层细节分支、 深层语义分支和融合上采样模块； 所述浅层细节分支用于提取冰 凌图像的低层次细节信息， 深层语义分支用于提取冰凌图像 深层语义信息， 最后通过融合上采样模块将深层语义分支和浅层细节分支融合并上采样， 得到与原 始图像大小相同的语义分割结果； 步骤2‑1： 所述浅层细节分支具体为： 将大小为h ×w的输入图像， h和w分别为图像高度 和宽度， 依次通过卷积模块一、 卷积模块二和卷积模块二， 经过三个卷积模块之后， 特征图 的分辨率为h/8×w/8； 步骤2‑2： 所述深层语义分支具体为： 步骤2‑2‑1： 将大小为h ×w的输入图像依次通过下采样模块一、 下采样模块二和下采样 模块三， 经过三个下采样模块之后， 得到特 征图， 分辨 率为h/8×w/8； 步骤2‑2‑2： 将步骤2 ‑2‑1得到的特征图输入基于幻影特征图的密集连接模块一， 输出 的特征图分辨 率仍为h/8×w/8； 步骤2‑2‑3： 将步骤2 ‑2‑2得到的特征图输入到下采样模块四， 输出的特征图的分辨率 为h/16×w/16； 步骤2‑2‑4： 将步骤2 ‑2‑3得到的特征图输入基于幻影特征图的密集连接模块二， 输出 的特征图分别输入到注意力细化模块一和平均池化模块； 再将注意力细化模块一的输出和 平均池化模块的输出 结果按通道堆叠， 得到的特 征图作为 步骤2‑2‑4的输出； 步骤2‑2‑5： 将步骤2 ‑2‑4中得到的特征图通过上采样模块一， 输出的特征图大小为h/8 ×w/8； 步骤2‑2‑6： 将步骤2 ‑2‑2和步骤2 ‑2‑5的输出联合输入到注意力模块二中， 输出特征图 的分辨率为h/8×w/8； 步骤2‑3： 融合上采样模块具体为： 将浅层细节分支和 深层语义分支的输出联合输入特 征融合模块， 输出特征图大小为h/8 ×w/8； 将特征融合模块的输出经过上采样模块二恢复 到原来的大小h ×w， 预测分割结果； 步骤3： 利用训练集和验证集， 训练语义分割模型FastICENet， 得到最终的语义分割模 型， 再通过测试集测试最终的语义分割模型的性能。 2.根据权利要求1所述的一种基黄河冰凌无人机航拍图像实时语义分割方法， 其特征 在于， 所述 步骤1具体为： 步骤1‑1： 收集多时段多地 域的无人机航拍黄河冰凌图像； 步骤1‑2： 将收集的图像裁剪成1600 ×640大小的图像， 每张图像通过人工逐像素标记 出三个分类标签： 冰、 水和河岸； 步骤1‑3： 通过步骤1 ‑2得到黄河冰凌图像及其分类标签， 并按3： 1： 1的比例划分为训练 集、 验证集和 测试集。 3.根据权利要求1所述的一种基黄河冰凌无人机航拍图像实时语义分割方法， 其特征 在于， 所述卷积模块一的卷积核大小7 ×7， 步长为2， 填充大小为3； 卷积核之后连接批处理权　利　要　求　书 1/3 页 2 CN 114943835 A 2正则化以及ReLU的组合； 卷积模块二和卷积模块三的卷积核大小3 ×3， 步长为2， 填充大小 为1， 后面连接 批处理正则化以及ReLU的组合。 4.根据权利要求1所述的一种基黄河冰凌无人机航拍图像实时语义分割方法， 其特征 在于， 所述下采样模块 一、 下采样模块 二、 下采样模块 三和下采样模块四均采用如下 结构： 假设下采样模块中特征图的输入通道数、 输出通道数和卷积层输出通道数分别为Win、 Wout和Wco nv； 在下采样模块中， 当Wout＞Win时， 输入特征图首先并行经过卷积核大小为3 ×3的卷积 层和2×2最大池化层， 卷积层和最大池化层两层的步长均为2， 卷积层输出特征图的通道数 Wconv＝Wout ‑Win， 最大池化层的输出特征图的通道数为Win； 然后， 卷积层和最大池化层的 输出被通道堆叠、 批处 理正则化， 并由Relu激活， 实现特 征图的2倍下采样； 在下采样模块 中， 当Wout＜Win时， 输入特征图仅经过卷积核大小为3 ×3， 步长为2的卷 积层， 然后进行批处 理正则化和Relu激活， 通过 卷积的方式实现特 征图的2倍下采样； 其中下采样模块一的输入特征图通道数为3， 输出特征图的通道数为15； 下采样模块二 的输入特征图通道数为15， 输出特征图的通道数为30； 下采样模块三的输入特征图通道数 为30， 输出特征图的通道数为60； 下采样模块四的输入特征图通道数为160， 输出特征图的 通道数为16 0。 5.根据权利要求1所述的一种基黄河冰凌无人机航拍图像实时语义分割方法， 其特征 在于， 所述基于幻影特征图的密集连接模块一和基于幻影特征图的密集连接模块二的结构 相同， 定义如下： 定义幻影模块： 使用以下公式一次卷积生成m个原 始特征图Y′∈Rh′ ×w′ ×m: Y′＝X*f′ 其中， Y′是卷积层输出的特征图， X是卷积层的输入， *是卷积操作， f ′∈Rc×k×k×m是使用 的卷积核， m≤n， n 为网络模型中实际需要的特 征图的层数； 对Y′中的每个原始特征图应用一系列线性 运算， 以生成s个幻影特 征图： 其中y′i是Y′中第i个原始特征图， Φi,j是第j个线性运算， 用于生成第j个幻影特征图 yij； 通过使用线性操作， 获得n＝m ·s个特征图Y＝[y11,y12,...,yij,...,yms]作为幻影模块 的输出数据； 最后将原始特征图和幻影特征图进行通道叠加， 叠加结果作为幻影模块的输 出； 将多个幻影模块使用密集连接模式， 即每一个幻影模块的输入是第 一个初密集连接模 块输入特 征图和之前 所有幻影模块的输出的特 征图的通道叠加； 基于幻影特征图的密集连接模块一输入特征图通道数为60， 输出特征图通道数为160， 使用了5个幻影模块进行密集连接； 基于幻影特征图的密集连接模块二输入特征图通道数为160， 输出特征图通道数为 320， 使用了8个幻影模块进行密集连接； 上述13个幻影模块， 每一个均是通过卷积层增加 10个通道， 通过线性操作增加 10个通 道， 因此每 个幻影模块的输出通道数相对其输入均增 加20个通道。 6.根据权利要求1所述的一种基黄河冰凌无人机航拍图像实时语义分割方法， 其特征权　利　要　求　书 2/3 页 3 CN 114943835 A 3