(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210310895.3 (22)申请日 2022.03.28 (71)申请人 南京邮电大 学 地址 210003 江苏省南京市 鼓楼区新模范 马路66号 (72)发明人 范保杰　蔡达　丛杨　徐丰羽　 (74)专利代理 机构 南京正联知识产权代理有限 公司 32243 专利代理师 张玉红 (51)Int.Cl. G06V 10/56(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 3/40(2006.01)G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06V 20/05(2022.01) (54)发明名称 一种基于空间特征自监督的水下目标检测 方法 (57)摘要 本发明是一种基于空间特征自监督的水下 目标检测方法， 包括如下步骤： 步骤1： 采集数据， 构建检测任务所需的数据集； 步骤2： 行数据增 强， 扩充原有数据并进行手工标注； 步骤3： 搭建 自监督对比学习网络， 使用空间注 意力和通道归 一化使得主干网络适应水下目标检测任务； 步骤 4： 构建水下目标检测网络框架； 步骤5： 训练水下 目标检测网络， 得到针对海产品的水下目标检测 的网络的权重模型； 步骤6： 根据权重模型， 对已 划分的验证集进行结果预测来评估实际应用中 的检测效果。 发 明能够有效地针对 水下生物的特 点进行对象识别定位； 通过自监督学习， 使得网 络能适应特定的水下场景； 本发 明提出的方法可 以完美地适应水下检测任务。 权利要求书3页 说明书8页 附图2页 CN 114663683 A 2022.06.24 CN 114663683 A 1.一种基于空间特征自监督的水下目标检测方法， 其特征在于： 所述水下目标检测方 法包括如下步骤： 步骤1： 采集数据， 通过光学相机获取水下照片， 包含所需检测的海产品， 构建检测任务 所需的数据集； 步骤2： 数据扩充， 对步骤1获取的水下光学数据进行数据增强， 扩充原有数据并进行手 工标注， 使得训练集占80％， 验证集占剩余的20％； 步骤3： 搭建自监督对比学习网络， 使用空间注意力和通道归一化使得主干网络适应水 下目标检测任务； 步骤4： 构建水下目标检测网络框架， 所述水下目标检测网络框架包括特征提取主干网 络、 特征金字塔网络和基于特 征解耦的特 征选择检测头； 步骤5： 训练水下目标检测网络， 将采集的样本数据通过旋转、 裁剪、 缩放输入搭建好的 网络， 得到针对 海产品的水 下目标检测的网络的权 重模型； 步骤6： 根据步骤5训练得到的权重模型， 对已划分的验证集进行结果预测来评估实际 应用中的检测效果。 2.根据权利要求1所述一种基于空间特征自监督的水下目标检测方法， 其特征在于： 步 骤4中特征金字塔网络包含不同分辨率大小的5个层级， 前三个层级P1、 P2、 P3由特征提取网 络的后三层得到， P4、 P5在P3的基础上分别做了一次和两次的下采样。 3.根据权利要求2所述一种基于空间特征自监督的水下目标检测方法， 其特征在于： 步 骤4中特征金字塔网络中5个层级的输出步骤为： 步骤4‑1： 对5个层级设置学习参数， 通过双线性插值实现不同层之间的融合， 最终实现 自适应的加权融合， 特 征金字塔层的处 理表示为以下公式： OUTi＝F(Wi1*P1+Wi2*P2+Wi3*P3+Wi4*P4+Wi5*P5) 其中(wi1,wi2,wi3,wi4,wi5)表示不同层级间的可学习权重， (P1,P2,P3,P4,P5)表示五个层 级不同分辨 率的特征图， F表示使用3DMaxPo oling； 步骤4‑2： 在加权融合后引入3DMaxPooling进行特征冗余抑制， 3DMaxPooling首先将输 入特征图经过一个3 ×3卷积核， 然后经过插值获得相邻层级之间相同大小的特征图， 通过 3Dmaxpool挖掘潜在的空间特征关系， 去除冗余的特征， 特征冗余抑制的过程表示为以下公 式： ys＝max{xs,k＝Bilinear(xk)} 其中， s代表当前层的特征图， k表示相邻层级的特征图， y表示最终输出， Bilinear表示 插值方式； 步骤4‑3： 最后将输入特 征图与3Dmaxpo ol相加得到的结果送入GN ‑RELU层。 4.根据权利要求1所述一种基于空间特征自监督的水下目标检测方法， 其特征在于： 步 骤4中所述特征选择检测头包括分类分支、 回归分支和中心度分支， 所述分类分支 通过采样 选择网格中间部分作为正样本， 所述回归分支采用边界提取模块提取边界特征以进行更加 精确的边界定位， 所述中心度分支用来计算样本偏离中心的程度， 其 值在0到1之间。 5.根据权利要求4所述一种基于空间特征自监督的水下目标检测方法， 其特征在于： 所 述分类分支通过采样选择网络中间部分作为 正样本的选择 过程表示 为以下公式： x′1＝c′x‑0.5w ε权　利　要　求　书 1/3 页 2 CN 114663683 A 2y′1＝c'y‑0.5h ε x′2＝c′x+0.5w ε y'2＝c'y+0.5h ε 其中ε是缩放系数， 默认值为0.3， c'x,c'y是中心坐标， w和h分别为真实框的宽和高， [x′1,y′1,x'2,y'2]为特征提取后， 特征图中对象的真实位置， 它经过了不同倍数的下采样， 由真实框除以2l得到， l为下采样倍数。 6.根据权利要求4所述一种基于空间特征自监督的水下目标检测方法， 其特征在于： 所 述回归分支的边界定位具体为： 回归分支采用两次回归级联的方式， 使用第一次的回归结 果， 计算回归框四个边界上的最大值点， 通过插值找到原图中像素位置， 使用该像素进行回 归任务， 最终 获得更加精细的对象定位。 7.根据权利要求1所述一种基于空间特征自监督的水下目标检测方法， 其特征在于： 所 述步骤3中自监 督对比学习网络包 含在线分支和目标分支， 所述在线分支的特征编码器由ResNet50构成， 所述在线分支包括特征编码器、 空间特 征注意力、 通道归一化结构和两个线性投影层， 所述特征编码器在最前面， 所述空间特征注 意力以所述特征编 码器的输出为输入， 通道归一化结构又以所述空间特征注意力的输出作 为输入， 最后将输出的特 征经过两个线性投影层进行编码； 所述目标分支的特征编码器由ResNet50构成， 所述目标分支包括特征编码器和一个线 性投影层， 所述特 征编码器的输出直接送入线性投影层。 8.根据权利要求1所述一种基于空间特征自监督的水下目标检测方法， 其特征在于： 所 述步骤2中对数据进行增强的方法主 要包括颜色颜色恢复和光照变化。 9.根据权利要求8所述一种基于空间特征自监督的水下目标检测方法， 其特征在于： 所 述颜色恢复采用白平衡方式， 具体包括如下步骤： 步骤2‑1： 在采集完包含水下生物的图片后， 将预先设置的比色卡置于水中， 用相机拍 摄带有标准比色卡的水 下场景图片， 步骤2‑2： 使用op encv将带有标准比色卡的水下图片离散化为红、 绿、 蓝三个通道， 提取 比色卡中为红、 绿、 蓝颜色的位置 步骤2‑3： 根据红、 绿、 蓝颜色的位置获取像素值， 通过与标准色彩的离散值进行对比， 计算出实际补偿值， 补偿值v的计算如下： vred＝cred‑c′red vgreen＝cgreen‑c′green vblue＝cblue‑c′blue 其中v有三个值， 分别 对应红、 绿、 蓝三个颜色通道， c'表示标准比色卡离散化后的像素 值， c表示所提取颜色离 散化后的像素值； 步骤2‑4： 将所有采集的数据图像的三个颜色通道与对应的补偿值相加， 得到最终的增 强图片。 10.根据权利要求1所述一种基于空间特征自监督的水下目标检测方法， 其特征在于： 所述步骤5训练水下目标检测网络的训练过程是： 将步骤2中增强过的水下图片 输入到检测 网络， 使用SGD作为优化方法， 在前500次迭代采样线性warm  up策略， 逐渐增加学习率至 0.005， 并且在总迭代次数的80％和90％分别进行10倍学习率衰减， 进行36轮基础训练后保权　利　要　求　书 2/3 页 3 CN 114663683 A 3