(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210343569.2 (22)申请日 2022.04.02 (71)申请人 中山大学 地址 510275 广东省广州市海珠区新港西 路135号 (72)发明人 胡建国　张月　黎昱彤　杨学彬　 夏邦　肖辉敏　卢星宇　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 梁嘉琦 (51)Int.Cl. G06V 10/40(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01)G06V 10/77(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) (54)发明名称 一种基于角度自适应融合的目标检测方法 及系统 (57)摘要 本发明公开了一种基于角度自适应融合的 目标检测方法及系统， 方法包括： 通过基干网络 对输入图像进行特征提取， 并从不同阶段的卷积 层输出结果中输出对应的第一特征图； 通过特征 金字塔网络对所述原始特征图进行横向连接降 维和自上而下的融合处理， 得到第二特征图； 通 过角度自适应融合金字塔网络， 对 所述第二特征 图进行目标多角度特征提取及融合处理， 得到第 三特征图； 通过检测器头部网络对 所述第三特征 图进行分类和回归， 输出目标检测结果。 本发明 适用范围广且计算效率高， 可广泛应用于人工智 能技术领域。 权利要求书2页 说明书10页 附图2页 CN 114743015 A 2022.07.12 CN 114743015 A 1.一种基于角度自适应融合的目标检测方法， 其特 征在于， 包括： 通过基干网络对输入图像进行特征提取， 并从不同阶段的卷积层输出结果中输出对应 的第一特 征图； 通过特征金字塔网络对所述原始特征图进行横向连接降维和自上而下的融合处理， 得 到第二特 征图； 通过角度自适应融合金字塔网络， 对所述第 二特征图进行目标多角度 特征提取及融合 处理， 得到第三特 征图； 通过检测器头 部网络对所述第三特 征图进行分类和回归， 输出目标检测结果。 2.根据权利要求1所述的一种基于角度自适应融合的目标检测方法， 其特征在于， 所述 通过角度自适应融合金字塔网络， 对所述第二特征图进行目标多角度特征提取及融合处 理， 得到第三特 征图， 包括： 通过多角度特征提取模块对输入的所述第 二特征图进行处理， 得到多张不同角度 方向 信息且保留浅层 细节的第四特 征图； 通过多特征融合模块对所述第四特征图进行加权融合， 获得最终角度自适应融合的第 三特征图。 3.根据权利要求2所述的一种基于角度自适应融合的目标检测方法， 其特征在于， 所述 通过多角度特征提取模块对输入的所述第二特征图进 行处理， 得到多张不同角度方向信息 且保留浅层 细节的第四特 征图， 包括： 采用3×3的卷积核对所述第 二特征图进行旋转卷积处理， 将权重参数对应的位置按旋 转角度进行逆时针内旋， 输出第五特 征图； 对所述第五特 征图进行自下而上的连接融合， 得到第四特 征图。 4.根据权利要求3所述的一种基于角度自适应融合的目标检测方法， 其特征在于， 所述 采用3×3的卷积核对所述第二特征图进 行旋转卷积处理， 将权重参数对应的位置按旋转角 度进行逆时针内旋， 输出第五特 征图， 具体为： 配置四条角度偏移为0 °、 90°、 180°、 270°的偏移卷积支路， 用四条所述偏移卷积支路分 别提取输入特 征图不同方向的特 征信息， 输出第五特 征图。 5.根据权利要求4所述的一种基于角度自适应融合的目标检测方法， 其特征在于， 所述 配置四条角度偏移为0 °、 90°、 180°、 270°的偏移卷积支路， 用四条所述偏移卷积支路分别提 取输入特 征图不同方向的特 征信息， 输出第五特 征图， 包括： 以一条卷积核大小为3 ×3的卷积支路为基准支路， 将所述基准支路作为角度偏移为0 ° 的偏移卷积支路； 对所述基准支路的卷积核分别进行90 °、 180°、 270°旋转， 得到三条特定角 度偏移的偏 移卷积支路， 其中， 四条 所述偏移卷积支路的权 重互相共享； 通过各个卷积支路输出第五特 征图。 6.根据权利要求3所述的一种基于角度自适应融合的目标检测方法， 其特征在于， 所述 对所述第五特 征图进行自下而上的连接融合， 得到第四特 征图， 包括： 在相邻特 征图同一角度偏移卷积的结果之间构建自下而上的连接融合 通路； 对于最低层的特 征图， 直接 输出为第四特 征图； 对于非最低层的特征图， 先将输入的低层特征图下采样至与输入的高层特征图的尺寸权　利　要　求　书 1/2 页 2 CN 114743015 A 2相同， 将下采样后的特征图与输入的高层特征图按通道维度进行拼接， 得到拼接后的特征 图， 使用一个1 ×1的卷积层 对拼接后的特征图进 行通道降维， 使融合后的特征图， 输出为第 四特征图； 其中， 所述下采样为3 ×3卷积操作。 7.根据权利要求2所述的一种基于角度自适应融合的目标检测方法， 其特征在于， 所述 通过多特征融合模块对所述第四特征图进 行加权融合， 获得最终角度自适应融合的第三特 征图， 包括： 从所述第四特征图中获取三个特征图集， 其中， 每个特征图集内包含四张大小相同但 具有目标不同角度方向信息的特 征图； 并对每 个特征图集进行以下操作： 将不同的特 征图进行 逐像素相加， 得到特 征图的融合结果； 对融合后的特征图进行全局平局池化操作， 生成大小为1 ×1×C的第一特征向量； 其 中， 每个第一特 征向量代 表每个通道上的全局信息； 将所述第一特 征向量通过一个全连接层生成第二特 征向量； 根据所述第二特 征向量， 计算 不同输入特 征图的通道加权值； 根据所述 通道加权值对特 征图集内的特 征图进行自适应加权融合， 输出第三特 征图。 8.一种基于角度自适应融合的目标检测系统， 其特 征在于， 包括： 第一模块， 用于通过基干网络对输入图像进行特征提取， 并从不同阶段的卷积层输出 结果中输出对应的第一特 征图； 第二模块， 用于通过特征金字塔网络对所述原始特征图进行横向连接降维和自上而下 的融合处 理， 得到第二特 征图； 第三模块， 用于通过角度自适应融合金字塔网络， 对所述第二特征图进行目标多角度 特征提取及融合处 理， 得到第三特 征图； 第四模块， 用于通过检测器头部网络对所述第三特征图进行分类和回归， 输出目标检 测结果。 9.一种电子设备， 其特 征在于， 包括处 理器以及存 储器； 所述存储器用于存 储程序； 所述处理器执行所述程序实现如权利要求1至7中任一项所述的方法。 10.一种计算机可读存储介质， 其特征在于， 所述存储介质存储有程序， 所述程序被处 理器执行实现如权利要求1至7中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114743015 A 3