(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210429263.9 (22)申请日 2022.04.22 (71)申请人 广州大学 地址 510006 广东省广州市大 学城外环西 路230号 (72)发明人 曹忠　张瑞健　尚文利　赵文静　 王锋　邓辉　梅盈　 (74)专利代理 机构 广州高炬知识产权代理有限 公司 44376 专利代理师 孙明科 (51)Int.Cl. G06V 20/00(2022.01) G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于随机注意力机制的阴影 检测方法 (57)摘要 本发明公开了一种基于随机注意力机制的 阴影检测方法， 包括以下步骤： 构建CNN卷积神经 网络， 得到不同分辨率的特征图， 即原始骨架； 原 图像使用不同的卷积核进行卷积,即可得到不同 分辨率的特征图。 本发明采用随机注意力机制， 随机提取原骨架网络中具有代表性的多级多层 特征， 在利用该骨架结构以及特征连接结构构建 由高到低再由低到高的对称特征金字塔网络， 并 在该U形结构中随机从其前半部分中取多级多层 高层特征融合作为后一部分的任一特征图， 最后 构建融合模块， 将各个特征网络中， 由低到高部 分中， 相同层级的特征进行融合， 得到最终的多 层特征金字塔并利用其进行检测。 权利要求书2页 说明书5页 附图1页 CN 114937196 A 2022.08.23 CN 114937196 A 1.一种基于随机注意力机制的阴影 检测方法， 其特 征在于， 包括以下步骤： S1： 构建CNN卷积神经网络， 得到不同分辨率的特征图， 即原始骨架； 原图像使用不同的 卷积核进行卷积,即可得到不同分辨率的特征图， 低级特征适合于描述具有简单外观的目 标， 空间信息多， 而高级特 征则适合于描述具有复杂外观的目标， 语义信息多； S2： 构建特 征连接结构， 提取原骨架网络中具有代 表性的多 级多层特征； S3： 构建由高到低再由低到高的多级特征金字塔的U形模块； 通过得到的基础特征图得 到分辨率从高到低， 再从低到高的两个相对称的特征金字塔， 并将对称的对应层调整为特 征大小相同， 且通道数也相同， 并将一个U形模块的输出作为另一个U形模块的输入； S4： 构建随机注意力机制， 随机取多级多层高层特征融合作为下一部分的任一特征； 在 构建U形模块时， 将其前半部分分辨率由高到低的特征图中随机选取多层 多级特征图， 并将 其通过特征连接结构 融合为一个特征图， 并将其作为该U形结构下半部分的任意分辨率的 特征图； S5： 构建融合模块， 将各个特征网络中， 由低到高部分中， 相同层级的特征进行融合， 得 到最终的多层特征金字塔； 使用各个U形模块的后半部分特征图， 将等效尺度 的特征层起 来， 形成一个用于最终目标检测的特征金字塔， 其中每个特征图由多个层次的特征组成， 这 个特征金字塔比较骨干结构 中的特征图深得多， 同样更具代表性， 每个特征图都包含来自 多个U形模块的解码器层； S6： 利用多层特 征金字塔， 进行 预测。 2.根据权利要求1所述的基于随机注意力 机制的阴影检测方法， 其特征在于， 步骤S4所 述的构建随机混合注意力机制， 包括如下步骤： (41)随机取U形模型前半部分中多级多层特征图， 进行平均融合， 得到融合阴影图， 并 将该阴影图作为U形后一部分的任一特 征； (42)多级多层特征随机提取； (43)提取到的多个特 征通过特征连接结构， 得到新的特 征图： 使用多种不同层级的特征图作为输入， 所以在拼接操作之前加入了上采样操作来调整 大小； (44)并将融合后的特 征上或下采样之后作为U形模块后一部分的一个特 征。 3.根据权利要求1所述的基于随机注意力 机制的阴影检测方法， 其特征在于： S3步骤具 体实施方法： 在得到U形模型时， 已经得到各个分辨率特征图的大小， 故在得到权利要求2步骤2中多 层多级特征图融合的特 征图后， 可对其进行 上或下采样， 使其与随机插 入位置的大小： FC＝Upc(F)； 其中： Upc(*)表示上采样到随机位置特 征图大小。 4.根据权利要求1所述的基于随机注意力 机制的阴影检测方法， 其特征在于： S3步骤的 具体实施方法： 构建特征连接结构， 将U形模型前半部分分辨率由高到低的特征图中随机选取多层多 级特征图， 通过该特征连接结构融合为一个特征图， 用作该U形模型后半部分的某一特征 图： F1＝Up(FL1)权　利　要　求　书 1/2 页 2 CN 114937196 A 2F2＝Up(FL2) F＝Cat(FH,Cat(FL1,FL2))； 其中， Up(*)表示上采样 操作； Cat(*)表示级联操作。权　利　要　求　书 2/2 页 3 CN 114937196 A 3