(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211047306.3 (22)申请日 2022.08.29 (71)申请人 安徽大学 地址 230601 安徽省合肥市经开区九龙路 111号 (72)发明人 刘政怡　何倩　檀亚诚　 (51)Int.Cl. G06V 10/46(2022.01) G06V 10/80(2022.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于可学习的权重描述子的光场图像显著 目标检测方法 (57)摘要 本发明公开了一种基于可学习的权重描述 子的光场图像显著目标检测方法， 包括以下步 骤： S1、 从光场图像中分别提取全聚焦特征和焦 点堆栈特征； S2、 对焦点堆栈特征进行加权， 产生 增强的焦点堆栈 特征； 所述权重通过可学习的权 重描述子由一个Tran sformer解码器实现； S3、 分 层交互全聚焦特征和增强的焦点堆栈 特征， 产生 多模态的融合特征； S4、 解码多模态的融合特征， 产生显著图； S5、 利用显著图真值监督所述显著 图， 通过训练集的训练， 形成光场图像显著目标 检测模型； S6、 利用所述光场图像显著目标检测 模型检测任 意一张光场图像， 经过步骤S1 ‑S4， 输 出显著图为检测结果。 本发明方法通过可学习的 权重描述子对焦点堆栈的特征进行焦片间以及 空间和通道上的加权， 以获取更有效的信息， 通 过分层多模态融合， 促进多模态之间信息的充分 交互， 实现有效融合， 提高检测精度。 权利要求书1页 说明书5页 附图1页 CN 115546512 A 2022.12.30 CN 115546512 A 1.本发明一种基于可学习的权重描述子的光场图像显著目标检测方法， 该方法包括以 下步骤： S1、 从光场图像中分别提取全聚焦特 征和焦点 堆栈特征； S2、 对焦点堆栈特征进行加权， 产生增强的焦点堆栈特征； 所述权重通过可学习的权重 描述子由一个Transformer解码器实现； S3、 分层交 互全聚焦特 征和增强的焦点 堆栈特征， 产生多模态的融合特 征； S4、 解码多模态的融合特 征， 产生显著图； S5、 利用显著图真值监督所述显著图， 通过训练集的训练， 形成光场图像显著目标检测 模型； S6、 利用所述光场图像显著目标检测模型检测任意一张光场图像， 经过步骤S1 ‑S4， 输 出显著图为检测结果。权　利　要　求　书 1/1 页 2 CN 115546512 A 2基于可学习的权重 描述子的光场图像显著目标 检测方法 技术领域 [0001]本发明涉及计算机视觉领域， 特别是涉及 一种基于可学习的权重描述子的光场图 像显著目标检测方法。 背景技术 [0002]光场图像是由全聚焦图像和焦点堆栈组成， 焦点堆栈中包含一系列聚焦在不同深 度的图像。 全聚焦图像和焦点堆栈对应于同一场景 的不同模态， 全聚焦模态更强调外观和 整体信息， 焦点堆栈模态更强调几何和区域信息。 光场图像显著目标检测的核心其一是要 有效融合焦点堆栈中的一系列聚焦在不同深度的图像， 相互补充各自的信息， 其二是要有 效融合全聚焦图像和焦点堆栈这两种模态信息， 减少二者之间的差异， 最大化它们的共同 点， 为显著目标的解码阶段提供 更好的特 征。 发明内容 [0003]本发明所需要解决的技术问题是提供一种基于可学习的权重描述子的光场图像 显著目标检测方法， 通过可学习的权重描述子对焦点堆栈的特征进行焦片间以及空间和通 道上的加权， 以获取更有效的信息； 通过分层多模态融合， 减小全聚焦 模态和焦点堆栈模态 之间的差异， 实现检测性能的提升 。 [0004]本发明具体采用的技 术方案如下： [0005]一种基于可学习的权重描述子的光场图像显著目标检测方法， 该方法包括以下步 骤： [0006]S1、 从光场图像中分别提取全聚焦特 征和焦点 堆栈特征； [0007]S2、 对焦点堆栈特征进行加权， 产生增强的焦点堆栈特征； 所述权重通过可学习的 权重描述子由一个Transformer解码器实现； [0008]S3、 分层交 互全聚焦特 征和增强的焦点 堆栈特征， 产生多模态的融合特 征； [0009]S4、 解码多模态的融合特 征， 产生显著图； [0010]S5、 利用显著图真值监督所述显著图， 通过训练集的训练， 形成光场图像显著目标 检测模型； [0011]S6、 利用所述光场图像显著目标检测模型检测任意一张光场图像， 经过步骤S1 ‑ S4， 输出显著图为检测结果。 [0012]与已有技 术相比， 本发明有益效果体现在： [0013]本发明提出一种基于可学习的权重描述子的光场图像显著目标检测方法， 通过可 学习的权重描述子对焦点堆栈的特征进行焦片间以及空间和通道上的加权， 以获取更有效 的信息， 通过分层多模态融合， 促进多模态之间信息的充分交互， 实现有效融合， 提高检测 精度。说　明　书 1/5 页 3 CN 115546512 A 3