(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210313781.4 (22)申请日 2022.03.28 (71)申请人 华中科技大 学 地址 430074 湖北省武汉市洪山区珞喻路 1037号 (72)发明人 左峥嵘　沈凡姝　王岳环　 (74)专利代理 机构 华中科技大 学专利中心 42201 专利代理师 夏倩　李智 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/25(2022.01) G06V 10/774(2022.01) G06K 9/62(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 一种目标行为时空感知定位模型的建立方 法及应用 (57)摘要 本发明公开了一种目标行为感知时空定位 模型的建立方法及应用， 属于图像处理技术领 域， 包括基于深度网络建立目标行为感知时空定 位模型， 包括时空行为感知子网络和空域目标定 位子网络； 时空行为感知子网络包括： 掩码预测 模块基于支持集图像 和查询集图像 得到目标区域掩码特征图 基于图像信息感 知模块得到查询图像信息特 征图 将 和 输入图像级特征融合层得到目标信息增强 的特征图 基于运动信息感知模块得到稠密 帧序列图像 的运动信息特 征图 将 和 输入全局特征融合层得到时空行为 感知特征图 将 输入行为分类模块得到类 别结果； 通过空域目标定位子网络得到目标定位 结果。 本发明有效关注并利用目标区域信息， 定 位准确率更高。 权利要求书4页 说明书18页 附图7页 CN 114782859 A 2022.07.22 CN 114782859 A 1.一种目标行为感知时空定位模型的建立方法， 其特征在于， 包括： 建立深度神经网 络， 并利用数据集对其进行训练， 得到目标 行为感知时空定位模型； 所述深度神经网络包括 时空行为感知子网络和空域目标定位子网络， 所述 时空行为感 知子网络包括： 掩码预测模块， 用于对支持集图像 和查询集图像 进行目标区域特征感 知， 并利用感知结果对所述查询集图像进行目标掩码预测， 得到目标区域掩码特征图 图像信息感知模块， 用于对所述查询集图像 进行特征提取， 得到图像信息特征 图 图像级特征融合层， 用于对所述目标区域掩码特征图 和所述图像信息特征图 进行逐通道特征融合， 并将融合后特征与图像信息特征图 叠加得到目标信息增 强的特征图 运动信息感知模块， 用于对所述稠密帧序列图像 进行运动信息感知， 得到运动 信息特征图 全局特征融合层， 用于对所述运动信息特征图 进行特征压缩， 并与所述目标信 息增强的特 征图 进行特征级联， 得到时空行为感知特 征图 以及行为分类模块， 用于对所述时空行为感知特征图 进行感兴趣区域提取及行为 类别概率预测， 得到目标的行为类别预测结果； 所述空域目标定位子网络， 用于对所述查询集图像 进行目标识别和检测定位， 得到目标定位框预测结果； 其中， 所述支持集图像 为从已标注掩码标签的视频序列中随机采样得到的T帧 图像； 所述查询集图像 为从输入视频序列中随机采样得到且已标注目标定位框标 签的T帧图像； 支持集图像和查询集图像互不相同， 且T为正整数； 所述稠密帧序列图像 为从所述输入视频序列中随机采样得到的α T帧图像， 且α ＞1。 2.如权利要求1所述的目标行为感知时空定位模型的建立方法， 其特征在于， 所述掩码 预测模块包括： 第一特征提取模块， 用于分别对所述支 持集图像 和所述查询集图像 进 行特征提取， 得到支持集图像特 征图 和查询集图像特 征图 第一背景抑制模块， 用于利用支持集图像 的掩码标签 对支持集图像权　利　要　求　书 1/4 页 2 CN 114782859 A 2特征中的背景进行抑制， 得到第一目标增强特 征图 第二背景抑制模块， 用于利用查询集图像 的目标定位框标签 对查询 集图像特 征中的背景进行抑制， 得到第二目标增强特 征图 相关度度量模块， 用于对所述第 一目标增强特征图和所述第 二目标增强特征图进行相 似度度量， 得到超相关特 征矩阵 特征压缩模块， 用于对所述超相关特征矩阵 进行深度维度上的压缩， 得到特征 压缩矩阵 特征融合模块， 用于利用残差思想对所述特征压缩矩阵 中的各层特征进行 特征融合， 得到特 征融合矩阵 以及下采样层， 用于将所述特征融合矩阵 转换成二维的特征图， 得到目标 区 域掩码特 征图 3.如权利要求2所述的目标行为感知时空定位模型的建立方法， 其特征在于， 在模型训 练过程中， 所述掩码预测模块还 包括： 上下文解码器， 用于将目标区域掩码特征图 恢复到与原输入 图像大小一致， 得 到查询集目标掩码预测图 并且， 利用数据集对所述深度神经网络进行训练， 包括第一阶段训练和第二阶段训练； 所述第一阶段训练包括： 利用已标注掩码标签的视频序列构建支持集图像， 利用已标注掩码标签和目标定位框 标签的视频序列构建查询集图像， 由所构建的支持集图像和查询集图像构建第一数据集； 利用所述第一数据集对所述掩码预测模块进行监督训练， 得到预训练的掩码预测模 块； 所述第二阶段训练包括： 在所述深度神经网络中加载所述预训练的掩码预测模块参数， 利用已标注掩码标签的 视频序列构建支持集图像， 利用已标注目标行为标签和目标定位框标签的视频序列构建查 询集图像以及稠密帧序列图像， 由所构建的支持集图像、 查询集图像、 稠密帧序列图像构建 第二数据集， 利用所述第二数据集对所述深度神经网络模型进行训练， 得到目标行为感知 时空定位模型。 4.如权利要求3所述的目标行为感知时空定位模型的建立方法， 其特征在于， 训练损失 函数为： 权　利　要　求　书 2/4 页 3 CN 114782859 A 3