(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210947962.2 (22)申请日 2022.08.09 (71)申请人 浙江大华 技术股份有限公司 地址 310053 浙江省杭州市滨江区滨安路 1187号 (72)发明人 陈升　吴良健　潘华东　 (74)专利代理 机构 北京同达信恒知识产权代理 有限公司 1 1291 专利代理师 赵凯莉 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 40/20(2022.01) (54)发明名称 一种行为检测方法、 装置、 设备及存 储介质 (57)摘要 本申请提供一种行为检测方法、 装置、 设备 及存储介质， 应用于监控等领域， 用于解决行为 检测的准确性较低的问题。 该方法包括： 对视频 帧序列进行目标关键点检测和姿态检测， 获得视 频帧序列包含的至少一个目标， 以及获得视频帧 序列包含的各个视频帧中每个目标对应的多个 关键点的关键点信息和每个目标的姿态信息； 基 于获得的关键点信息， 确定各个视频帧中， 每个 目标对应的多个 关键点的位置关系信息； 针对任 意相邻的多个视频帧， 确定至少一个目标中， 存 在相应的多个位置关系信息、 相应的多个姿态信 息， 以及在多个视频帧中所占像素点的像素点数 量满足指定条件的异常目标时， 生成异常目标的 行为检测结果。 权利要求书3页 说明书16页 附图6页 CN 115393604 A 2022.11.25 CN 115393604 A 1.一种行为检测方法， 其特 征在于， 包括： 对视频帧序列进行目标关键点检测和姿态检测， 获得所述视频帧序列包含的至少一个 目标， 以及获得所述视频帧序列包含的各个视频帧中每个目标对应的多个关键点的关键点 信息和每 个目标的姿态信息； 基于获得的关键点信息， 确定所述各个视频帧中， 每个目标对应的多个关键点的位置 关系信息； 针对任意相邻的多个视频帧， 确定所述至少一个目标中， 存在相应的多个位置关系信 息、 相应的多个姿态信息， 以及在所述多个视频帧中所占像素点的像素点数量满足指定条 件的异常目标时， 生成所述异常目标的行为检测结果， 所述行为检测结果表征所述异常目 标存在异常行为。 2.根据权利要求1所述的方法， 其特征在于， 所述基于获得的关键点信息， 确定所述各 个视频帧中， 每 个目标对应的多个关键点的位置关系信息， 包括： 针对所述各个视频帧中每 个目标， 分别执 行以下操作： 确定目标对应的多个关键点包括头部关键点、 腰部关键点和脚部关键点时， 基于头部 关键点和腰 部关键点的关键点信息， 确定 头部关键点到 腰部关键点形成的全身向量； 基于头部关键点、 腰部关键点和脚部关键点的关键点信息， 确定腰部关键点到头部关 键点形成的上身向量， 与腰 部关键点到脚部关键点形成的下身向量之间的位置 夹角； 基于获得的全身向量和位置 夹角， 生成所述目标的位置关系信息 。 3.根据权利要求1所述的方法， 其特征在于， 所述针对任意相邻的多个视频帧， 确定所 述至少一个目标中， 存在相应的多个位置 关系信息、 相应的多个姿态信息， 以及在所述多个 视频帧中所占像素点的像素点数量满足指 定条件的异常目标时， 生成所述异常目标的行为 检测结果， 包括： 在所述任意相邻的多个视频帧中， 确定存在相应的多个位置关系信 息满足第 一预设条 件， 且相应的多个姿态信息满足第二预设条件， 且在所述多个视频帧中所占像素点的像素 点数量满足第三预设条件的所述异常目标时， 生成所述异常目标的行为检测结果， 其中， 第 一预设条件表征所述多个位置 关系信息对应的肢体动作为异常行为中的动作， 第二预设条 件表征所述多个姿态信息对应的目标姿态为异常行为中的姿态， 第三预设条件表征所述多 个视频帧中所占像素点的像素点数量对应的目标状态为异常行为中的状态。 4.根据权利要求3所述的方法， 其特征在于， 所述位置关系信 息包括相应目标的全身向 量和位置夹角， 所述全身向量表征相应目标 的头部关键点到腰部关键点形成的向量， 所述 位置夹角表征相应目标的腰部 关键点到头部关键点形成的上身向量， 与腰部关键点到脚部 关键点形成的下身向量之间的夹角； 则所述在所述任意相邻的多个视频帧中， 确定存在相应的多个位置关系信 息满足第 一 预设条件， 且相 应的多个姿态信息满足第二预设条件， 且在所述多个视频帧中所占像素点 的像素点数量满足第三预设条件的所述异常目标， 包括： 针对所述至少一个目标， 分别执 行以下操作： 针对所述任意相邻的多个视频帧， 分别确定目标对应的多个位置关系信 息中的全身向 量， 与相应视频帧所在坐标系的水平方向形成的相对夹角； 确定获得的多个相对夹角， 按照相应的视频帧的排列顺序， 在预设相对夹角范围内递权　利　要　求　书 1/3 页 2 CN 115393604 A 2增， 且基于所述多个位置关系信息， 确定存在小于预设位置夹角阈值的至少一个位置夹角 时， 将所述目标作为相应的多个位置关系信息满足第一预设条件的备选目标； 确定在所述多个视频帧中， 所述备选目标相应的多个姿态信息满足第二预设条件， 且 在所述多个视频帧中， 所述备选目标所占像素点的像素点数量满足第三预设条件时， 将所 述备选目标作为所述异常目标。 5.根据权利要求3所述的方法， 其特征在于， 所述姿态信 息表征相应的目标为平躺姿态 或站立姿态； 则所述在所述任意相邻的多个视频帧中， 确定存在相应的多个位置关系信 息满足第 一 预设条件， 且相 应的多个姿态信息满足第二预设条件， 且在所述多个视频帧中所占像素点 的像素点数量满足第三预设条件的所述异常目标， 包括： 针对所述至少一个目标， 分别执 行以下操作： 在任意相邻的多个视频帧中， 按照所述多个视频帧的排列顺序， 确定目标对应的多个 姿态信息中， 表征所述平躺姿态的各姿态信息位于表征所述站立姿态的各姿态信息之前 时， 将所述目标作为相应的多个姿态信息满足第二预设条件的备选目标； 确定在所述多个视频帧中， 所述备选目标相应的多个位置关系信息满足第一预设条 件， 且在所述多个视频帧中， 所述备选目标所占像素点的像素点数量满足第三预设条件时， 将所述备选目标作为所述异常目标。 6.根据权利要求3所述的方法， 其特征在于， 所述在所述任意相邻的多个视频帧中， 确 定存在相应的多个位置 关系信息满足第一预设条件， 且相应的多个姿态信息满足第二预设 条件， 且在所述多个视频帧中所占像素点的像素点数量满足第三预设条件的所述异常目 标， 包括： 针对所述至少一个目标， 分别执 行以下操作： 获取任意相邻的多个视频帧的前景图像区域， 其中， 所述前景图像区域表征相应的视 频帧中， 所述至少一个目标 所在的区域； 确定目标分别在所述多个视频帧中所占像素点的像素点数量， 以及确定获得的多个前 景图像区域各自包 含的像素点的前 景像素点总量； 确定获得的多个像素点数量与相应的前景像素点总量之间的比值满足第三预设条件 时， 将所述目标作为在所述多个视频帧中所占像素点的像素点数量满足所述第三预设条件 的备选目标； 确定在所述多个视频帧中， 所述备选目标相应的多个位置关系信息满足第一预设条 件， 且在所述多个视频帧中， 所述备选目标相应的多个姿态信息满足第二预设条件时， 将所 述备选目标作为所述异常目标。 7.根据权利要求6所述的方法， 其特征在于， 所述确定获得的多个像素点数量与相应的 前景像素点总量之 间的比值满足第三预设条件时， 将所述目标确定为在所述多个视频帧中 所占像素点的像素点数量满足第三预设条件的备选目标， 包括： 确定获得的多个 像素点数量与相应的前 景像素点总量之间的比值； 在所述多个视频帧中， 按照所述多个视频帧的排列顺序， 确定所述目标对应的多个比 值中， 大于预设像素点阈值的各比值位于不大于所述预设像素点阈值的各比值之前时， 将 所述目标作为在所述多个视频帧中所占像素点的像素点数量满足所述第三预设条件的备权　利　要　求　书 2/3 页 3 CN 115393604 A 3