(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211129917.2 (22)申请日 2022.09.16 (71)申请人 展讯半导体 （南京） 有限公司 地址 211899 江苏省南京市高新 开发区研 创园团结路9 9号孵鷹大厦C座5 01室 (72)发明人 刘志坚　陈纬　 (74)专利代理 机构 上海弼兴律师事务所 31283 专利代理师 罗朗　林嵩 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 人体行为的识别方法、 系统、 设备及存储介 质 (57)摘要 本发明公开了一种人体行为的识别方法、 系 统、 设备及存储介质， 该方法包括： 根据获取的待 识别人体行为的静态图像信息和/或动态图像信 息生成图像帧序列； 将图像帧序列输入光流特征 提取网络和/或轻量级网络和/或时序网络进行 人体行为识别， 以得到待识别人体的行为类别。 本发明根据获取的静态图像信息和/或动态图像 信息生成图像帧序列； 将图像帧序列输入光流特 征提取网络和/或轻量级网络和/或时序网络进 行人体行为识别， 以得到待识别人体的行为类 别。 实现了基于光流特征提取网络、 轻量级网络、 时序网络进行人体行为识别， 减轻了网络深度、 光线强度、 外物遮挡以及拍摄方位等不利因素的 影响， 提高了识别速度以及精度， 达到了较佳的 识别效果。 权利要求书3页 说明书16页 附图3页 CN 115497160 A 2022.12.20 CN 115497160 A 1.一种人体行为的识别方法， 其特 征在于， 所述识别方法包括： 获取待识别人体行为的图像信息， 所述图像信息包括静态图像信息和/或动态图像信 息； 根据所述静态图像信 息和/或所述动态图像信 息生成所述待识别人体行为的图像帧序 列； 将所述图像帧序列输入光流特征提取网络和/或轻量级网络和/或时序网络进行人体 行为识别， 以得到所述待识别人体的行为类别。 2.如权利要求1所述的人体行为的识别方法， 其特征在于， 所述图像信 息包括非红外图 像信息和/或红外图像信息， 所述 非红外图像信息包括 非红外静态图像信息和/或非红外动 态图像信息， 所述红外图像信息包括红外静态图像信息和/或红外动态图像信息； 所述根据 所述静态图像信 息和/或所述动态图像信 息生成所述待识别人体行为的图像 帧序列的步骤 包括： 根据所述非红外静态图像信 息和/或所述非红外动态图像信 息生成所述待识别人体行 为的RGB图像帧序列； 根据所述红外静态图像信 息和/或所述红外动态图像信 息生成所述待识别人体行为的 红外图像帧序列； 所述将所述图像帧序列输入光流特征提取网络和/或轻量级网络和/或时序网络进行 识别， 以得到所述待识别人体的行为类别的步骤 包括： 利用傅里叶特征提取算法和/或所述光流特征提取网络和/或所述轻量级网络和/或所 述时序网络对所述图像 帧序列和/或所述红外图像 帧序列进行人体行为识别， 以得到所述 待识别人体的至少一个识别结果； 利用加权MAX ‑K融合算法对所述至少一个识别结果进行融合， 以得到所述待识别人体 的行为类别。 3.如权利要求2所述的人体行为的识别方法， 其特征在于， 所述利用傅里叶特征提取算 法和/或所述光流特征提取网络和/或所述轻量级网络和/或所述时序网络对所述图像帧序 列和/或所述红外图像 帧序列进行人体行为识别， 以得到所述待识别人体的至少一个识别 结果的步骤 包括： 利用所述 傅里叶特 征提取算法从所述RGB图像帧序列中提取轮廓特 征信息； 将所述轮廓特征信 息输入所述 时序网络进行人体行为识别， 以得到所述待识别人体的 姿态特征识别结果； 将所述RGB图像帧序列输入所述光流特征提取网络， 以获取得到表征所述待识别人体 行为运行特征信息的运动图像帧序列； 将所述运动图像帧序列输入所述轻量级网络和/或所述时序网络， 以得到所述待识别 人体的运动特 征识别结果； 将所述RGB图像帧序列输入所述轻量级网络和/或所述时序网络， 以得到所述待识别人 体的外观特 征识别结果； 将所述红外 图像帧序列输入所述轻量级网络和/或所述时序网络， 以得到所述待识别 人体的红外特 征识别结果； 利用所述加权MAX ‑K融合算法对所述运动特征识别结果、 所述外观特征识别结果以及权　利　要　求　书 1/3 页 2 CN 115497160 A 2所述红外特 征识别结果进行融合， 以得到第一融合识别结果； 利用所述加权MAX ‑K融合算法对所述姿态特征识别结果以及所述第一融合识别结果进 行融合， 以得到所述待识别人体的行为类别。 4.如权利要求3所述的人体行为的识别方法， 其特征在于， 所述利用傅里叶特征提取算 法和/或所述光流特征提取网络和/或所述轻量级网络和/或所述时序网络对所述图像帧序 列和/或所述红外图像 帧序列进行人体行为识别， 以得到所述待识别人体的至少一个识别 结果的步骤 还包括： 利用所述加权MAX ‑K融合算法对所述运动特征识别结果和所述外观特征识别结果进行 融合， 以得到第二融合识别结果； 利用所述加权MAX ‑K融合算法对所述姿态特征识别结果以及所述第二融合识别结果进 行融合， 以得到所述待识别人体的行为类别。 5.如权利要求2所述的人体行为的识别方法， 其特征在于， 所述根据所述非红外静态图 像信息和/或所述非红外动态图像信息生成所述待识别人体行为的RGB图像帧序列的步骤 包括： 按照预设传输帧数提取所述非红外静态图像信 息和/或所述非红外动态图像信 息的非 红外图像帧； 对所述非红外图像帧进行数据增强处理， 以得到所述待识别人体行为的RGB图像帧序 列。 6.如权利要求2所述的人体行为的识别方法， 其特征在于， 所述根据所述红外静态图像 信息和/或所述红外动态图像信息生成所述待识别人体行为的红外图像帧序列 的步骤包 括： 按照预设传输帧数提取所述红外静态图像信 息和/或所述红外动态图像信 息的红外图 像帧； 对所述红外图像帧进行数据增强处理， 以得到所述待识别人体行为的红外图像帧序 列。 7.如权利要求3所述的人体行为的识别方法， 其特征在于， 所述将所述RGB图像帧序列 输入所述光流特征提取网络， 以获取得到表征所述待识别人体行为运行特征信息的运动图 像帧序列的步骤 包括： 将所述RGB图像帧序列按照预设间隔帧数输入所述光流特征提取网络， 并利用网络剪 枝算法获取表征 所述待识别人体行为 运行特征信息的运动图像帧序列。 8.一种人体行为的识别系统， 其特征在于， 所述识别系统包括获取模块、 生成模块以及 识别模块； 所述获取模块用于获取待识别人体行为的图像信 息， 所述图像信 息包括静态图像信 息 和/或动态图像信息； 所述生成模块用于根据 所述静态图像信 息和/或所述动态图像信 息生成所述待识别人 体行为的图像帧序列； 所述识别模块用于将所述图像帧序列输入光流特征提取网络和/或轻量级网络和/或 时序网络进行 人体行为识别， 以得到所述待识别人体的行为类别。 9.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算权　利　要　求　书 2/3 页 3 CN 115497160 A 3