(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210561782.0 (22)申请日 2022.05.23 (71)申请人 武汉大学 地址 430072 湖北省武汉市武昌区珞珈山 街道八一路2 99号 (72)发明人 王显溢　胡庆武　黄玉春　孟小亮　 王少华　余立平　裴先波　徐淇　 丰博　刘昊宇　刘晓洁　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 罗飞 (51)Int.Cl. G01S 13/86(2006.01) G01S 7/41(2006.01) A61B 5/11(2006.01)H04N 7/18(2006.01) (54)发明名称 一种毫米波雷达和视频辅助的室内跌倒检 测方法及装置 (57)摘要 本发明公开了一种毫米波雷达和视频辅助 的室内跌倒检测方法及装置， 其中的方法包括： 使用毫米波雷达作为信号源， 构建微多普勒图并 提取特征矢量， 利用经贝叶斯超参数优化的RNN 进行分类识别， 当被监护对象在室内疑似发生意 外跌倒时， 开启摄像头， 对人体姿势进行进一步 的识别判断， 若确实发生跌倒事件， 则即时发送 相关报警信息给监护人； 否则关闭摄像头继续使 用毫米波雷达进行监测。 本发明具有实时跌倒检 测功能、 预警报警功能； 能够提高室内跌倒检测 准确性、 稳定性、 便捷性， 减少人力成本， 守护生 命健康安全； 且摄像头平时关闭， 在对毫米波雷 达信号进行处理后， 判断疑似跌倒才会开启摄像 头， 具有良好的隐私保护性。 权利要求书2页 说明书7页 附图2页 CN 114895301 A 2022.08.12 CN 114895301 A 1.一种毫米波雷达和视频辅助的室内跌倒检测方法， 其特 征在于， 包括： S1： 使用毫米波雷达对被监护 对象进行监测， 获取毫米波雷达的采样数据， 并存储于雷 达采样数据矩阵中； S2： 基于预设信号模型对毫米波雷达的采样数据采用以RDM向速度维投影的方式， 逐帧 构建微多普勒谱图， 其中， RDM为距离多普勒图； S3： 从微多普勒图中提取躯 干微多普勒特 征矢量； S4： 从微多普勒图中提取肢体微多普勒特 征矢量； S5： 将躯干微多普勒特征矢量和肢体微多普勒特征矢量组成人体状态特征矢量， 通过 采集不同时间的人体 状态特征矢量， 组成人体 状态随时间变化的序列； S6： 利用循环神经网络RNN对人体状态随时间变化的序列进行二分类， 得到分类结果， 分类结果 为有摔倒 动作和没有摔倒 动作； S7： 当分类结果为有摔倒动作时， 则对室内画面进行录像识别， 定位到图像 中的人体区 域， 提取人体关节点 位置， 将关节点连线绘制人体姿势图； S8： 根据绘制的人体姿势图进一步判断是否跌倒， 如果判断跌倒， 则将跌倒情况及视频 画面传送给监护人； 如果判断没有跌倒， 则关闭摄 像头， 继续使用毫米波雷达进行监测。 2.如权利要求1所述的毫米波雷达和视频辅助的室内跌倒检测方法， 其特征在于， 步骤 S1包括： 通过毫米波雷达发射天线向外发射主信号， 经过被监护对象产生反射信号， 根据多普 勒效应观测到多普勒频移， 采集主信号与反射信号的差拍信号； 根据预设信号模型将差拍信号描述为雷达采样数据矩阵Y， 包含该雷达于单帧状况下 的采样数据。 3.如权利要求1所述的毫米波雷达和视频辅助的室内跌倒检测方法， 其特征在于， 步骤 S2包括： 对雷达采样数据矩阵， 在快时间维上的所有列数据加上汉宁窗， 执行Range  FFT， 然后 在慢时间维上的所有 行数据加上汉宁窗后执行Doppler  FFT， 并将零频分量搬至频谱中心， 得到相应的RDM， 其中， RDM用以描述对应帧下所有人体散射点的距离、 速度相关信息， Range   FFT为距离快速傅里叶变换， Dop pler FFT为多普勒快速傅里叶变换； 针对单个人体目标进行研究， 将所得每帧下的RDM向距离维投影并按列逐帧积累得到 单目标运动轨迹图， 其中， 单目标运动轨迹图的横轴表示对应的帧标号， 纵轴表示其距离门 标号对应的目标距离雷达的径向距离； 从单目标运动轨迹图中得到人体目标在运动中距离雷达的最小/最大径向距离所对应 的距离门标号， 根据距离门标号提取 目标运动范围内的RDM， 并进一步将提取的RDM向速度 维投影并按列逐帧积累， 得到目标运动产生的微多普勒谱图， 其中， 微多普勒谱图的横轴代 表对应的帧号， 纵轴表示其速度门标号对应的速度值， 速度值的正值表示远离雷达， 负值表 示接近雷达。 4.如权利要求1所述的毫米波雷达和视频辅助的室内跌倒检测方法， 其特征在于， 步骤 S3包括： 从微多普勒图中获取躯干微多普勒曲线， 用速度质心序列对该躯干微多普勒曲线进行 描述， 将速度质心序列 作为从谱图中所提取的躯 干微多普勒特 征矢量。权　利　要　求　书 1/2 页 2 CN 114895301 A 25.如权利要求1所述的毫米波雷达和视频辅助的室内跌倒检测方法， 其特征在于， 步骤 S4包括： 从微多普勒图中获取肢体微多普勒曲线， 提取 得到肢体微多普勒特 征矢量。 6.如权利要求1所述的毫米波雷达和视频辅助的室内跌倒检测方法， 其特征在于， 步骤 S6包括： 将得到人体 状态随时间变化的序列划分为训练集和 测试集； 利用RNN， 将训练集中的每一个人体状态作为隐状态， 将摔倒动作设置为正类， 其他动 作设置为负类， 对RN N进行有监 督分类训练， 得到训练好的RN N模型； 利用训练好的RN N模型对待处 理序列进行分类。 7.如权利要求6所述的毫米波雷达和视频辅助的室内跌倒检测方法， 其特征在于， 所述 方法还包括， 在有监 督分类训练时采用贝叶斯超参数调整来选择最优 超参数。 8.如权利要求1所述的毫米波雷达和视频辅助的室内跌倒检测方法， 其特征在于， 步骤 S8包括： 如果人体姿势为仰卧式、 俯卧式或侧卧式的一种， 且两髋中心点离地面高度小于人体 臀宽大小的一半时， 则判断为跌倒， 并将跌倒情况及视频画面传送给监护人； 否则判断为没有跌倒， 则关闭摄 像头， 继续使用毫米波雷达进行监测。 9.一种毫米波雷达和视频辅助的室内跌倒检测装置， 其特 征在于， 包括： 雷达信号采集模块， 用于使用毫米波雷达对被监护对象进行监测， 获取毫米波雷达的 采样数据， 并存 储于采样数据矩阵中； 数据处理模块， 用于基于预设信号模型对毫米波雷达的采样数据采用以RDM向速度维 投影的方式， 逐帧构建微多普勒谱图， 其中， RDM为距离多普勒图； 第一特征提取模块， 用于从微多普勒图中提取躯 干微多普勒特 征矢量； 第二特征提取模块， 用于从微多普勒图中提取肢体微多普勒特 征矢量； 特征处理模块， 用于将躯干微多普勒特征矢量和肢体微多普勒特征矢量组成人体状态 特征矢量， 通过采集 不同时间的人体 状态特征矢量， 组成人体 状态随时间变化的序列； 分类模块， 用于利用循环神经网络RNN对人体状态随时间变化的序列进行二分类， 得到 分类结果， 分类结果 为有摔倒 动作和没有摔倒 动作； 录像模块， 用于当分类结果为有摔倒动作时， 则对室内画面进行录像识别， 定位到图像 中的人体区域， 提取 人体关节点 位置， 将关节点连线绘制人体姿势图； 视频辅助判定模块， 用于根据绘制的人体姿势图进一步判断是否跌倒， 如果判断跌倒， 则将跌倒 情况及视频画 面传送给监护人； 如果判断没有跌倒， 则关闭摄像头， 继续使用毫米 波雷达进行监测。权　利　要　求　书 2/2 页 3 CN 114895301 A 3