(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210299049.6 (22)申请日 2022.03.25 (71)申请人 南京邮电大 学 地址 210003 江苏省南京市 鼓楼区新模范 马路66号 (72)发明人 李晓飞　徐思成　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 董建林 (51)Int.Cl. G06V 40/10(2022.01) G06V 20/40(2022.01) G06V 10/26(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种多特 征融合人体跌倒检测方法及系统 (57)摘要 本发明公开了一种多特征融合人体跌倒检 测方法及系统， 属于图像处理与模式识别技术领 域， 所属方法包括： 获取样 本视频； 将样本视频逐 帧分割后从中提取骨骼关节点及其空间分布特 征和时间特征； 将空间分布特征和时间特征进行 融合得到 特征张量； 将特征张量输入 预训练好的 STM‑GRU中， 得到跌倒的置信 度， 若置信 度大于预 设置信度阈值则检测结果为跌倒， 否则检测结果 为非跌倒； 解决现有技术中因忘记或不喜欢佩戴 穿戴式设备而无法实现跌倒检测、 系统复杂成本 高等难题， 提高检测的准确度。 权利要求书2页 说明书9页 附图2页 CN 114863471 A 2022.08.05 CN 114863471 A 1.一种多特 征融合人体跌倒检测方法， 其特 征在于， 包括： 获取样本 视频； 将样本视频逐帧分割后从中提取骨骼关节点及其空间分布特 征和时间特 征； 将空间分布特 征和时间特 征进行融合得到特 征张量； 将特征张量输入预训练好的STM ‑GRU中， 得到跌倒的置信度， 若置信度大于预设置信度 阈值则检测结果 为跌倒， 否则检测结果 为非跌倒。 2.根据权利要求1所述的一种 多特征融合人体跌倒检测方法， 其特征在于， 所述空间分 布特征包括骨骼关节 点的归一化坐标点到基准点之 间的欧式距离的累和； 所述归一化坐标 点通过以下 方式得到： 计算归一 化坐标矩阵： 其中， Pstd表示归一化坐标矩阵， P表示形状为(K,D)的numpy矩阵， K表示骨骼关节点个 数， D表示坐标 维度， P.axis_max表示坐标的最大值， P.axis_min表示坐标的最小 值； 归一化坐标矩 阵中的各个元 素为骨骼关节点的归一 化坐标点； 两点之间的欧式距离通过以下公式计算得到： 其中， E表示欧式距离， x1和x2分别是两点的横坐标， y1和y2分别是两点的纵坐标； 计算得到各骨骼关节点的归一化坐标点到基准点之间的欧式距离后， 再将各欧式距离 相加得到所述骨骼关节点的归一 化坐标点到基准 点之间的欧式距离的累和。 3.根据权利要求1所述的一种 多特征融合人体跌倒检测方法， 其特征在于， 所述空间分 布特征包括人体 轮廓矩形长 宽比， 所述人体 轮廓矩形的长和宽通过以下 方法计算得到： 从骨骼关节点中获取头部区域骨骼关节点集合和脚部区域骨骼关节点集合并从所述 两集合中各选取一 点， 用选取 出的两点之间纵坐标之差表示人体 轮廓矩形的长； 从从骨骼关节点中获取左侧区域骨骼关节点集合和右侧区域骨骼关节点集合并从所 述两集合中各选取一 点， 用选取 出的两点之间横坐标之差表示人体 轮廓矩形的宽 。 4.根据权利要求1所述的一种 多特征融合人体跌倒检测方法， 其特征在于， 所述空间分 布特征包括关键夹角度数， 所述关键夹角包括大腿向量和小腿向量之间的第一夹角、 背部 向量和大腿向量之间的第二夹角， 背部向量和水平向量之间的第三夹角。 5.根据权利要求1所述的一种 多特征融合人体跌倒检测方法， 其特征在于， 所述时间特 征包括头 部下降速度， 所述头 部下降速度通过以下公式计算得到： 其中， Vh表示人体的头部下降速度， 表示t1时刻头部骨骼关节点p15 的坐标， 表示t2时刻头部骨骼关节点p15的坐标。 6.根据权利要求1所述的一种 多特征融合人体跌倒检测方法， 其特征在于， 所述时间特 征包括腰 部下降速度， 所述腰 部下降速度通过以下公式计算得到：权　利　要　求　书 1/2 页 2 CN 114863471 A 2其中， Vw表示人体的腰部下降速度， 表示t1时刻腰部骨骼关节点p8 的 坐标， 表示t2时刻腰部骨骼关节点p8的坐标。 7.根据权利要求1所述的一种 多特征融合人体跌倒检测方法， 其特征在于， 所述骨骼关 节点通过以下 方法得到： 将视频样本逐帧分割后通过openpose算法进行骨骼关节点的提取。 8.根据权利要求1所述的一种 多特征融合人体跌倒检测方法， 其特征在于， 所述特征张 量通过以下 方法得到： 将空间分布特 征和时间特 征通过Co ncat函数进行融合， 得到特 征张量。 9.根据权利要求1所述的一种多特征融合人体跌倒检测方法， 其特征在于， 所述STM ‑ GRU进行预训练的方法包括： 将空间分布特征和时间特征输入STM ‑GRU中进行训练， 在训练过程 中STM‑GRU内部使用 更新门代替输入门和遗 忘门来控制细胞状态； 所述跌倒的置信度通过以下 方法得到： 将各空间分布特 征和时间特 征分别乘以各自的加权因子后求和， 得到跌倒的置信度。 10.一种多特 征融合人体跌倒检测系统， 其特 征在于， 包括： 数据获取模块： 用于获取样本 视频； 特征提取模块： 用于将样本视频逐帧分割并提取骨骼关节点及其空间分布特征和时间 特征； 特征融合模块： 用于将空间分布特 征和时间特 征进行融合得到特 征张量； 检测模块： 用于将特征张量输入预训练好的STM ‑GRU中， 得到跌倒的置信度， 若置信度 大于预设置信度阈值则检测结果 为跌倒， 否则检测结果 为非跌倒。权　利　要　求　书 2/2 页 3 CN 114863471 A 3