(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210951063.X (22)申请日 2022.08.09 (71)申请人 南方科技大 学 地址 518000 广东省深圳市南 山区学苑大 道1088号 (72)发明人 马靖哲　叶顶强　于仕琪　 (74)专利代理 机构 深圳青年人专利商标代理有 限公司 4 4350 专利代理师 吴桂华 (51)Int.Cl. G06V 40/20(2022.01) G06V 40/70(2022.01) G06V 20/40(2022.01) G06V 10/46(2022.01) G06V 10/44(2022.01)G06F 21/32(2013.01) (54)发明名称 基于机器人的步态监测方法、 装置、 设备及 存储介质 (57)摘要 本公开实施例提供一种基于机器人的步态 监测方法及设备， 该方法包括： 获取机器人的拍 摄视频； 对拍摄视频的视频帧进行图像处理， 得 到拍摄视频中人员的人体剪影序列和人体关键 点序列； 通过身份特征提取模型中的剪影特征提 取网络， 对人体剪影序列进行特征提取， 得到人 员的人体剪影特征； 通过身份特征提取模型中的 关键点特征提取网络， 对人体关键点序列进行特 征提取， 得到人员的人体关键点特征； 通过身份 特征提取模 型中的多模态特征混合网络， 对人体 剪影特征和人体 关键点特征进行特征融合， 得到 人员的身份特征； 根据身份特征， 对人员进行身 份识别。 从而， 实现机器人上的步态监测， 并通过 步态监测方式实现了用户身份识别。 权利要求书3页 说明书17页 附图7页 CN 115439927 A 2022.12.06 CN 115439927 A 1.一种基于 机器人的步态监测方法， 其特 征在于， 包括： 获取所述机器人的拍摄视频； 对所述拍摄视频的视频帧进行图像处理， 得到所述拍摄视频中人员的人体剪影序列和 人体关键点序列； 通过身份特征提取模型中的剪影特征提取网络， 对所述人体剪影序列进行特征提取， 得到所述人员的人体剪影特 征； 通过所述身份特征提取模型中的关键点特征提取网络， 对所述人体关键点序列进行特 征提取， 得到所述人员的人体关键点特 征； 通过所述身份特征提取模型中的多模态特征混合网络， 对所述人体剪影特征和所述人 体关键点特 征进行特征融合， 得到所述人员的身份特 征； 根据所述身份特 征， 对所述人员进行身份识别。 2.根据权利要求1所述的基于机器人的步态监测方法， 其特征在于， 所述剪影特征提取 网络包括空域特征提取网络和池化网络， 所述通过身份特征提取模型中的剪影特征提取网 络， 对所述人体剪影序列进行 特征提取， 得到所述人员的人体剪影特 征， 包括： 将所述人体剪影序列输入所述空域特征提取网络， 在所述空域特征提取网络中对所述 人体剪影序列进行 特征提取， 得到 剪影空域特 征； 将所述剪影空域特征输入所述池化网络， 通过所述池化网络对所述剪影空域特征进行 特征池化， 得到所述人体剪影特 征。 3.根据权利要求2所述的基于机器人的步态监测方法， 其特征在于， 所述池化网络包括 时域池化网络和水平金字塔池化网络， 所述将所述剪影空域特征输入所述池化网络， 通过 所述池化网络对所述剪影空域特 征进行特征池化， 得到所述人体剪影特 征， 包括： 将所述剪影空域特征输入所述 时域池化网络， 通过所述 时域池化网络在时序维度对所 述剪影空域特 征进行最大池化， 得到初步池化特 征； 将所述初步池化特征输入所述水平金字塔池化网络， 在所述水平金字塔网络中， 在空 间维度对 所述初步池化特征进 行多尺度划分、 平均池化、 最大池化以及 池化特征合并， 得到 所述人体剪影特 征。 4.根据权利要求1 ‑3中任一项所述的基于机器人的步态监测方法， 其特征在于， 所述多 模态特征混合网络包括与所述人体剪影特征对应的卷积层、 与所述人体关键点特征对应的 卷积层以及注意力层， 所述通过所述身份特征提取模型中的多模态特征混合网络， 对所述 人体剪影特 征和所述人体关键点特 征进行特征融合， 得到所述人员的身份特 征， 包括： 在所述多模态特征混合网络中， 通过与所述人体剪影特征对应的卷积网络、 与所述人 体关键点特征对应的卷积网络以及注意力 层， 对所述人体剪影特征和所述人体关键点特征 进行特征融合， 得到所述身份特 征。 5.根据权利要求1 ‑3中任一项所述的基于机器人的步态监测方法， 其特征在于， 所述根 据所述身份特 征， 对所述人员进行身份识别之后， 所述基于 机器人的步态监测方法还 包括： 如果身份识别结果为所述人员属于服务对象， 则通过健康监测网络对所述人体关键点 序列进行识别， 得到所述人员的步态健康状况。 6.根据权利要求5所述的基于机器人的步态监测方法， 其特征在于， 所述健康监测网络 包括特征编码网络和 步态健康识别网络， 所述步态健康识别网络包括如下至少一种： 步伐权　利　要　求　书 1/3 页 2 CN 115439927 A 2识别网络、 情绪识别网络、 腿型识别网络， 所述如果身份识别结果为所述人员属于服务对 象， 则通过健康监测网络对所述人体关键点序列进 行识别， 得到所述人员的步态健康状况， 包括： 如果所述身份识别结果为所述人员属于服务对象， 则通过特征编码网络对所述人体关 键点序列进行 特征编码， 得到编码特 征； 通过所述步态健康识别网络， 对所述编码特征进行识别， 得到所述步态健康状况， 所述 步态健康状况包括如下至少一种： 所述人员的步伐状况、 所述人员的情绪类型、 所述人员的 腿型。 7.根据权利要求6所述的基于机器人的步态监测方法， 其特征在于， 所述人体关键点序 列包括面部 关键点序列和躯体关键点序列， 所述特征编 码网络包括面部编 码网络和步态编 码网络； 所述如果所述身份识别结果为所述人员属于服务对象， 则通过特征编码网络对所述人 体关键点序列进行 特征编码， 得到编码特 征， 包括： 如果所述身份识别结果为所述人员属于服务对象， 则通过所述面部编码网络对所述面 部关键点序列进行特征编码， 得到面部特征， 通过所述步态编码网络对所述躯体关键点序 列进行特征编码， 得到步态特 征； 所述通过所述步态健康识别网络， 对所述编码特征进行识别， 得到所述步态健康状况， 包括： 通过所述步伐识别网络对所述 步态特征进行识别， 得到所述 步伐状况； 通过所述情绪识别网络对所述面部特征和所述步态特征进行识别， 得到所述情绪类 型； 通过所述腿型识别网络对所述 步态特征进行识别， 得到所述腿型。 8.一种基于 机器人的步态监测装置， 其特 征在于， 包括： 视频获取 单元， 用于获取 所述机器人的拍摄视频； 视频处理单元， 用于对所述拍摄视频的视频帧进行图像处理， 得到所述拍摄视频中人 员的人体剪影序列和人体关键点序列； 剪影特征提取单元， 用于通过身份特征提取模型中的剪影特征提取网络， 对所述人体 剪影序列进行 特征提取， 得到所述人员的人体剪影特 征； 关键点特征提取单元， 用于通过所述身份特征提取模型中的关键点特征提取网络， 对 所述人体关键点序列进行 特征提取， 得到所述人员的人体关键点特 征； 特征融合单元， 用于通过所述身份特征提取模型中的多模态特征混合网络， 对所述人 体剪影特 征和所述人体关键点特 征进行特征融合， 得到所述人员的身份特 征； 身份识别单 元， 用于根据所述身份特 征， 对所述人员进行身份识别。 9.一种电子设备， 其特 征在于， 包括： 至少一个处 理器和存 储器； 所述存储器存储计算机执 行指令； 所述至少一个处理器执行所述存储器存储的计算机执行指令， 使得所述至少一个处理 器执行如权利要求1至7任一项所述的基于 机器人的步态监测方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中存储有计算机 执行指令， 当处理器执行所述计算机执行指令时， 实现如权利要求1至7任一项所述的基于权　利　要　求　书 2/3 页 3 CN 115439927 A 3