(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210749949.6 (22)申请日 2022.06.29 (71)申请人 南京工业大 学 地址 211816 江苏省南京市浦口区浦珠南 路30号 (72)发明人 朱艾春　周跃　徐曹洁　张帆　 李义丰　 (74)专利代理 机构 北京思创大成知识产权代理 有限公司 1 1614 专利代理师 高爽 (51)Int.Cl. G06V 40/10(2022.01) G06V 20/52(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) H04B 17/309(2015.01) H04N 7/18(2006.01) H04W 4/30(2018.01) (54)发明名称 一种基于Performer-Unet的WiFi人体姿态 估计算法 (57)摘要 本发明的基于Performer ‑Unet的WiFi人体 姿态估计算法， 采集人体活动视频， 提取包含人 体骨架点坐标的真实姿态标注信息和CSI数据， 输入人工神经网络中进行训练， 进行损失标注， 并采用梯度下降法优化人工神经网络， 获得模 型； 通过模型对采集视频的CSI数据流进行处理， 准确地识别人体姿态。 本发明在人体姿态识别算 法中引入跨模态技术， 训练基于WiFi的姿态识别 算法， 成本低廉、 应用范围广泛且具有良好的隐 私保护性， 极大地拓展姿态估计在多个领域的应 用范围， 弥补 传统算法应用的不足。 权利要求书3页 说明书6页 附图2页 CN 115171154 A 2022.10.11 CN 115171154 A 1.一种基于Performer ‑Unet的WiFi人体姿态估计算法， 其特征在于， 该算法包括以下 步骤： S1、 采集人体活动视频， 拆解为各种人体姿态的样本图像帧， 提取包含人体骨架点坐标 的真实姿态标注信息； 按时间戳获取 前述样本图像帧的CSI数据包即信道状态信息序列； S2、 将包含真实姿态标注信息的样本图像帧和按时间戳获取的对应样本图像帧的信道 状态信息序列输入人工神经网络中进行训练； 根据信道状态信 息序列获得人体姿态估计输出， 与对应样本图像帧的真实姿态标注信 息进行损失标注， 并采用梯度下降法优化人工神经网络， 直至神经网络收敛， 完成训练， 获 得Performer ‑Unet人体姿态估计模型； S3、 采用WiFi接收天线 实时采集待测的人体姿态CSI数据流， 输入P erformer ‑Unet人体 姿态估计模型， 根据CSI数据流获取 人体姿态。 2.根据权利要求1所述的基于Performer ‑Unet的WiFi人体姿态估计算法， 其特征在于 所述的人体姿态包括： 站、 立、 行、 走、 蹲、 跑、 跳； 所述的真实姿态标注信息为18个人体骨架 点坐标。 3.根据权利要求1所述的基于Performer ‑Unet的WiFi人体姿态估计算法， 其特征在于 步骤S1具体为： 在人体的两侧布置WiFi发送天线和WiFi接收天线， 在WiFi发送天线的一侧 布置监控摄像头， 且 所述监控摄像头与WiFi 发送天线对齐 设置， 用于拍摄人体的活动视频， 将视频拆解为包含人体姿态的样本图像帧； 采用WiFi接收天线实时采集人体姿态的CSI数 据流。 4.根据权利要求1所述的基于Performer ‑Unet的WiFi人体姿态估计算法， 其特征在于 步骤S1中， 真实姿态标注信息的获取 方式为： 采用人体姿态识别算法Alphapose对所述人体姿态的样本图像帧进行处理， 获取包含 人体骨架点 坐标的真实姿态标注信息PA； PA＝Alpha(Ik) 其中： k表示样本图像帧的帧序号， Ik表示摄像机所捕捉 的第k帧样本图像帧； Alpha() 表示人体姿态 识别算法； 根据真实姿态标注信息PA生成姿态标注坐标 及其置信度C： 其中： j表示骨架节点的编号； 代表第j个骨架点的坐标， Cj为该骨架点识别坐标的 置信度。 5.根据权利要求4所述的基于Performer ‑Unet的WiFi人体姿态估计算法， 其特征在于 步骤S1中， 信道状态信息即CSI数据流的获取方式为： 采用Matlab将信道状态信息CSI的数 据流拆分为按时间戳与每帧图像对应的CSI数据包。权　利　要　求　书 1/3 页 2 CN 115171154 A 26.根据权利要求5所述的基于Performer ‑Unet的WiFi人体姿态估计算法， 其特征在于， 步骤S2中训练过程具体包括： 步骤21、 构建教师网络T( ·)和学生网络S( ·)， 所述的教师网络用于存储样本图像帧 的真实姿态标注信息， 所述的学生网络用于存 储样本图像帧的CSI数据包； 步骤22、 学生网络S( ·)将该第k帧样本图像所对应的信道状态信息序列Xk输入到人工 神经网络Performer ‑Unet中， 并生成与姿态标注坐标 大小一致的姿态估计矩阵 其中： j表 示骨架节 点的编号； PU()代表使用模 型Performer ‑Unet对信道状态信息序列 数据Xk进行处理； 代表姿态估计矩阵中第j个骨架点的坐标； 步骤23、 在学生网络S( ·)中计算姿态标注坐 标 与姿态估计矩阵 的误差损失， 该处 采用L2损失计算学生网络的误差LS(·)： 其中： j表示骨架 节点的编号； Cj表示第j个骨架 节点的置信度； 分别表示真实姿态标注和姿态估计矩阵； 分别代表第j个骨架点位 置的坐标(xj， yj)； 步骤24、 学生网络S( ·)将计算的误差进行梯度回传， 通过梯度下降法优化网络 Performer ‑Unet， 直到网络收敛， 完成训练。 7.根据权利要求6所述的基于Performer ‑Unet的WiFi人体姿态估计算法， 其特征在于， 所述的PU()表示Performer ‑Unet人体姿态估计模型， 采用U形结构， 并在最底层的融合层 加入N层Performer层， 该模型的处 理步骤如下： 步骤22.1、 U形结构模型将输入的信道状态信息序列Xk进行三次下采样进行背景语义提 取， 下采样包括一次卷积Conv()操作和一次池化Pool()操作， 获得三次下采样的输出 步骤22.2、 将三次下采样后的序列信息 输入到N层Performer层中， 通过多头注 意力机制MulA ttn()提取 出姿态特 征序列 权　利　要　求　书 2/3 页 3 CN 115171154 A 3