(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210494320.1 (22)申请日 2022.05.07 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市下沙高教园区2 号大街 (72)发明人 袁友伟　彭瀚　郑超　姜添　 鄢腊梅　 (74)专利代理 机构 杭州君度专利代理事务所 (特殊普通 合伙) 33240 专利代理师 朱亚冠 (51)Int.Cl. G06V 40/20(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种融合拓展决策和注意力网络的行为动 态识别方法 (57)摘要 本发明公开一种融合拓展决策和注意力网 络的行为动态识别方法。 远端服务器接收到本地 设备传输的数据， 利用Mu ltiAtt深度融合注意网 络进行人体行为识别； 本地设备将上述预处理后 的数据进行动态任 务调度； 利用Mu ltiAtt深度融 合注意网络反馈的贡献分值向量为XGBoost 拓展 决策网络的输入通道数据进行阈值筛选， 并对本 地设备数据使用XGBoo st拓展决策树算法进行行 为识别。 本方法在服务器端执行Mu ltiAtt深度融 合注意网络， 与本地设备端的XGBoost拓展决策 网络通过人体识别任务动态调度算法进行结合， 以实现在不同场景 下自适应动态感知人体行为。 权利要求书6页 说明书18页 附图5页 CN 114783063 A 2022.07.22 CN 114783063 A 1.一种融合拓展决策和注意力网络的行为动态 识别方法， 其特 征在于包括以下步骤： 步骤(1)： 通过传感器采集数据， 删除无用数据和噪声数据进行数据清洗， 然后进行数 据分解： 步骤(1.1)： 对 采集完毕的传感器数据进行整理和定义； 令P＝{P1,P2,…PM}为传感器所采集到的数据， M代表片段数； 令 表示 第i个数据片段收集到的传感器数据集， 其中 代表第Pi个片段上的时间 序列， 代表第Pi个片段上发生的事件总数， 代表第Pi个片段各时间 序列对应的传感器数据， 令 代表传感器上的一个事件， 其中 而一个人体行为活动序列b是 m个事件的序列， b＝{a1,a2,…,am}； 令D＝{D1,D2,…,DN}代表一个独立的传感器的数据 集合， 其中N表示人体放置的不同传 感器的数量， 因此 即在任意的Pi个片段中产生的传感器序列数据都是在D集合中 定义的； 步骤(1.2)： 对时序信息进行格式转换； 将时序信息转换为时间戳的方式进行格式转换， 计算公式如下： P.tim[i]＝{P.D,P.D [i].hour ×60×60+P.D[i].minute×60+P.D[i].seco nd} 其中i∈(0,Z]， Z表示最大数据条数， P.D表示日期时间戳， P.D[i]的各类型后缀对应 时、 分、 秒的数据， P.tim[i]返回转换 得到的总时间戳； 步骤(1.3)： 定义动作集和综合差； 定义动作集S1， 是由各个时间片段的人体行为活动序列组成的， 其公式如下 所示： 其中 表示在动作集S1中第β1个人体行为活动序列， 表示在人体行为活动序列b1中 第m1个事件； 定义综合差， 将由传感器产生的数据划分为两个部分， 包括时序差和均值差； 总的差值 衡量标准 为两者的综合， 综合差越小， 两个时间段 是同一种行为的可能性越大， 公式如下： 其中 为第i个时间段与第j个时间段 之间的综合差； 是第i个时间段和第 j个时间段之间的时间差， 表示第i个时间段与第j个时间段之间各类别变换大于 一定阈值数据的均值差加权和， 为第i个时间段和第j个 时间段传 感器出现一定阈 值变换的数据的类别总数； 步骤(1.4)： 进行动作分解；权　利　要　求　书 1/6 页 2 CN 114783063 A 2将 简化得： 其中Pi代表第i个时间段， Pj代表第j个时间段； 代表通过设定阈值筛选出的出 现一定变化的数据项总数； 是 和 之间的时间差， 表示 与 之 间各类别变换大于一定阈值数据的均值差加权和； 利用公式将一定时间段的人体行为数据 进行分析处 理， 整合出n段 行为动作， 即S＝{S1,S2,…,Sn}； 当传感器采 集到新的数据Pj时， 将其与 历史数据S 进行对比： 遍历历史数据S中所有行为 模式时间片段， 寻找 最小值对应的时间片段， 认为该时间片段对应的行为模式为Pj 的行为模式， 从而完成人体行为动作切分； 步骤(2)： 对上述预处理后得到的数据判断是否初次输入； 若是， 则执行步骤3， 若否， 执 行步骤4； 步骤(3)： 远端服务器接收到本地设备传输的数据， 利用MultiAtt深度融合注意网络进 行人体行为识别， 然后将识别 数据发送给分类器进行行为分类； 所述MultiAtt深度融合注 意网络是在基础的卷积神经网络上加入了多视图卷积编码器和融合注意门得到； 步骤(4)： 本地设备将上述预处理后的数据通过人体感知识别任务动态调度方法来进 行动态任务调度； 步骤(5)： 利用MultiAtt深度融合注意网络反馈的贡献分值向量为XGBoost拓展决策网 络的输入通道数据进行阈值筛选， 并对调度到本地设备的数据使用XGBoost拓展决策树算 法进行行为识别。 2.如权利要求1所述的一种融合拓展决策和注意力网络的行为动态识别方法， 其特征 在于步骤(3)所述MultiA tt深度融合注意网络具体如下： 步骤(3.1)： 通过多视图卷积编码器 计算视图参数； 利用两个卷积特征编码器， 即通道编码器和全局编码器， 分别从特定通道和全局视 图 中提取抽象特 征的方法； 假定输入的人体信号片段由n个通道组成， 表示为X＝{x1,x2,...,xn}； 给定第i个通道 的输入向量xi， 通道视图yi通过Encoderj通道编码器得到， 如下 所示： yi＝Encoderj(xi, βj) 其中βj是Encoderj中的学习参数； 全局视图yk通过全局编码器 计算得到， 如下 所示： yk＝Encoderk(xi, βk)权　利　要　求　书 2/6 页 3 CN 114783063 A 3