(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210273185.8 (22)申请日 2022.03.18 (71)申请人 中国科学院自动化研究所 地址 100190 北京市海淀区中关村东路95 号 (72)发明人 马喜波　孙峥　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 任少瑞 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/40(2022.01) G06V 10/80(2022.01) G06V 10/34(2022.01) G06V 10/62(2022.01)G06V 10/82(2022.01) (54)发明名称 骨架行为识别方法、 装置及电子设备 (57)摘要 本发明提供一种骨架行为识别方法、 装置及 电子设备， 其中骨架行为识别方法， 包括： 确定待 识别动物的骨架数据； 基于预设骨架行为识别模 型， 对所述骨架数据进行全局特征提取， 基于所 述全局特征提取所得的第一骨架行为特征的相 关性以及第二骨架行为特征， 对 所述骨架数据进 行融合， 并基于融合所得的特征进行骨架行为识 别。 由于第一骨架行为特征和第二骨架行为特征 都是经由全局特征提取所得， 因此 都能够保留骨 架数据涵盖的待识别动物的骨架在时间和空间 维度上的真实行为， 进一步通过第一骨架行为特 征的相关性和第二骨架行为特征对骨架数据进 行融合的方式， 能够涵盖骨架行为涉及的各个肢 节动作， 从而有效提高了骨架行为识别的准确 率。 权利要求书2页 说明书12页 附图2页 CN 114821768 A 2022.07.29 CN 114821768 A 1.一种骨架行为识别方法， 其特 征在于， 包括： 确定待识别动物的骨架数据； 基于预设骨架行为识别模型， 对所述骨架数据进行全局特征提取， 基于所述全局特征 提取所得的第一骨架行为特征的相关性以及第二骨架行为特征， 对所述骨架数据进行融 合， 并基于融合所 得的特征进行骨架行为识别。 2.根据权利要求1所述的骨架行为识别方法， 其特征在于， 所述基于预设骨架行为识别 模型， 对所述骨架数据进行全局特 征提取， 包括： 基于预设骨架行为识别模型中的预设ST ‑GCN子模型， 对所述骨架数据进行通道变换； 按照预设通道维度， 对所述 通道变换后的骨架数据分别进行全局特 征提取。 3.根据权利要求1所述的骨架行为识别方法， 其特征在于， 所述第 一骨架行为特征的数 量大于所述第二骨架行为特征的数量时， 所述基于所述全局特征提取所得的第一骨架行为 特征的相关性以及第二骨架行为特 征， 对所述骨架数据进行融合， 包括： 基于所述全局特 征提取所得的各个第一骨架行为特 征之间的相关性， 确定相关矩阵； 基于所述相关矩阵和所述第二骨架行为特 征， 对所述骨架数据进行融合。 4.根据权利要求3所述的骨架行为识别方法， 其特征在于， 所述基于所述全局特征提取 所得的第一骨架行为特 征的相关性， 确定相关矩阵， 包括： 对每个基于所述全局特征提取所得的第 一骨架行为特征分别进行降维处理， 对应得到 第一目标骨架行为特 征； 计算所述第一目标骨架行为特 征的相关矩阵。 5.根据权利要求3所述的骨架行为识别方法， 其特征在于， 所述基于所述相关矩阵和所 述第二骨架行为特 征， 对所述骨架数据进行融合， 包括： 对所述第二骨架行为特 征进行降维处 理， 得到第二目标骨架行为特 征； 基于所述相关矩阵， 对所述第二目标骨架行为特 征进行重加权； 对所述重加权后的特 征进行升维处 理； 基于所述升维处 理后的特 征， 对所述骨架数据进行融合。 6.根据权利要求1所述的骨架行为识别方法， 其特征在于， 所述确定待识别动物的骨架 数据， 包括： 获取表征待识别动物日常行为的原 始视频数据； 对所述原 始视频数据进行 预处理及行为标注， 得到所述行为标注后的视频 数据； 基于预设动物姿态估计模型， 对所述行为标注后的视频数据进行骨架信息提取， 得到 所述待识别动物的骨架数据； 其中， 所述预设动物姿态估计模型是对人体姿态估计模型训 练后得到的。 7.根据权利要求1至6任一项所述的骨架行为识别方法， 其特征在于， 所述预设骨架行 为识别模型的训练过程包括： 基于预设动物姿态估计模型， 对样本动物视频进行逐帧预设关键点信息标注， 得到样 本骨架行为视频 数据； 基于所述样本骨架行为视频数据， 对初始骨架行为识别模型进行训练， 得到预设骨架 行为识别模型； 其中， 所述初始骨架行为识别模型是基于初始ST ‑GCN子模型和初始全局时 空编码模块构建的。权　利　要　求　书 1/2 页 2 CN 114821768 A 28.根据权利要求7所述的骨架行为识别方法， 其特征在于， 所述预设动物姿态估计模型 的训练过程包括： 对表征待识别动物日常行为的原 始视频数据进行 预处理； 对所述预处理后的视频数据进行逐帧预设关键点标注， 并使用预设关键点标注后的视 频数据对人体姿态估计模型进行训练， 得到预设动物姿态估计模型。 9.一种骨架行为识别装置， 其特 征在于， 包括： 确定单元， 用于确定待识别动物的骨架数据； 识别单元， 用于基于预设骨架行为识别模型， 对所述骨架数据进行全局特征提取， 基于 所述全局特征提取所得的第一骨架行为特征的相关性以及第二骨架行为特征， 对所述骨架 数据进行融合， 并基于融合所 得的特征进行骨架行为识别。 10.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至8任一项所 述骨架行为识别方法。权　利　要　求　书 2/2 页 3 CN 114821768 A 3