(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211019180.9 (22)申请日 2022.08.24 (71)申请人 中国传媒大 学 地址 100024 北京市朝阳区定福庄东 街1号 (72)发明人 张亚娜　周颖　吴艾秋　 (74)专利代理 机构 北京天达知识产权代理事务 所有限公司 1 1386 专利代理师 刘丰艺 (51)Int.Cl. G06V 40/20(2022.01) G06N 3/04(2006.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/776(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06V 20/40(2022.01) (54)发明名称 一种花样滑冰分层动作识别方法 (57)摘要 本发明涉及一种花样滑冰分层动作识别方 法， 属于图形图像识别技术领域， 解决了现有花 样滑冰动作识别不准确的问题。 方法包括： 获取 花样滑冰视频数据构建花样滑冰分层数据集； 基 于分层数据集构建骨骼点数据流、 骨骼数据流、 骨骼点运动数据流和骨骼运动数据流； 基于分层 细粒度图卷积神经网络结构构建花样滑冰分层 动作识别模 型； 基于构建的数据流训练所述花样 滑冰分层动作识别模型； 提取待识别视频的骨骼 点数据， 构建待识别视频的骨骼点数据流、 骨骼 数据流、 骨骼点运动数据流和骨骼运动数据流输 入训练好的花样滑冰分层动作识别模 型， 得到待 识别视频的花样滑冰动作识别结果。 实现了花样 滑冰动作的准确识别。 权利要求书3页 说明书13页 附图4页 CN 115311745 A 2022.11.08 CN 115311745 A 1.一种花样滑冰分层动作识别方法， 其特 征在于， 包括以下步骤： 获取花样滑冰视频数据构建花样滑冰分层数据集； 所述分层数据集包括骨骼点数据、 动作小类标签和动作大类标签； 基于分层数据集构建骨骼点数据流、 骨骼数据流、 骨骼点运动数据流和骨骼运动数据 流； 基于分层细粒度图卷积神经网络结构构建花样滑冰分层动作识别模型； 基于所述骨骼 点数据流、 骨骼数据流、 骨骼点运动数据流和骨骼运动数据流训练所述花样滑冰分层动作 识别模型； 提取待识别视频的骨骼点数据， 构建待识别视频的骨骼点数据流、 骨骼数据流、 骨骼点 运动数据流和骨骼 运动数据流输入训练好的花样滑冰分层动作 识别模型， 得到待识别视频 的花样滑冰动作识别结果。 2.根据权利要求1所述的花样滑冰分层动作识别方法， 其特征在于， 获取花样滑冰视频 数据构建花样滑冰分层数据集， 包括： 提取花样滑冰视频中每帧图像的骨骼点数据； 识别采集异常数据帧， 采用零 值填充异常数据帧； 对于缺失骨骼点数据的数据帧， 取当前帧的前一帧数据和当前帧后 缺失的骨骼点第 一 次被成功 识别时的数据帧的加权均值进行填充； 每帧图像的骨骼点数据和对应的动作小类标签及动作大类标签构成分层数据集。 3.根据权利要求1所述的花样滑冰分层动作识别方法， 其特征在于， 所述花样滑冰分层 动作识别模型包括四个分层 细粒度图卷积神经网络和决策融合模块； 每个所述分层细粒度图卷积神经网络包括多个图卷积单元、 多个注意力模块和一个分 层分类结构； 所述图卷积单 元用于提取输入数据的时空特 征； 所述注意力模块用于为图卷积单 元输出的时空特 征赋予注意力权 重； 所述分层分类结构用于基于 输入的特 征进行分层分类； 所述决策融合模块用于将所述分层细粒度图卷积神经网络的识别结果融合得到最终 识别结果。 4.根据权利要求3所述的花样滑冰分层动作识别方法， 其特征在于， 所述决策融合模块 采用以下公式计算 最终识别结果： 其中， zs表示样本的小类预测结果， zm表示样本的大类预测结果， 表示第一个分层 细粒度图卷积神经网络预测的第i个小类的概率， 表示第二个分层细粒度图卷积神经权　利　要　求　书 1/3 页 2 CN 115311745 A 2网络预测的第i个小类的概率， 表示第三个分层细粒度图卷积神经网络预测的第i个小 类的概率， 表示第四个分层细粒度图卷积神经网络预测的第i个小类的概率， 表示 第一个分层细粒度图卷积神经网络预测的第i个大类的概率， 表示第二个分层细粒度 图卷积神经网络预测的第i个大类的概率， 表示第三个分层细粒度图卷积神经网络预 测的第i个大类的概率， 表示第四个分层细粒度图卷积神经网络预测的第i个大类的 概率， argmax表示取最大值对应的序号， 是模型参数。 5.根据权利要求3所述的花样滑冰分层动作识别方法， 其特 征在于， 所述分层分类结构采用以下公式计算模型损失： 其中， 当样本j的小类表标签为第c个小类时， ， 否则， ； 当样本j的大 类标签为第d个大类时， ， 否则， ； 表示模型计算得到的样本j的小类 为第c个小类的概率， 表示模型计算得到的样本j的大类为第d个大类的概率， 表 示模型计算 得到的样本j的小类为第d个大类下第k个小 类的概率， Lsj表示样本j的小类分类 损失， Lmj表示样本j的大类分类损失， L表示总损失， ns表示小类数量， nm表示大类数量， md表 示大类d包 含的小类数量， N 为训练样本数。 6.根据权利要求3所述的花样滑冰分层动作识别方法， 其特征在于， 每个所述注意力模 块包括时空注意力子网络、 通道 注意力子网络和运动注意力子网络 。 7.根据权利要求3所述的花样滑冰分层动作识别方法， 其特 征在于， 所述多个图卷积单元和多个注意力模块交错设置， 所述注意力模块设置在输出通道数 大于输入通道数的图卷积单 元之前。 8.根据权利要求6所述的花样滑冰分层动作识别方法， 其特 征在于，权　利　要　求　书 2/3 页 3 CN 115311745 A 3