(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211203719.6 (22)申请日 2022.09.29 (71)申请人 达闼机器人股份有限公司 地址 201111 上海市闵行区中青路207号8 幢 (72)发明人 徐建明　 (74)专利代理 机构 北京太合九思知识产权代理 有限公司 1 1610 专利代理师 张爱　刘戈 (51)Int.Cl. G06T 13/40(2011.01) G06V 10/44(2022.01) G06V 10/46(2022.01) G06V 10/82(2022.01) G06V 40/20(2022.01)G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种舞蹈生成方法、 装置、 设备及存 储介质 (57)摘要 本申请实施例提供一种舞蹈生成方法、 装 置、 设备及存储介质。 在该方法中， 可 获取待合成 舞蹈的目标音频的特征值信息； 利用音频 ‑舞姿 匹配模型， 从预设的舞姿编码库中为多个音 频子 片段各自对应的音频特征值匹配符合预设条件 的舞姿编码， 得到舞姿编码序列； 并利用舞姿生 成模型， 将舞姿编码序列中的舞姿编码转换为对 应的舞蹈动作信息， 得到目标音频对应的舞蹈动 作序列。 其中， 音频 ‑舞姿匹配模型预先通过舞蹈 训练集中的音乐数据和舞蹈数据， 学习音乐的音 频特征值和舞蹈的舞姿编码的匹配 关系。 通过这 种方式， 可利用音频 ‑舞姿匹配模型为音频中的 每个子片段匹配与该音频子片段更加契合的舞 蹈动作， 使得整个音 频对应的舞蹈动作更加自然 和协调。 权利要求书2页 说明书12页 附图1页 CN 115471591 A 2022.12.13 CN 115471591 A 1.一种舞蹈生成方法， 其特 征在于， 包括： 获取待合成舞蹈的目标音频的特征值信息； 所述特征值信息包括： 所述目标音频中的 多个音频子片段 各自对应的音频 特征值； 利用音频 ‑舞姿匹配模型， 从预设的舞姿编码库中， 为所述多个音频子片段各自对应的 音频特征值匹配符合预设条件的舞姿编码， 得到舞姿编码序列； 利用舞姿生成模型， 将所述舞姿编码序列中的舞姿编码转换为对应的舞蹈动作信息， 得到所述目标音频对应的舞蹈动作序列； 其中， 所述音频 ‑舞姿匹配模型预先采用深度 学习算法， 通过舞蹈训练集中的音乐数据 和舞蹈数据， 学习音乐的音频特征值和舞蹈的舞姿编码的匹配关系； 所述舞姿生成模型预 先采用深度学习算法， 通过舞蹈训练集中的舞蹈数据， 学习 舞蹈的舞姿编码和舞蹈动作信 息的转换关系。 2.根据权利要求1所述的方法， 其特 征在于， 获取目标音频的特 征值信息， 包括： 利用音频特征值提取模型， 确定所述目标音频中的多个音频子片段各自对应的音频特 征值； 其中， 所述音频特征值提取模型， 预先通过舞蹈训练集中的音乐数据， 学习 音乐数据与 音频特征值的关系。 3.根据权利要求2所述的方法， 其特征在于， 利用音频特征值提取模型， 确定所述目标 音频中的多个音频子片段 各自对应的音频 特征值， 包括： 在所述音频 特征值提取模型中， 对所述目标音频进行分帧处 理， 得到多个音频子片段； 根据相邻音频子片段之间的音频变化趋势和每个音频子片段内的音频变化趋势， 计算 得到所述多个音频子片段对应的音频 特征值。 4.根据权利要求1所述的方法， 其特征在于， 所述舞姿编码库， 包括： 多个舞姿类型各自 的至少一个舞姿编码； 利用所述音频 ‑舞姿匹配模型， 从预设的舞姿编码库中， 为所述多个音频子片段各自对 应的音频 特征值匹配符合预设条件的舞姿编码， 得到舞姿编码序列， 包括： 针对所述多个音频子片段中的任一音频子片段， 利用所述音频 ‑舞姿匹配模型， 确定所 述音频子片段对应的音频 特征值所属的目标音频类型； 根据预设的音频类型与舞姿类型的对应关系， 确定所述目标音频类型对应的舞姿类 型， 作为所述音频子片段对应的目标 舞姿类型； 从所述目标舞姿类型的至少一个舞姿编码中， 选取与所述音频子片段匹配的舞姿编 码， 作为所述音频子片段的目标 舞姿编码； 根据所述多个音频子片段的排列顺序， 对所述多个音频子片段各自的目标舞姿编码进 行排序， 得到所述舞姿编码序列。 5.根据权利要求4所述的方法， 其特征在于， 从所述目标舞姿类型的至少一个舞姿编码 中， 选取与所述音频子片段匹配的舞姿编码， 作为所述音频子片段的目标 舞姿编码， 包括： 分别确定所述音频子片段与所述目标舞姿类型的至少一个舞姿编码的匹配度； 以及， 从所述目标舞姿类型的至少一个舞姿编 码中， 选择匹配度最高的舞姿编码作为所述音频子 片段的目标 舞姿编码， 或者， 随机从所述目标舞姿类型的至少一个舞姿编码中选取任一舞姿编码， 作为所述音频子权　利　要　求　书 1/2 页 2 CN 115471591 A 2片段的目标 舞姿编码； 或者， 确定所述目标舞姿类型的至少一个舞姿编码各自的舞蹈风格； 从所述目标舞姿类型的 至少一个舞姿编码中选取与用户偏好的舞蹈风格匹配度最高的舞姿编 码， 作为所述音频子 片段的目标 舞姿编码。 6.根据权利要求1 ‑5任一项所述的方法， 其特征在于， 所述舞蹈动作序列包括： 所述多 个音频子片段各自对应的关键点信息； 任一音频子片段的关键点信息包括： 受控对 象上的 多个三维人体关键点各自的目标位置和目标 方向。 7.根据权利要求6所述的方法， 其特征在于， 得到所述目标音频对应的舞蹈动作序列之 后， 还包括： 将所述舞蹈动作序列发送至所述受控对象， 以使所述受控对象上的多个三维人体关键 点沿着所述目标 方向移动至所述目标位置 。 8.一种舞蹈生成装置， 其特 征在于， 包括： 获取模块， 用于： 获取待合成舞蹈的目标音频的特征值信息； 所述特征值信息包括： 所 述目标音频中的多个音频子片段 各自对应的音频 特征值； 匹配模块， 用于： 利用音频 ‑舞姿匹配模型， 从预设的舞姿编码库中， 为所述多个音频子 片段各自对应的音频 特征值匹配符合预设条件的舞姿编码， 得到舞姿编码序列； 转换模块， 用于： 利用舞姿生成模型， 将所述舞姿编码序列中的舞姿编码转换为对应的 舞蹈动作信息， 得到所述目标音频对应的舞蹈动作序列； 其中， 所述音频 ‑舞姿匹配模型预先采用深度 学习算法， 通过舞蹈训练集中的音乐数据 和舞蹈数据， 学习音乐的音频特征值和舞蹈的舞姿编码的匹配关系； 所述舞姿生成模型预 先采用深度学习算法， 通过舞蹈训练集中的舞蹈数据， 学习 舞蹈的舞姿编码和舞蹈动作信 息的转换关系。 9.一种电子设备， 其特 征在于， 包括： 存 储器、 处理器以及通信组件； 其中， 所述存 储器用于： 存 储一条或多条计算机指令； 所述处理器用于执行所述一条或多条计算机指令， 以用于： 执行权利要求1 ‑7任一项所 述的方法中的步骤。 10.一种存储有计算机程序的计算机可读存储介质， 其特征在于， 当计算机程序被处理 器执行时， 致使处 理器实现权利要求1 ‑7任一项所述方法中的步骤。权　利　要　求　书 2/2 页 3 CN 115471591 A 3