(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210922155.5 (22)申请日 2022.08.02 (71)申请人 深圳市海清视讯科技有限公司 地址 518100 广东省深圳市宝安区西乡街 道固戍开发区泰华梧桐工业园8号建 筑3层 (72)发明人 苗瑞　周波　蔡芳发　莫少锋　 陈永刚　 (74)专利代理 机构 北京同立钧成知识产权代理 有限公司 1 1205 专利代理师 丁鑫　刘芳 (51)Int.Cl. G06V 40/10(2022.01) G06V 40/20(2022.01) G06V 20/64(2022.01)G06V 10/44(2022.01) G06V 10/774(2022.01) (54)发明名称 三维姿态的获取方法、 模型训练方法和相关 设备 (57)摘要 本发明提供一种三维姿态的获取方法、 模 型 训练方法和相关设备， 三维姿态的获取方法包 括： 获取待处理的二维图像， 并将所述待处理的 二维图像输入 预测模型， 得到所述预测模型预测 的人体的各个 关键点的目标二维坐标， 所述预测 模型根据各个二维样本图像训练得到， 至少部分 的所述二维样本图像中人体的关键点被遮挡； 将 各个所述目标二维坐标转换为对应的目标三维 坐标； 根据各个所述目标三维坐标 获取人体的三 维姿态。 本发明中， 预测模型是基于关键点被遮 挡的二维样 本图像训练得到的， 即便是二维图像 中关键点被遮挡， 也能准确的获取关键点的二维 坐标， 从而通过二维坐标所转换的三维坐标生成 准确的三维姿态。 权利要求书2页 说明书10页 附图6页 CN 115471863 A 2022.12.13 CN 115471863 A 1.一种三维姿态的获取 方法， 其特 征在于， 包括： 获取待处理的二维图像， 并将所述待处理的二维图像输入预测模型， 得到所述预测模 型预测的人体的各个关键点的目标二 维坐标， 所述预测模型根据各个二 维样本图像训练得 到， 至少部分的所述 二维样本图像中人体的关键点被遮挡； 将各个所述目标二维坐标转换为对应的目标三维坐标； 根据各个所述目标三维坐标获取 人体的三维姿态。 2.根据权利要求1所述的三维姿态的获取方法， 其特征在于， 所述将各个所述目标二维 坐标转换为对应的目标三维坐标， 包括： 将各个所述目标二维坐标输入至转换模型， 得到所述转换模型输出的各个所述目标二 维坐标对应的目标三维特 征。 3.一种模型训练方法， 其特 征在于， 包括： 获取样本数据集， 所述样本数据集包括多个二维样本 图像以及对应的标签数据， 至少 部分的所述二维样本图像中人体的关键点被遮挡， 所述标签数据是所述二维样本图像中人 体的关键点的二维坐标； 根据所述样本数据集， 对第 一预设模型进行训练， 得到预测模型， 所述预测模型用于获 取待处理的二维图像中人体的关键点的目标二维坐标。 4.根据权利要求3所述的模型训练方法， 其特征在于， 所述根据所述样本数据集， 对第 一预设模型进行训练， 得到所述预测模型， 包括： 将所述二维样本图像输入至第一预设模型的第一子模型得到人体的关键点的待处理 的二维坐标； 通过所述第一预设模型的第二子模型确定所述待处理的二维坐标与所述待处理的二 维坐标对应的关键点的标签数据之间的差异值； 在所述差异值小于或等于预设阈值， 停止对所述第一预设模型的训练， 并将停止训练 的所述第一预设模型确定为所述预测模型； 在所述差异值大于预设阈值， 调整所述第一预设模型的生成对抗网络的损 失函数， 并 将所述二 维样本图像输入至所述第一子模型， 且返回执行所述通过所述第一预设模型的第 二子模型确定所述待处理的二维坐标与所述待处理的二维坐标对应的关键点的标签数据 之间的差异值的步骤。 5.根据权利要求4所述的模型训练方法， 其特征在于， 所述调 整所述生成对抗网络的损 失函数， 包括： 获取所述二维样本图像中各个关键点的待处理的二维坐标所对应的第 一概率值， 并根 据各个所述第一 概率值调整所述第一子模型的损失函数； 根据所述第 二子模型确定所述第 一子模型输出真实的二维图像的概率值， 并根据 所述 概率值调整所述第二子模型 的损失函数， 其中， 所述真实的二维 图像中人体的关键点的二 维坐标是正确的二维坐标； 根据预设的映射关系、 所述第 一子模型的损失函数以及所述第 二子模型模型的损失函 数调整所述生成对抗网络的损失函数， 所述预设的映射关系 是第一子模型 的损失函数、 所 述第二子模型的损失函数与所述 生成对抗网络的损失函数之间的关系。 6.根据权利要求3 ‑5中任一项所述的模型训练方法， 其特征在于， 所述根据所述样本数权　利　要　求　书 1/2 页 2 CN 115471863 A 2据集， 对第一预设模型进行训练， 得到所述预测模型之后， 还 包括： 获取多个训练样本， 所述训练样本包括待训练的二维坐标以及所述待训练的二维坐标 对应的三维坐标， 所述待训练的二维坐标 是所述预测模型对人体的二维图像提取 得到； 根据各个所述训练样本对第二预设模型进行训练， 得到转换模型， 所述转换模型用于 将二维坐标转换为对应的三维坐标。 7.一种三维姿态的获取装置， 其特 征在于， 包括： 第一获取模块， 用于获取待处理的二维图像， 并将所述待处理的二维图像输入预测模 型， 得到所述预测模型预测的人体的各个关键点的目标二维坐标， 所述预测模型根据各个 二维样本图像训练得到， 至少部分的所述 二维样本图像中人体的关键点被遮挡； 转换模块， 用于将各个所述目标二维坐标转换为对应的目标三维坐标； 所述获取模块， 还用于根据各个所述目标三维坐标获取 人体的三维姿态。 8.一种模型训练装置， 其特 征在于， 包括： 第二获取模块， 用于获取样本数据集， 所述样本数据集包括多个二维样本 图像以及对 应的标签数据， 至少部分的所述 二维样本图像中人体的关键点被遮挡； 训练模块， 用于根据所述样本数据集， 对第一预设模型进行训练， 得到预测模型， 所述 预测模型用于获取待处 理的二维图像中人体的关键点的目标二维坐标。 9.一种设备， 其特 征在于， 包括： 存 储器和处 理器； 所述存储器存储计算机执 行指令； 所述处理器执行所述存储器存储的计算机执行指令， 使得所述处理器执行如权利要求 1‑2中任一项所述的三维姿态的获取 方法或权利要求3 ‑6中任一项所述的模型训练方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中存储有计算机 执行指令， 所述计算机执行指令被处理器执行时用于实现如权利要求1 ‑2中任一项所述的 三维姿态的获取 方法或权利要求3 ‑6中任一项所述的模型训练方法。权　利　要　求　书 2/2 页 3 CN 115471863 A 3