(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210365889.8 (22)申请日 2022.04.08 (71)申请人 华南理工大 学 地址 510641 广东省广州市天河区五山路 381号 (72)发明人 李弘洋　林杰鸿　贾奎　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 郑宏谋 (51)Int.Cl. G06V 10/74(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06T 7/50(2017.01)G06T 7/73(2017.01) G06T 17/00(2006.01) G06V 10/80(2022.01) (54)发明名称 一种物体六自由度姿态估计方法、 系统、 装 置及介质 (57)摘要 本发明公开了一种物体六自由度姿态估计 方法、 系统、 装置及介质， 其中方法包括： 提取目 标物体观测点云以及目标物体对应的三维模型 的点级深度特征， 获得两组深度特征； 对两组深 度特征进行特征的解耦， 获得姿态特征、 匹配特 征； 根据匹配特征获取部分到部分的关联关系以 及完整到完整的关联关系； 根据获得的两种关联 关系对姿态特征和匹配特征进行对齐， 获得姿态 特征对和匹配特征对； 根据匹配特征对对姿态特 征对进行挑选及聚合， 获得深度特征； 根据深度 特征对目标物体的六自由度姿态进行回归。 本发 明使用了部分到部分、 完整到完整这两种关联关 系， 得到一个描述二者之间相对姿态的深度特 征， 提高了估计结果的鲁棒性， 可广泛应用于计 算机视觉领域。 权利要求书3页 说明书9页 附图1页 CN 114821125 A 2022.07.29 CN 114821125 A 1.一种物体六自由度姿态估计方法， 其特 征在于， 包括以下步骤： 提取目标物体观测点云以及所述目标物体对应的三维模型的点级深度 特征， 获得两组 深度特征； 对所述两组深度 特征进行特征的解耦， 分别获得目标物体观测点云和三维模型的姿态 特征、 匹配特 征； 根据匹配特征获取目标物体观测点云中的每个点的深度特征到三维模型的每个点的 深度特征的部 分到部分的关联关系， 以及获取三 维模型中每个点的深度特征到目标物体观 测点云中每个点的深度特征的完整到完整的关联关系； 获得的这两种关联关系呈现出对偶 的性质； 根据获得的两种关联关系对姿态特征和匹配特征进行对齐， 获得姿态特征对和匹配特 征对； 根据匹配特征对对姿态特征对进行挑选及聚合， 获得包含有高质量姿态特征对的深度 特征； 根据所述包含有高质量姿态特征对的深度 特征对目标物体的六自由度姿态进行回归， 实现六自由度姿态的估计。 2.根据权利要求1所述的一种物体六自由度姿态估计方法， 其特征在于， 所述提取目标 物体观测 点云以及所述 目标物体对应的三维模型 的点级深度特征， 获得两组深度特征， 包 括： 对观测到的目标物体的点云信 息以及所述目标物体的对应的三维模型进行下采样， 分 别得到Nx和Ny个点； 对提取到的点进行体素化， 通过三维稀疏 卷积来提取二者体素级的特 征； 通过线性插值的方法将每个体素的特征映射到原始点上， 得到观测到的目标物体的每 个点的深度特 征 以及所述目标物体的对应的三维模型 上每个点的深度特 征 3.根据权利要求1所述的一种物体六自由度姿态估计方法， 其特征在于， 所述对所述两 组深度特征进行特征 的解耦， 分别获得目标物体观测 点云和三维模型 的姿态特征、 匹配特 征， 包括： 通过两个多层感知机， 对目标物体观测点云的每个点的深度特征 进行解耦， 获得用 于姿态估计的姿态特 征 以及用于寻找关联关系的匹配特 征 通过两个多层感知机， 对所述三维模型的每个点的深度特征 进行解耦， 获得用于姿 态估计的姿态特 征 以及用于寻找关联关系的匹配特 征 4.根据权利要求1所述的一种物体六自由度姿态估计方法， 其特征在于， 所述根据匹配 特征获取目标物体观测 点云中的每个点的深度特征到三维模型的每个点的深度特征的部 分到部分的关联关系， 以及获取三维模型中每个点的深度特征到目标物体观测点云中每个 点的深度特 征的完整到 完整的关联关系， 包括： 将目标物体观测点云中每个点用于寻找关联关系的匹配特征 与所述目标物体对应 的三维模型中每个点用于寻找关联关系的特征的转置 做点乘， 并通过Softmax函数来 对关联关系进行归一 化， 得到部分到部分的关联关系 权　利　要　求　书 1/3 页 2 CN 114821125 A 2将所述目标物体所应的三维模型中每个点用于寻找关联关系的特征 与目标物体观 测点云中每个点用于寻找关联关系的匹配特征的转置 做点乘， 并通过Softmax函数来 对关联性进行归一 化， 得到完整到完整的关联关系 5.根据权利要求1所述的一种物体六自由度姿态估计方法， 其特征在于， 所述根据获得 的两种关联关系对姿态特 征和匹配特 征进行对齐， 获得姿态特 征对和匹配特 征对， 包括： 使用部分到部分的关联关系A1分别对所述目标物体对应的三维模型的姿态特征 和 匹配特征 进行加权求和， 得到与目标物体观测点云中每个点相对应的姿态特征 和匹配特征 并使得姿态特征 通过一个多层感知机来回 归目标物体观测点云在标准姿态下的坐标 从而监督关联性A1的学习； 将特征 与特征 拼接在一起， 构成一组姿态特征对 将特征 与特征 拼接在一 起， 构成一组匹配特 征对 使用完整到完整的关联关系A2分别对目标物体观测点云的姿态特征 和匹配特征 进行加权求和， 得到与目标物体所对应的三维模型中每个点相对应的姿态特征 和匹配特征 并使得姿态特征 通过一个多层感知机来回归目标物体 所对应的三维模型在目标物体当前姿态下的坐标 从而监督关联性A2的学习； 将 特征 与特征 拼接在一起， 构成一组姿态特征对 特征 与特征 拼 接在一起， 构成一组匹配特 征对 将两组姿态特征对 与 组合成一组姿态特征对 将 两组匹配特 征对 和 组合成一组匹配特 征对 6.根据权利要求1所述的一种物体六自由度姿态估计方法， 其特征在于， 所述根据匹配 特征对对姿态特 征对进行挑选及聚合， 获得包 含有高质量姿态特 征对的深度特 征， 包括： 将匹配特征对P airmatch被放入一个多层感知机中来得到权重W来描述每一个匹配关系 的优劣程度； 使用该权重W对获得的姿态特征对PairPose进行挑选与聚合， 删除掉权重低于一定阈值 的姿态特征对， 对余下 的姿态特征对的权重进行归一化， 并使用归一化后的权重对权重所 对应的姿态特征对进 行加权求和， 获得一个蕴含有所有高质量姿态特征对信息的深度特征 f。 7.根据权利要求1所述的一种物体六自由度姿态估计方法， 其特征在于， 所述根据 所述 包含有高质量姿态特征对的深度特征对目标物体的六自由度姿态进行回归， 实现六自由度 姿态的估计， 包括： 采用多层感知机获得的深度特征f进行特征提取， 并回归出目标物体观测点云所带有权　利　要　求　书 2/3 页 3 CN 114821125 A 3