(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210354433.1 (22)申请日 2022.04.06 (71)申请人 华中科技大 学 地址 430074 湖北省武汉市洪山区珞喻路 1037号 (72)发明人 尤新革　彭勤牧　夏北浩　王向锋　 (74)专利代理 机构 深圳市六加知识产权代理有 限公司 4 4372 专利代理师 向彬 (51)Int.Cl. G06V 20/50(2022.01) G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于语义一致性的轨迹预测方法及装 置 (57)摘要 本发明公开了一种基于语义一致性的轨迹 预测方法及装置。 其方法包括获取智能体的历史 轨迹坐标和场景图像； 通过上下文感知模块编码 所述智能体的轨迹坐标和场景图像， 获取智能体 的迁移图像， 再通过第一卷积神经网络提取所述 迁移图像的上下文特征； 利用长短记忆网络模块 提取智能体的历史轨迹特征， 并将提取的历史轨 迹特征与所述上下文特征融合， 通过上下文解码 器解码， 获取智 能体的预测轨迹。 本发明利用上 下文感知模块轨迹坐标和场景图像进行编码， 获 取场景下的活动语义和社会交互关系特征， 将不 同时刻的特征映射到迁移图像， 在语义层面上将 这些特征对齐， 实现智能体轨迹预测中消除不同 物理环境、 不同社会交互， 以及社会交互与场景 交互差异的目的。 权利要求书3页 说明书12页 附图3页 CN 114882426 A 2022.08.09 CN 114882426 A 1.一种基于语义 一致性的轨迹预测方法， 其特 征在于， 包括： 获取智能体的历史轨 迹坐标和场景图像； 通过上下文感知模块编码所述智能体的轨迹坐标和场景图像， 获取智能体的迁移图 像， 再通过第一卷积神经网络提取 所述迁移图像的上 下文特征； 利用长短记忆网络模块提取智能体的历史轨迹特征， 并将提取的历史轨迹特征与 所述 上下文特征融合， 通过 上下文解码器解码， 获取智能体的预测轨 迹。 2.根据权利要求1所述的基于语义一致性的轨迹预测方法， 其特征在于， 所述上下感知 模块包括物理迁移子模块和社会迁移子模块， 所述物理迁移子模块用于从场景图像中获得 智能体的活动语义， 所述社会迁移子模块用于获取智能体的社会交 互关系。 3.根据权利要求2所述的基于语义一致性的轨迹预测方法， 其特征在于， 所述从场景图 像中获得智能体的活动语义， 具体步骤 包括： 在具体场景中， 通过核密度估算方法获取 数据集中轨 迹概率密度； 利用映射关系函数将智能体的场景图像网格化， 从而获取每个网格的活动语义的监督 标签； 通过物理迁移子模块内的第二卷积神经网络获取网格化场景图像的活动语义。 4.根据权利要求2所述的基于语义一致性的轨迹预测方法， 其特征在于， 通过能量角度 来描述智能体的社会交 互关系， 所述获取智能体的社会交 互关系， 具体步骤 包括： 选定目标智能体， 获取目标智能体能量的影响因子； 通过目标智能体能量的影响因子， 定义目标智能体的社会交互能量函数， 并获取目标 智能体的社会交 互关系能量 函数的表达式。 5.根据权利要求2所述的基于语义一致性的轨迹预测方法， 其特征在于， 所述社会交互 关系能量 函数的表达式为： 其中 ， Ei表示 智能 体i的 社会交互关 系能 量 ， f 表示能 量函数 ， 是初始能量函数， j表示i周围的智能体， Xi表示智能体i的轨迹， 表示j的轨迹， 的上标“/i”表示除i外的周围智能体， (gx， gy)表示i 的网格坐标， 表示j的网格坐标， P0是先验预测器， θij表示智能体i与j之间的相对权　利　要　求　书 1/3 页 2 CN 114882426 A 2能量增长因子， {h1， h2， h3}是能量函数f的带宽， { λ1， λ2， λ3}为超参数。 6.根据权利要求4所述的基于语义一致性的轨迹预测方法， 其特征在于， 所述智能体能 量的影响因子包括： 目标智能体主观 意识的影响、 周围智能体对目标智能体的影响， 以及周 围智能体与目标智能体之间的社交距离的影响中的一种或多种。 7.根据权利要求4所述的基于语义一致性的轨迹预测方法， 其特征在于， 在获取智能体 的预测轨迹后， 还包括利用损失函数对整个网络损失进行端到端的训练， 获取满足社会规 则和物理约束的轨 迹， 具体为： 损失函数对整个网络进行训练， 通过训练对智能体的预测轨迹误差进行弥补， 获取智 能体合理的轨 迹值； 损失函数通过最小化智能体活动语义监督标签和从场景图像推理得到的智能体活动 语义的误差， 对物理迁移子模块内的第二卷积神经网络进行训练； 在迁移图像的条件下， 损 失函数对整个网络进行训练， 通过训练保证整个网络预测具 有较低的社会交 互能量。 8.根据权利要求3所述的基于语义一致性的轨迹预测方法， 其特征在于， 所述利用映射 关系函数将智能体的场景图像网格化， 具体包括： 获取智能体的轨 迹坐标； 利用智能体坐标的换算关系， 将智能体轨 迹坐标换算成智能体的网格坐标。 9.根据权利要求7所述的基于语义一致性的轨迹预测方法， 其特征在于， 所述损失函数 为： 其中， 表示轨迹平均距离损失函数， 表示迁移损失函数， 表示上下文一致性损 失函数， { μ1， μ2， μ3}为一组平衡参数， Yi表示智能体i未来的实 时轨迹， 表示表示对智能体 i未来的预测轨迹， Ti表示智能体i的活动语义监督标签， 可训练卷积神经网络给出 的智 能体i活动概率， Ci表示迁移图像， 表示智能体i预测的网格坐标， mp→g和m表示坐标 换算因子 。 10.一种基于语义 一致性的轨迹预测装置， 其特 征在于， 包括： 至少一个处 理器； 至少一个存 储器； 其中， 所述至少一个处理器以及所述至少一个存储器相互通信连接， 所述至少一个存 储器存储有可被所述至少一个处理器执行 的指令， 所述指令被所述至少一个处理器执行， 以使所述至少一个处理器能够执行本发明权利要求1 ‑9任一项权利要求所提供的基于语义权　利　要　求　书 2/3 页 3 CN 114882426 A 3