(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111538078.5 (22)申请日 2021.12.15 (71)申请人 中国科学院深圳先进技 术研究院 地址 518000 广东省深圳市南 山区深圳大 学城学苑大道1068号 (72)发明人 崔允端　李慧云　彭磊　 (74)专利代理 机构 深圳中一联合知识产权代理 有限公司 4 4414 代理人 汪海琴 (51)Int.Cl. G05D 1/02(2020.01) G06K 9/00(2022.01) G06K 9/62(2022.01) G06N 7/00(2006.01) G06N 20/00(2019.01) (54)发明名称 一种概率滤波强化学习无人船控制方法、 装 置及终端设备 (57)摘要 本申请适用于无人驾驶控制技术领域， 提供 了一种概率滤波强化学习无人船控制方法、 装置 及终端设备， 方法包括： 获取t时刻的无人船的第 一状态数据、 第一控制信号和t ‑1时刻的第二控 制信号， 对第一状态数据、 第一控制信号及第二 控制信号进行偏差补偿处理， 得到偏差补偿信 号， 根据偏差补偿信号进行规划， 得到目标控制 信号， 根据目标控制信号控制无人船在t+1时刻 的运动状态， 实现对不断变化复杂海洋环境中扰 动因素的实时响应， 从而提高应对复杂海洋环境 的泛化能力、 控制能力及稳定性能。 权利要求书2页 说明书13页 附图3页 CN 114371700 A 2022.04.19 CN 114371700 A 1.一种概 率滤波强化学习无 人船控制方法， 其特 征在于， 包括： 获取t时刻的所述无人船的第一状态数据、 第一控制信号和t ‑1时刻的第二控制信号， 所述第一控制信号用于控制所述无人船在所述t 时刻的运动状态， 所述第二控制信号用于 控制所述无 人船在所述t ‑1时刻的运动状态； 对所述第一状态数据、 所述第一控制信号及所述第二控制信号进行偏差补偿处理， 得 到偏差补偿信号； 根据所述偏差补偿信号进行规划， 得到目标控制信号； 根据所述目标控制信号控制所述无 人船在t+1时刻的运动状态。 2.如权利要求1所述的概率滤波强化学习无人船控制方法， 其特征在于， 所述对所述第 一状态数据、 所述第一控制信号及所述第二控制信号进行偏差补偿处理， 得到偏差补偿信 号， 包括： 将所述第一状态数据和第 二控制信号输入至预训练 的基于概率滤波的强化学习 模型， 对所述第一状态数据和所述第二控制信号进行概 率滤波处 理， 得到预测状态信号； 对所述预测状态信号和所述第一控制信号进行偏差补偿处 理， 得到偏差补偿信号。 3.如权利要求1所述的概率滤波强化学习无人船控制方法， 其特征在于， 所述根据 所述 偏差补偿信号进行规划， 得到目标控制信号， 包括： 将所述偏差补偿信号输入至预测控制器并进行求解， 使所述预测控制器的目标函数满 足预设的约束条件， 得到所述目标控制信号。 4.如权利要求3所述的概率滤波强化学习无人船控制方法， 其特征在于， 所述目标函数 为： 其中， s表示时间， H表示对于服从高斯 分布的偏差补偿的预测分布， xs表示第s时刻的偏 差补偿信号， us表示第s时刻待优化的预设控制信号， 表示目标控制信号序列， 表示t+1时刻的目标控制信号。 5.如权利要求3所述的概率滤波强化学习无人船控制方法， 其特征在于， 所述约束条 件： 所述目标控制信号位于预设数据范围内， 所述预设数据范围包括最大预设数值和最小 预设数值： [ μs+1,∑s+1]＝h( μs,∑s,us),xs～N( μs,∑s)； us∈[umin,umax]； 其中， μ表示期望， ∑表示方差， N表示目标控制信号服从高斯分布， umin表示最小预设数 值， umax表示最大预设数值。 6.如权利要求1所述的概率滤波强化学习无人船控制方法， 其特征在于， 所述方法， 还 包括： 获取训练数据集； 其中， 所述训练数据集包括多个连续时刻的状态训练数据及与每个 状态训练数据对应的下一时刻的控制训练数据； 通过所述训练数据集对基于概率滤波的强化学习 模型进行迭代训练， 得到预训练的基 于概率滤波的强化学习模型。权　利　要　求　书 1/2 页 2 CN 114371700 A 27.一种概 率滤波强化学习无 人船控制装置， 其特 征在于， 包括： 数据通信模块， 用于获取t时刻的所述无人船的第一状态数据、 第一控制信号和t ‑1时 刻的第二控制 信号， 所述第一控制信号用于控制所述无人船在所述t时刻的运动状态， 所述 第二控制信号用于控制所述无 人船在所述t ‑1时刻的运动状态； 数据处理模块， 用于对所述第一状态数据、 所述第一控制信号及所述第二控制信号进 行偏差补偿处 理， 得到偏差补偿信号； 信号预测模块， 用于根据所述偏差补偿信号进行规划， 得到目标控制信号； 控制模块， 用于根据所述目标控制信号控制所述无 人船在t+1时刻的运动状态。 8.如权利要求7所述的概率滤波强化学习无人船控制装置， 其特征在于， 所述数据处理 模块， 包括： 概率滤波处理单元， 用于将所述第 一状态数据和第 二控制信号输入至预训练 的基于概 率滤波的强化学习模型， 对所述第一状态数据和所述第二控制信号进行概率滤波处理， 得 到预测状态信号； 偏差补偿处理单元， 用于对所述预测状态信号和所述第一控制信号进行偏差补偿处 理， 得到偏差补偿信号。 9.一种终端设备， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器上 运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求1至6 任一项所述的方法。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处 理器执行时实现如权利要求1至 6任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114371700 A 3