(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111529547.7 (22)申请日 2021.12.14 (71)申请人 北京航空航天大 学 地址 100191 北京市海淀区学院路37号 (72)发明人 丁文锐　王晨晨　罗祎喆　王玉峰　 (74)专利代理 机构 北京永创新实专利事务所 11121 代理人 周长琪 (51)Int.Cl. H04W 28/02(2009.01) H04L 41/14(2022.01) H04L 41/147(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 20/00(2019.01)H02J 7/00(2006.01) H02J 50/00(2016.01) (54)发明名称 一种无人机计算卸载与充电服务效能优化 方法 (57)摘要 本发明公开了一种面向物联网的无人机计 算卸载与充电服务效能优化方法， 方法包括： 预 先构建强化学习网络； 感知当前环境状态； 基于 感知状态数据， 通过强化学习网络确定无人机的 动作； 基于无人机动作， 确定无人机的飞行路径 和对物联网传感器的计算卸载服务和充电服务 决策。 本发 明考虑到无人机既可以作为移动边缘 服务器提供计算卸载服务， 也可以作为无线充电 设备为物联网设备充电， 通过对物联网传感器位 置、 无人机位置、 无人机剩余电量、 物联网传感器 剩余电量、 物联网传感器任务信息、 无人机与物 联网传感器 之间的信道状态建模， 将深度强化学 习算法用于无人机航迹规划和用户服务决策， 计 算复杂度低， 有效提升了物联网系统的计算能力 和工作时长 。 权利要求书3页 说明书6页 附图2页 CN 114268986 A 2022.04.01 CN 114268986 A 1.一种无 人机计算卸载与充电服 务效能优化方法， 其特 征在于： 设计具体步骤为： 步骤1： 构建基于DQ N的深度强化学习网络； 步骤2： 感知当前环境状态信息， 通过步骤1中构建的深度强化学习 网络确定无人机的 可执行的动作； 步骤3： 基于所感知 当前环境状态信 息， 通过深度强化学习网络预测在该状态下所有动 作的价值， 并选择价值最大的动作， 进而确定无人机的飞行目标位置、 无人机服务目标以及 对物联网设备的服 务类型决策， 包括计算卸载服 务和充电服 务， 同时计算无 人机能耗； 步骤4： 计算奖励函数， 迭代更新DQ N深度强化学习网络 。 2.如权利要求1所述一种无人机计算卸载与充电服务效能优化方法， 其特征在于： 步骤 1中， 构建DQN算法， 包括现实网络和估计网络在内的神经网络结构， 二者输入皆为当前环 境 状态和无人机采取的动作， 输出为环 境状态‑动作对的价值； 同时构建记忆库存储无人机与 环境交互产生的数据， 包括每一次交 互产生的环境状态信息数据、 无 人机动作数据等。 3.如权利要求1所述一种无人机计算卸载与充电服务效能优化方法， 其特征在于： 步骤 2中： 当前环境状态信息包括各物联网设备的当前位置信息、 无人机的当前位置信息、 各物 联网设备当前剩余电量信息、 无人机 当前剩余电量信息、 各物联网设备计算任务大小信息、 无人机与所述各物联网设备之间的信道状态信息， 作为状态信息； 无人机的可执行的动作包括： 无人机飞行目标位置选择、 服务目标选择和服务类型选 择。 4.如权利要求3所述一种无人机计算卸载与充电服务效能优化方法， 其特征在于： 步骤 2中： 将环境状态信息数据表述 为下述矩阵形式： 其中， S(t)表示t时刻的环境状态信 息， 分别表示t时刻N个物联网设备的 位置； lV(t)表示t时刻无人机的位置； 分别表示t时刻N个物联网设备的剩余 电量； EV(t)表示t时刻无人机的剩余电量； 分别表示t时刻N个物联 网设备的 任务大小， 单位为比特； 分别表示t时刻N个物联网设备与无人机之间的信 道增益； 将无人机的可 执行的动作数据表述 为矩阵形式： A(t)＝[an(t),am(t),aT(t)] 其中， A(t)表示无人机在t时刻执行的动作， an(t)表示t时刻无人机选择服务的物联网 设备， an(t)∈{1,2, …,N}； am(t)表示t时刻无人机飞往的位置， am(t)∈{1,2, …,M}， 表示飞 往预先设置的M个接入点中的某一接入点； aT(t)表示t时刻无人机选择的服务类型， aT(t)∈ {0,1}， aT(t)＝0表示无 人机提供计算卸载服 务， aT(t)＝1表示无 人机提供充电服 务。 5.如权利要求1所述一种无人机计算卸载与充电服务效能优化方法， 其特征在于： 步骤 3中： 无人机能量消耗包括 4种能量消耗， 如下： (1)无人机飞行能耗： 指无人机水平飞行能耗， 考虑无人机以恒定的水平飞行速度Vf在 高度为h的空中飞行， 飞行功率为Pf， t时刻无人机的飞行能耗与当前时刻位置和 下一时刻 位置有关， 无人机在t时刻三维坐标系下的位置状态为lV(t)＝[xV(t),yV(t),h]， 则无人机权　利　要　求　书 1/3 页 2 CN 114268986 A 2飞行能耗 为： (2)无人机盘旋能耗： 指在t时刻无人机为物联网设备提供计算卸载服务或充电服务时 的盘旋能耗， 考虑无人机盘旋功率恒定为Ph， 在无人机提供计算卸载服务时， 考虑信道为直 视信道， 物联网设备n的位置状态 无人机与物联网设备n间的 信道增益与数据传输 速率分别为： 其中， B为信道 带宽， ρ0为在参考距离1米处的信道功率增益， Pn为物联网设备n的固定传 输功率， σ2为高斯白噪声功率， 则无 人机提供计算卸载服 务时盘旋能耗 为： 其中， 表示t时刻物联网设备n的任务大小， 单位为比特， 在无人机提供充电服务 时， 充电功率 为： 其中， P0无人机在提供充电服 务时的发射功率， β0为能量利用效率， β0∈(0,1)； 考虑物联网设备完整电量均为Eb， 为t时刻物联网设备n的剩余电量， 则无人机在 提供充电服 务时的盘旋能耗 为： (3)无人机计算能耗： 在 t时刻， 考虑有效电容为γc， 无人机CP U每处理1比特数据需要的 转数为C， 无 人机CPU频率为fc， 则无人机计算能耗 为： (4)无人机充电功耗 为： 因此， 无人机总能耗 为： W(t)＝ef(t)+(1‑aT(t))(eh‑compute(t)+ecompute(t))+aT(t)(eh‑charge(t)+echarge(t)) 无人机剩余能量 为： EV(t+1)＝EV(t)‑W(t)。 6.如权利要求1所述一种无人机计算卸载与充电服务效能优化方法， 其特征在于： 步骤 4中： 在无人机处理物联网设备卸载的计算任务与无人机为物联网设备充电任务时均会获 得正奖励， 定义奖励函数为： 权　利　要　求　书 2/3 页 3 CN 114268986 A 3