(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111568905.5 (22)申请日 2021.12.21 (71)申请人 中国人民解 放军空军 军医大学 地址 710423 陕西省西安市长乐西路169号 (72)发明人 张军超　靳豪杰　许浩　刘健　 高东怀　 (74)专利代理 机构 北京壹川鸣知识产权代理事 务所(特殊普通 合伙) 11765 专利代理师 杨艳平 (51)Int.Cl. H04W 24/02(2009.01) H04W 84/12(2009.01) G06N 20/00(2019.01) (54)发明名称 一种基于强化学习的双频W LAN调优方案 (57)摘要 本发明提供一种基于强化学习的双频WLAN 调优方案， 涉及无线局域网技术领域。 该基于强 化学习的双频WLAN调优方案， 包 括以下步骤： S1. 数据上报， 通过AP模块采集相关射频信息， 上报 给AI调优模块的数据采集模块， 这些信息由2.4 G 终端和5G终端分为2.4 G射频信息和5G射频信息； S2.信息整理， AI调优模块的数据采集模块接收 完整射频信息之后， 整理成统一的格式发送给AI 调优模块的收益评估模块， 这个统一的格式可以 是收集齐整网的AP上报信息。 本发明提供一种基 于强化学习的双频WLAN调优 方案， 该方案能够通 过强化学习和用户体验反馈进行调优， 同时也能 够使得2.4G射频和5G射频做协同调优， 从而实现 网络调优的次数越多， 整网用户体验越好的作 用。 权利要求书2页 说明书4页 附图1页 CN 114501494 A 2022.05.13 CN 114501494 A 1.一种基于强化学习的双频W LAN调优方案， 其特 征在于， 包括以下步骤： S1.数据上报 通过AP模块(2)采集相关射频信息， 上报给AI调优模块(1)的数据采集模块(6)， 这些信 息由2.4G终端(3)和5G终端(4)分为2.4G射频信息和5G射频信息； S2.信息整理 AI调优模块(1)的数据采集模块(6)接收完整射频信息之后， 整理成统一的格式发送给 AI调优模块(1)的收益评估模块(7)， 这个统一的格式可以是收集齐整网的AP上报信息， 然 后以一个固定的时间频率发送； S3.整理传输 AI调优模块(1)收益评估模块(7)把接收到的数据整理为state和reward后， 发给AI调 优模块(1)的强化学习决策模块(8)； S4.数据处 理 AI调优模块(1)的强化学习决策模块(8)收到reward和state后， 会做两个处理： a.根据 reward优化自身的决策模型， b.根据state输出action， 包括每个2.4G射频的功率、 每个5G 射频的功率； S5.最终处 理 AC模块(5)收到AI调优模块(1)的强化学习决策模块(8)下发的action后， 向各个AP的 2.4G射频和5G射频发送 功率配置命令， AP模块(2)收到功率配置后， 更改功率。 2.根据权利 要求1所述的一种基于强化学习的双频WLAN调优方案， 其特征在于： 所述S1 中2.4G射频信息具体的为整网的2.4G射频个数， 每个2.4G射频的功率、 信道、 频宽、 吞吐率、 信道利用率、 同频干扰率、 连接终端 数、 终端平均下行RSSI、 终端平均上行RSSI、 终端平均吞 吐率、 终端平均连接 速率、 终端平均时延、 终端平均丢包率。 3.根据权利 要求1所述的一种基于强化学习的双频WLAN调优方案， 其特征在于： 所述S1 中5G射频信息具体的为整网的5 G射频个数， 每个5G射频的功 率、 信道、 频宽、 吞吐率、 信道利 用率、 同频干扰率、 连接终端数、 终端平均下行RSSI、 终端平均上行RSSI、 终端平均吞 吐率、 终端平均连接 速率、 终端平均时延、 终端平均丢包率。 4.根据权利 要求1所述的一种基于强化学习的双频WLAN调优方案， 其特征在于： 所述S3 中state具体的为整网的2.4G射频个数， 每个2.4G射频的功率、 信道、 频宽、 吞吐率、 连接终 端数、 终端平均吞吐率， 整网的5 G射频个数， 每个5G射频的功 率、 信道、 频宽、 吞吐率、 连接终 端数、 终端平均吞吐率。 5.根据权利 要求1所述的一种基于强化学习的双频WLAN调优方案， 其特征在于： 所述S3 中reward具体的为每个2.4G射频的信道利用率、 同频干扰率、 终端平均下行RSSI、 终端平均 上行RSSI、 终端平均连接速率、 终端平均时延、 终端平均丢包率， 每个5G射频的信道利用率、 同频干扰率、 连接终端数、 终端平均下行RSSI、 终端平均上行RSSI、 终端平均连接速率、 终端 平均时延、 终端平均丢包率。 6.根据权利 要求1所述的一种基于强化学习的双频WLAN调优方案， 其特征在于： 所述S1 中数据采集模块(6)用于采集各种射频信息， 包括AP模块(2)的功 率、 频宽、 信道、 吞吐率、 信 道利用率、 同频干扰率， 2.4G射频连接终端的个数， 5 G射频连接终端个数， 终端的速率、 丢包 率、 时延。权　利　要　求　书 1/2 页 2 CN 114501494 A 27.根据权利 要求1所述的一种基于强化学习的双频WLAN调优方案， 其特征在于： 所述S3 中的强化学习决策模块(8)是AI调优模块(1)的核心模块， 内部有根据历史调优数据建立的 决策模型， 它会基于收益评估模块(7)上报当前的st ate， 给出一个倾 向于把网络调整的更 好的action， 每个射频的推荐功率配置， 同时它还会根据收益评估模块(7)上报的reward是 正向收益或者负向 收益来优化自己的决策模型， 实现网络越跳越好。 8.根据权利要求1所述的一种基于强化学习的双频WLAN调优方案， 其特征在于： 所述的 步骤能够循环进行其循环间隔根据需求进行调节。权　利　要　求　书 2/2 页 3 CN 114501494 A 3