(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211044179.1 (22)申请日 2022.08.29 (71)申请人 安徽工业大学 地址 243002 安徽省马鞍山市湖东路59号 (72)发明人 汤曜坤　阮越　陈伟　韦雨馨　 傅陈章　张海澜　 (74)专利代理 机构 安徽思沃达知识产权代理有 限公司 342 20 专利代理师 赖学能 (51)Int.Cl. A01G 25/16(2006.01) G06F 30/27(2020.01) G06N 3/08(2006.01) G06F 111/10(2020.01) (54)发明名称 一种基于DQN算法的自动灌溉系统 (57)摘要 本发明公开了一种基于DQN算法的自动灌溉 系统， 包括土壤传感器、 云端 服务器、 水阀控制器 和手机APP， 所述土壤传感器通过5G/4 G通信将田 间土壤数据传递到云端服务器， 所述云端服务器 通过5G/4 G通信与手机APP实现数据交互， 所述手 机APP向云端服务器发送控制命令， 云端服务器 通过5G/4G通信传递控制命令到水阀控制器工 作； 所述云端服务器还包括云端模 型灌溉建议模 块， 所述云端模型灌溉建议模块基于DQN算法的 灌溉指导模 型。 本发明能够根据土壤实际墒情变 化做出实时的灌溉策略调整， 为灌溉提供精确指 导， 减少资源浪费严重， 提升投入与产出比。 权利要求书2页 说明书4页 附图4页 CN 115250889 A 2022.11.01 CN 115250889 A 1.一种基于DQN算法的自动灌溉系统， 包括土壤传感器、 云端服务器、 水阀控制器和手 机APP， 其特征在于： 所述土壤传感器通过5G/4G通信将田间土壤数据传递到云端服务器， 所 述云端服务器通过5G/4G通信与手机APP实现数据交互， 所述手机APP向云端服务器发送控 制命令， 云端服 务器通过5G/4G通信传递控制命令 到水阀控制器工作； 所述云端服务器还包括云端模型灌溉建议模块， 所述云端模型灌溉建议模块基于DQN 算法的灌溉指导模型； 所述基于DQN算法的灌溉指导模型使用LSTM产 量估计模型输出的产量值作 为奖励值R， 将含水量作为状态值S， 浇灌动作记为α； 记当前状态分值函数为Q(S， α )， 它结合将来状态对当前动作进行评估， 表示Agent在状 态S下执行动作α后， 直到当前Ep isode结束， 所获得的奖励总和的期望， 对于状态St， 执行动 作At， 有： Q(s， α )＝E[Rt+γRT+1+γ2Rt+2+…|At＝a， St＝st]              (1) 其中E为期望符号， γ为discount  factor(γ∈(0， 1))， 用于衡量未来奖励和当前奖励 对Q值的影响程度， γ越接近1则 未来奖励的影响越大， 我们在训练时取γ＝0.85， 记Q的最 优价值动作函数为 Q*， 有： Q*(s， α )＝maxE[Rt+γRT+1+γ2Rt+2+…|At＝a， St＝st]    (2)) 由此， 得到状态转移方程： Q(s， α )←maxQ(s， a)+a[TargetQ ‑Q(s， a)]           (3) 其中α 是γ的衰变学习率， 将Q作为标签， 进 而可以得到网络训练的损失函数： L( θ )＝E[(TargetQ( θ ) ‑Q(s， a， θ ) )2]              (4) 其中TargetQ 为： TargetQ( θ )＝R(s， a， s ’)+γmaxQ(s ’， a’， θ )             (5) 以上过程经过多轮训练迭代， 再 经过实地测试和修 正所得到灌溉指导数值TargetQ。 2.根据权利要求1所述的一种基于DQN算法的自动灌溉系统， 其特征在于： 所述水阀控 制器包括主控芯片、 通信模块、 压力 传感器和电机控制模块， 所述主控芯片通过通信模块 获 得来云端服务器的指令， 并将指令通知到电机控制模块， 电机控制模块操控电机工作扭动 阀门。 3.根据权利要求2所述的一种基于DQN算法的自动灌溉系统， 其特征在于： 所述电机控 制模块使用RTOS(实时操作系统)实现。 4.根据权利要求3所述的一种基于DQN算法的自动灌溉系统， 其特征在于： 所述电机控 制模块共设置4个任务， 其中控制电机的任务两个， 优先级相同， 均为2， 用于控制电机左转 和右转， 对应阀的开启和关闭， 电机作为唯一可占用资源， 使用互斥量上锁， 使用前需等待 另一任务释放； 第三个任务为电机截停任务， 优先级为3， 用于在阀关闭或打开到位时， 及时的关闭继 电器(电机电源)， 防止电机或阀受到损伤， 平常等待任务四的信号 量； 第四个任务为压力传感器检测任务， 持续检测压力传感器的值， 一旦检测到压力发生 突变， 说明阀已经截止， 立即释放信号 量。 5.根据权利要求1所述的一种基于DQN算法的自动灌溉系统， 其特征在于： 所述土壤传 感器监测土壤 湿度、 温度、 氮、 磷、 钾五种数据类型。权　利　要　求　书 1/2 页 2 CN 115250889 A 26.根据权利 要求5所述的一种基于DQN算法的自动灌溉系统， 其特征在于： 所述手机APP 包括传感器数据实时可视化显示模块， 所述传感器数据实时可视化显示模块以折线图的形 式显示土壤传感器监测数据。权　利　要　求　书 2/2 页 3 CN 115250889 A 3