(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111625067.0 (22)申请日 2021.12.28 (71)申请人 山东科技大 学 地址 266590 山东省青岛市黄岛区前湾港 路579号 (72)发明人 张玉敏　吉兴全　尹孜阳　张旋　 于一潇　杨子震　刘志强　朱应业　 赵国航　刘小虎　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 代理人 闫圣娟 (51)Int.Cl. G06F 30/18(2020.01) G06F 30/27(2020.01) G06N 7/00(2006.01)G06N 20/00(2019.01) G06Q 50/06(2012.01) G06F 113/04(2020.01) (54)发明名称 基于分支双重深度Q网络的配网实时动态重 构方法及系统 (57)摘要 本公开提出了基于分支双重深度Q网络的配 网实时动态重构方法及系统， 重构方法， 包括如 下过程： 获取配电网实时节点负荷和分布式电源 出力； 将获取的数据传输至基于马尔可夫决策过 程MDP构建的动态DNR模型； 所述动态DNR模型以 最小化网损成本和开关动作成本为目标函数； 基 于配电网环路分解得到分支双重深度Q网络， 采 用Q学习算法对动态DNR模型进行求解， 获得使得 分支双重深度Q网络输出回报最大的开关动作集 合， 根据开关动作集合更新配电网的拓扑结构。 本公开通过挖掘动态DNR决策变量和决策结果之 间的时序动态变化规律， 在 线应用时无需进行潮 流建模和分段决策， 且不依 赖日前的负荷和分布 式电源出力预测， 能够大大提高配电网的运行性 能。 权利要求书2页 说明书12页 附图8页 CN 114282330 A 2022.04.05 CN 114282330 A 1.基于分支双重深度Q网络的配网实时动态重构方法， 其特 征是， 包括如下 过程： 获取配电网实时节点负荷和分布式电源出力； 将获取的数据传输至基于马尔可夫决策过程MDP构建的动态DNR模型； 所述动态DNR模 型以最小化网损成本和开关动作成本为目标函数； 基于配电网环路分解改进得到分支双重深度Q网络， 采用Q学习算法对动态DNR模型进 行求解， 获得使得分支双重深度Q网络输出回报最大的开关动作集合， 根据开关动作集合更 新配电网的拓扑 结构。 2.如权利要求1所述的基于分支双重深度Q网络的配网实时动态重构方法， 其特征是： 基于马尔可夫决策过程构建动态DN R模型， 具体为： 将节点负荷和分布式电源出力整合为节 点注入功率， 将节点注入功率和断开的开关的集 合作为马尔可 夫决策过程的状态集 合。 3.如权利要求1所述的基于分支双重深度Q网络的配网实时动态重构方法， 其特征是： 基于马尔可夫决策过程构建动态DN R模型， 具体为： 设置配电网运行成本的倒数为马尔可夫 决策过程的即时回报， 所述即时回报还包括惩罚项， 所述惩罚项用于惩罚 不符合系统安全 约束的开关动作策略。 4.如权利要求1所述的基于分支双重深度Q网络的配网实时动态重构方法， 其特征是： 基于配电网环路分解， 得到的分支双重深度Q网络的结构为： 以配电网中的环路数作为Q学 习算法网络的输出维度， 每一维度输出向量的维度为所属环路的开关数量。 5.如权利要求4所述的基于分支双重深度Q网络的配网实时动态重构方法， 其特征是： 采用贪婪选择 策略选择Q学习算法网络的输出维度中回报最大的开关， 作为决策动作开关。 6.如权利要求4所述的基于分支双重深度Q网络的配网实时动态重构方法， 其特征是： 还包括对分支双重深度Q网络训练的步骤， 包括如下： 获取配电网的历史运行 数据， 以及配电网的网络结构参数， 构建训练集； 初始化分支双重深度Q网络的结构和参数， 生成初始经验 池， 开始算法迭代； 初始化状态向量， 从经验 池中采集样本并输入至分支双重深度Q网络； 根据采集样本 中开关动作集合， 计算分支双重深度Q网络的输出以及损失函数， 并更新 经验池； 利用梯度下降法优化分支双重深度Q网络的参数， 进行下一轮迭代， 直到遍历训练集的 数据。 7.如权利要求6所述的基于分支双重深度Q网络的配网实时动态重构方法， 其特征是： 初始经验 池的数据采用配电网的历史数据集代替。 8.如权利要求6所述的基于分支双重深度Q网络的配网实时动态重构方法， 其特征是： 更新经验 池的方法， 遍历到t时刻， 步骤如下： 在分支双重深度Q网络中使用当前时刻的状态StDR作为输入， 采用 ε贪婪选择法选择对 应的开关动作AtDR； 在当前状态StDR执行动作对应AtDR后， 进行潮流计算， 并计算得出即时回报RtDR， 并从配 电网的节点负荷和DG出力数据集中索引得 出下一时刻的状态 将获得的 这5个元组存入经验池， 判断经验池容量是否已达上 限， 若是， 按照经验 池数据存 储的时间删除最 早的数据。权　利　要　求　书 1/2 页 2 CN 114282330 A 29.基于分支双重深度Q网络的配网实时动态重构系统， 其特 征是， 包括： 获取模块： 被 配置为用于获取配电网实时节点负荷和分布式电源出力； 马尔可夫决策构建模块： 被配置为用于将获取的数据传输至基于马尔可夫决策过程 MDP构建动态DNR模型； 动态DNR模型以最小化网损成本和开关动作成本为目标函数； 配电网动态重构模块： 被配置为用于基于配电网环路分解得到分支双重深度Q网络， 采 用Q学习算法对动态DNR模型进行求解， 获得使得分支双重深度Q网络输出回报最大的开关 动作集合， 根据开关动作集 合更新配电网的拓扑 结构。 10.一种电子设备， 其特征是， 包括存储器和处理器以及存储在存储器上并在处理器上 运行的计算机指 令， 所述计算机指 令被处理器运行时， 完成权利要求 1‑8任一项方法所述的 步骤。权　利　要　求　书 2/2 页 3 CN 114282330 A 3