(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111490993.1 (22)申请日 2021.12.08 (71)申请人 电子科技大 学长三角研究院 （湖州） 地址 313000 浙江省湖州市西塞山路819号 科技创新综合体B1幢 (72)发明人 钟其水　施开波　白金平　杨金　 韩胜　李思捷　 (74)专利代理 机构 成都东恒知盛知识产权代理 事务所 (特殊普通合伙) 51304 代理人 李英 (51)Int.Cl. G06Q 10/04(2012.01) G06F 16/9537(2019.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种车辆动态合乘匹配方法、 系统、 介质、 设 备及终端 (57)摘要 本发明属于车辆合乘 技术领域， 公开了一种 车辆动态合乘匹配方法、 系统、 介质、 设备及终 端， 该方法包括： 环境状态定义； 道路环境搭建； 基于经验重放的DQN算法构建； 基于先验知识的 经验池设计。 本发明通过使用经验重放机制， 将 所有训练样 本存储在记忆池里面， 存储了包括状 态转换， 奖励和动作在内的经验数据。 本发明使 动态拼车成为可持续城市交通的一部分， 在短时 间内实时地将随机产生的订单请求与正在游走 的车辆相匹配； 通过经验重放机制， 减少了DQN训 练数据之间的相关性， 通过批处理数据提高了学 习速度。 同时为了解决训练时间过长、 收敛缓慢 问题， 引入先验知识， 优化DQN训练过程中的动作 选择规则， 减少动作选择随机性， 避免无效探索。 权利要求书4页 说明书15页 附图9页 CN 114169608 A 2022.03.11 CN 114169608 A 1.一种车辆动态合乘匹配方法， 其特征在于， 所述车辆动态合乘匹配方法包括以下步 骤： 步骤一， 环境状态定义； 步骤二， 道路环境搭建； 步骤三， 基于经验重放的DQ N算法构建； 步骤四， 基于先验知识的经验 池设计， 获取 车辆最佳动态。 2.如权利要求1所述的车辆动态合乘匹配方法， 其特征在于， 所述步骤一中的环境状态 定义包括： 描述车辆动态合乘系统的状态的因素包括系统内不断变化的订单请求信息和车辆的 行驶状态； 在车辆合乘系统中， 乘客的请求信息实时进入车辆合乘系统， 调 度中心根据新请 求的具体信息以及可用车辆的任务链， 在 满足所有请求时间窗约束的前提下将请求与最合 适的车辆进行匹配； 在路网上， Gt(V,Et)用于表示车辆的交互信息， 其中V{1,...,N}为道路节点的集合， 为边的集合； 一条边(i,j)∈Et代表节点i和节点j之间是连通的， 即在t时刻从节 点i转移到节点j； 定义路网上的N个节点 为状态空间； 根据路网节点的位置， 定 义动 作空间为A＝{上， 下， 左， 右}， 分别代 表车辆行驶的相对方向； 奖励值是车辆学习知识的主要来源， 车辆根据奖励函数与环境交互并通过得到的奖励 值调整行动策略， 故奖励函数是否合适会直接影响车辆表现的好坏； 设置上车点位置奖励 为5， 下车点位值为10， 即为多目标点路径优化， 并且车辆只能先到达上车点再到达下车点， 非目标点 值每移动一个点奖励值减1， 表示车辆自身的消耗。 3.如权利要求1所述的车辆动态合乘匹配方法， 其特征在于， 所述步骤二中的道路环境 搭建包括： 构建基于Node2Vec的道路模型构造算法， 使得道路节点间的关系以向量形式送给神经 网络， 并加速网络训练； (1)信息网络模型构建 ①信息网络： 抽象为节点与边的集合组成的有 向图G(N,B)， 其中N(n1,n2,...,nn)为网 络中所有节点的集合； 为网络中所有连接节点的边的集合； 对于网络 中的每一条边， 均存在对应的权值si,j； 当两个节点相连时， 对于无权图si,j＝1， 有权图si,j ＞0； 两个节点 不相连时， si,j＝0； ②邻接矩阵： 表示网络中节点之间相邻关系的矩阵， 使用A∈Rn×n表示； 如果(ni,nj)∈G 即边bi,j存在在图G中， 则定义Ai,j＝1； 否则， 如果该边 不存在于图G中， 则Ai,j＝0； ③同构网络： 道路交通 运输网络属于同构网络； ④网络密度： 用于描述网络中节点间相互连接的紧密程度； 在一个由N个节点和L条边 组成的网络中， 网络密度为： ⑤网络平均密度： 网络中节点的度表示所有与该节点相连的边的数量， 两个节点各占权　利　要　求　书 1/4 页 2 CN 114169608 A 2据一条边的一半， 每个节点的度均为 1/2； 其中网络平均度则表 示为网络中边数与节点数比 值的两倍， 两个节点之间边的途径越多， 其网络平均度越大， 即在一个由N个节 点和L条边组 成的网络中， 网络平均度为： (2)Node2Vec算法构建 Node2Vec通过设置两个方向性的参数p,q分别给图中的节点连接的各条边分配不同的 权值， 通过设定不同的权值指导深度游走或者广度游走， 实现指定游走是更趋 向于深度优 先遍历DFS还是更趋向广 度优先遍历BFS； DeepWalk算法将深度学习的神经网络技术引入网络表示学习中， 通过将图中按一定顺 序随机游走序列的节点序列数据作为word2vec模型的输入， 采用skip ‑gram的方法为网络 提取特征； DeepW alk通过随机游走算法生成{vi‑w,...,vi‑1,vi,vi+1,...,vi+w‑1,vi+w}的节点 序列， 其中w为窗口大小， 计算由中间节点vi分别生成两边节点的概率， 由此得到每个节点 的向量表示， 该算法的损失函数为： 其中， Node2Vec在Deepwalk算法随机游走的基础上引入超参数p、 q， 采用BFS和DFS生成节点 序列数据； 假设上一次游走的边是从节点t到节点v， Node2Vec算法根据不同的p和q的取值 决定了节点v的邻居节点， v的前节点t除外的游走概率， 超参数p又称返回概率控制节点下 一次游走到达的节点是返 回节点t的邻居节点x1的概率， 超参数q又称 出入概率控制节点下 一次游走到 达的节点是t 节点的非邻居节点x2或x3的概率， 概率值由下式可 得： 式中， dtx表示节点t和x之间的最短距离； (3)基于N ode2Vec框架的城市路网搭建 采用Node2Vec算法构建道路环境， 以图嵌入 的形式送给神经网络； 道路环境搭建部分 仿真通过Python语言实现， 并使用NetworkX包， Scikit ‑learn机器学习框架， Word2vec与 Node2vec模型； 其中随机游走序列的生成采用图嵌入 里面的Node2v ec模型进行生 成， Skip‑ gram模型采用W ord2vec模型中的随机梯度下降法SGD的方法进行优化； 根据训练过程， 通过网络表示学习得到真实芝加哥城市交通主干道的节点向量表示形 式， 作为本发明DQ N算法神经网络的输入。权　利　要　求　书 2/4 页 3 CN 114169608 A 3