(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211110295.9 (22)申请日 2022.09.13 (66)本国优先权数据 202210638534.1 202 2.06.08 CN (71)申请人 中国人民大 学 地址 100872 北京市海淀区中关村大街59 号 (72)发明人 赵鑫　尚琛展　侯宇蓬　张静　 (74)专利代理 机构 北京邦创至诚知识产权代理 事务所(普通 合伙) 11717 专利代理师 张宇锋 (51)Int.Cl. G06F 16/332(2019.01) G06F 16/36(2019.01) G06F 16/9535(2019.01)G06F 17/16(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于双通道超图兴趣建模的对话推荐 算法 (57)摘要 本发明公开了一种基于双通道超图兴趣建 模的对话推荐 算法， 其包括如下步骤： S1： 首先对 知识图谱的实体进行使用关系型卷积神经网络 进行编码， 通过知识图谱引入外部知识提升推荐 性能； S2： 抽取用户历史对 话中的物品信息， 通过 双通道超 图建模的方式进行增强其表示； S3： 为 了让推荐结果首先关注当前的对话内容， 避免过 度拟合到历史兴趣上去， 利用多头注 意力机制进 行检索与权衡； S4： 构建了一个知识增强的编码 器‑解码器框架， 根据用户的兴趣偏好生成有意 义的回复。 本发 明引入用户的历史对话作为先验 知识， 并将其中的实体信息构造为两类超图进行 建模， 从而提升模型对于用户兴趣的理解。 权利要求书3页 说明书7页 附图1页 CN 115408505 A 2022.11.29 CN 115408505 A 1.一种基于双通道超图兴趣建模的对话推荐算法， 其特 征在于， 包括如下步骤： S1： 首先对知识图谱的实体进行编码， 通过知识图谱引入外 部知识提升推荐性能； S2： 抽取用户历史对话中的物品信息， 通过双通道超图建模的方式进行增强其表示； S3： 为了让推荐结果首先关注当前的对话内容， 避免过度拟合到历史兴趣上去， 利用多 头注意力机制进行检索与权衡； S4： 构建了一个编码器 ‑解码器框架， 根据用户的兴趣偏好 生成有意 义的回复。 2.根据权利要求1所述的基于双通道超图兴趣建模的对话推荐算法， 其特征在于， 步骤 S1中对知识图谱的实体进行编码的具体方法如下： 使用关系型图卷积神经网络R ‑GCN进行编码： 其中， 是节点e在第l层的向量表示， 表示节点e在关系r下的邻居节点的集合， 是邻居节点e ′在第l层的向量表示， 和W(l)分别是与关系相关和无关的权重参数矩 阵； 最终本发明得到知识图谱上 所有实体的向量表示， 它 们组成矩阵N。 3.根据权利要求1所述的基于双通道超图兴趣建模的对话推荐算法， 其特征在于， 步骤 S1中为进一步提升模型对实体的表示能力， 引入了基于对比学习的预训练过程； 具体来说 采用预训练任务是子图实例判别任务， 从大量子图中判定相似子图和不相似子图； 子图通 过带重启的随机游走获得， 随机游走序列从知识图谱上随机采样得到的点开始， 每次游走 以一定概率返回原点， 最终从随机游走序列节点构建子图； 两个起点相同的序列构成的子 图构成相似子图， 否则为不相似子图； 设置两个独立的图编码器fq和fk， 分别将查询子图和 被查询子图序列编码为向量q和向量 集合{k0,…,kK}， 使用如下目标函数进行优化： 其中 为损失函数， qT为查询向量的转置， k+为正例键值向量， ki为被查询键值向量， τ为 温度超参数； 在训练时还采用基于动量 的参数更新方式， 记fq和fk的参数分别为Θq和Θk， 更新规则为Θk←mΘk+(1‑m)Θq， 其中m为动量超参数， 最终只保留fq作为下游微调的图编 码器。 4.根据权利要求1所述的基于双通道超图兴趣建模的对话推荐算法， 其特征在于， 步骤 S2具体为： 超图是图概念的扩展， 其中的一条超边能够连接多个节点； 超图的关联矩阵H表述了超 边和节点的关系， 其行数为节 点个数， 列数为超边个数； 如果某行表示的节点在某列表示的 超边中， 则关联矩阵该位置的值为1， 否则为0； 超图节点的度定义为其所在超边个数， 超边 的度定义为其包含节点的个数， 由此可得节 点度矩阵D和超边度 矩阵B； 在此基础上， 定义如 下超图卷积层： X(l+1)＝D‑1HB‑1HTX(l)Θ(l),权　利　要　求　书 1/3 页 2 CN 115408505 A 2其中X(l)是第l层所有节点的向量表示构成的矩阵， Θ是 可学习参数矩阵； 为了对用户的历史兴趣偏好进行建模， 将基于用户的历史物品构建两个超图； 首先是 基于对话的超图， 它仅由历史物品构成， 按照不同的历史对话划分为不同的超边， 于是不同 超边可能共享部分节点； 该超图对应的关联矩阵、 节点度矩阵和超边度矩阵分别为Hs、 Ds、 Bs， 从N中抽取历史物品对应的表示构成Xh， 经过超图卷积之后得到对话增强的物品表示： Ns＝HConv(Hs,Ds,Bs,Xh), 其中HConv(·)为上述定义的超图卷积层； 其次是基于知识 的超图， 它由历史物品和它们在知识图谱上的一跳邻居构成， 单个历 史物品及其邻居构成一个超边， 不同超边共享一些描述物品属 性的实体节点； 该超图对应 的关联矩阵、 节点度矩阵和超边度矩阵分别为Hk、 Dk、 Bk， 从N中抽取历史物品及其一跳邻居 对应的表示构成Xk， 经过超图卷积的到知识增强的物品表示 为： X′k＝HConv(Hk,Dk,Bk,Xk), 再将其中每条超边进行平均池化得到各历史物品的表示Nk； 双通道超图卷积作用于定 义的两个超图上得到不同视角下增强的物品表示； 其中， 对话增强的物品表示代表对于用 户历史对话信息的充分利用， 而知识增强的物品表示代 表对用户历史兴趣的深入探索。 5.根据权利要求1所述的基于双通道超图兴趣建模的对话推荐算法， 其特征在于， 步骤 S3具体为： 利用多头注意力机制进行检索与权衡： Nsk＝MHA(Nc,[Ns； Nk],[Ns； Nk]), 其中Nc是当前对话实体的表示， MHA是经 典的多头注意力层； 在当前对 话信号的监督下， 多头注意力层从两类历史信号中检索信息， 实现了对于利用和探索的权衡； 最终利用平均 池化操作Mean获得最终的用户表示向量： u＝Mean([Mean(Nsk)； Nc]), 其中u为用户表示向量； 计算将某件物品推荐给 该用户的概 率： Prec＝Softmax(Mask(u ·NT)), 其中， Mask将非物品实体的得分设置为负无穷； 最终通过交叉熵损失函数作为目标函 数来训练推荐模型： 式中 是对用户j推荐物品i的概 率， Nb是批处理大小， yij∈{0,1}是目标 标签。 6.根据权利要求1所述的基于双通道超图兴趣建模的对话推荐算法， 其特征在于， 步骤 S4具体为： 应用两个标准的Transformer编码器分别对于用户当前对话上文和历史对话进行编 码， 并输入到解码器中作为交叉注意力的监督信号； 为了让解码器生成的对话能够体现用 户兴趣偏好， 基于Transformer构建了用户兴趣感知的解码器； 解码器的每一层首先需要经 过自注意力和对于历史物品表示的交叉注意力： 权　利　要　求　书 2/3 页 3 CN 115408505 A 3