(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210870610.1 (22)申请日 2022.07.22 (71)申请人 浙江师范大学 地址 321004 浙江省金华市迎宾大道68 8号 (72)发明人 韩中美　韩守港　黄昌勤　黄琼浩　 吴雪梅　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 黎扬鹏 (51)Int.Cl. G06F 40/30(2020.01) G06F 17/16(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于因果图神经网络的学习者情感演化分 析方法与系统 (57)摘要 本申请公开了本申请实施例提供的基于因 果图神经网络的学习者情感演化分析方法与系 统的有益效果为： 本申请设计基于 “学习者‑活 动‑情感”多层级的情感关联语义描述框架， 以获 取学习者多模态时序数据； 基于Z ‑Transformer 的跨模态时序融合方式， 融合所述多模态时序数 据； 根据融合后的学习者时序数据， 构建面向学 习者细粒度情感演化的情感结构因果模型； 根据 所述情感结构因果模型， 利用干预变 分图自编码 器建立情感异质因果图； 根据所述情感异质因果 图， 构建因果图神经网络分析学习者情感演化。 本申请能够动态追踪学习者真实情感状态及其 趋势， 深度剖析学习者情感变化的时空因果关 系， 实现课堂中学习者情感变化及其溯源规律的 深层次揭示， 助力于 课堂精准施教。 权利要求书3页 说明书14页 附图4页 CN 115374790 A 2022.11.22 CN 115374790 A 1.基于因果图神经网络的学习者情感演化分析 方法， 其特 征在于， 所述方法包括： 设计基于“学习者‑活动‑情感”多层级的情 感关联语义描述框架， 以获取学习者多模态 时序数据； 基于Z‑Transformer的跨模态时序融合方式， 融合所述多模态时序数据； 根据融合后的学习者时序数据， 构建面向学习者细粒度情感演化的情感结构因果模 型； 根据所述情感结构因果模型， 利用干预变分图自编码器建立情感异质因果图； 根据所述情感异质因果图， 构建因果图神经网络分析 学习者情感演化。 2.根据权利要求1所述的基于因果图神经网络的学习者情感演化分析方法， 其特征在 于， 所述设计基于 “学习者‑活动‑情感”多层级的情感关联语义描述框架， 以获取学习者多 模态时序数据， 具体为： 构建描述学习者层： 学习者与教师是课堂学习的主体与主导， 该层涉及 “学习者‑教师‑ 学习内容 ”等交互关系要素。 其中， 学习者方面包括学习者课堂情感、 学习者年龄、 性别、 作 业完成度等个体因素， 对上述因素形式化定义， 构建学习者实例集合S＝{s1,…,sn}； 教师方 面。 其相关年龄、 性别、 职称等因素同样会对学习者情感产生影响， 构建教师 因素实例集合N ＝{d1,…,dn}； 另外， 课程相关学科、 难度等学习内容因素作为连接学习者与教师的桥梁同 样影响学习者情感， 构建课程因素实例集 合C＝{c1,…,cn}； 构建描述活动层： 基于学习者层面已有因素， 课堂教与学活动等活动中包括课堂听讲、 课程阅读、 同伴交流、 课堂讨论、 回答问题 等学习者参与活动， 和教师课程阅读、 课堂提问等 教师参于活动， 收集课 堂活动因素 数据量化， 构建课 堂活动实例集 合A＝{a1,…,an}； 构建描述情 感层： 基于学习者层面与活动层面基础上， 感知时序课堂教与 学过程， 学习 者情感状态受以上两层面集合数据影响， 将学习者情感状态定义为 学习 者情感演化趋势定义为 学习者i情感类型状态表示为三元组 其中， ht表示在t时刻的学习者情感状态， hp为学习者的情感极性， hq为学习者的情感强度。 课堂教与学活动全过程的交互激发学习者认知过程的情感变化， 这些情感的演化趋势从两 方面进行表征， 则学习者情感有负面上升、 负面下降、 正面上升、 正面下降四种演化趋势， 为 此将学习者情感演化定义为三元组 其中 表示学习者i在t时刻情感演化 趋势， yp为学习者情感演化极性包括正面1与负面 ‑1两种状态， yq为学习者情感强度变化包 括上升1与下降 ‑1两种变化。 3.根据权利要求1所述的基于因果图神经网络的学习者情感演化分析方法， 其特征在 于， 所述基于Z ‑Transformer的跨模态时序融合方式， 融合所述多模态时序数据， 包括： 根据已语义化学习者情感关联实例集合及其相应的图像、 音频与文字等多模态时序 数 据， 构建跨模态注 意力融合模型， 将所述多模态数据输入所述跨模态注意力融合模型， 将融 合后的数据时序对齐输入到跨模态多头交叉自注意力堆叠的循环网络函数； 其中， 图像、 音频与文字 等模态时序数据融合模型的输入集为 Z∈ M， 跨模态时序数据融合过程 为： 权　利　要　求　书 1/3 页 2 CN 115374790 A 2式中， Z为多模态数据融合定义模型输入集， M为数据模态类 型集合， 等为不 同模态下情感关联实例集合， Transformer为自注意力机制， θ为参数， LN为归一化处理， Z ′ 为融合后的时序情感关联实例集合数据， ηt表示t时刻的扩散因子， σ 为激活函数， Uz∈M为遍 历符号， []为特 征拼接。 4.根据权利要求1所述的基于因果图神经网络的学习者情感演化分析方法， 其特征在 于， 所述根据融合后的学习者时序数据， 构建面向学习者细粒度情感演化的情感结构因果 模型， 包括： 针对学习者情感多维要素动态性复杂时空因果特性， 通过融合后的学习者时序数据 集， 所述情感结构 因果模型SSCM定义为四元组<U,V,f,P(U)>构成， 包括外生变量U、 内生变 量集合V、 一组函数 方程f、 定义在U定义 域上的概 率函数P(U)； 为了构建精准的情感结构因果模型， 需要对学习者情感的因果效应进行反事实推理， 从而消除混杂因素带来的混杂效应。 通过对情感实例链接 关系反事实推理do(x)， 获取该情 感状态因果关系估计结果P( θ )， 当观测值集合Vi存在情感变化时为1， 不存在情感变化时为 0， 计算得 出该情感关系效应估计 推理函数 消除混杂变量； 最后基于反事实计算结果， 通过情感因果约束构建所述情感结构因果模型的数学式 为： 式中， g为构建的有向无环图， GS为SSCM隐式包含的图结构数据， i为情感状态节点， fi为 推理函数集合， Zi为一组因果变量实例集合， Ui为噪声变量集合， pa为情感节点i的父节点， Vi为观测值集合， v为参数范围， u为单个噪声变量， 为关系元路径 集合， σ 为sigmoid激活函 数， 为i情感状态 节点对应路径， j为 i情感对应元路径权 重参数， Gumbel 为随机变量。 5.根据权利要求1所述的基于因果图神经网络的学习者情感演化分析方法， 其特征在 于， 所述根据所述情感结构因果模型， 利用干预变分图自编码器建立情感异质因果图， 包 括： 根据上述的情感结构因果模型， 多变量的互联互通构 成了课堂学习者情感相关信 息的 异质性， 该异质情感因果中多类型学习者及其关系共存， 且不同的情感关系 元路径中包含 有丰富的结构和 语义信息。 利用干预变分图自编码器， 对课堂学习过程情感因果模型SSCM 所隐式包 含的图结构数据进行重构； 将上述重构的时序SSCM图的邻接矩阵输入编码器的输入， 通过干预变分图自编码器， 计算图网络节点的结构邻居和属性来学习图网络节点的表示， 将时序状态下不同节点数据 通过GNN解码层输出情感异质因果图结构数据集 合。 6.根据权利要求1所述的基于因果图神经网络的学习者情感演化分析方法， 其特征在 于， 所述根据所述情感异质因果图， 构建因果图神经网络分析 学习者情感演化， 包括： 嵌入学习者情感异质因果图节点；权　利　要　求　书 2/3 页 3 CN 115374790 A 3