(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210367286.1 (22)申请日 2022.04.08 (71)申请人 山东师范大学 地址 250014 山东省济南市历下区文化 东 路88号 (72)发明人 潘杰　栾春　谢德仁　杜伟　 张雨辰　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 李圣梅 (51)Int.Cl. G06V 10/80(2022.01) G06K 9/62(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06Q 10/06(2012.01) G06Q 50/20(2012.01) (54)发明名称 一种学习参与度识别方法、 装置、 设备及可 读存储介质 (57)摘要 本申请提供了一种学习参与度 识别方法、 装 置、 设备及可读存储介质， 涉及多模态情感识别 技术领域， 包括： 对获取的视频样本进行预处理， 提取出多个模态下的单模态特征； 将多个模态下 的单模态特征进行特征融合， 得到多模态融合特 征； 多模态融合特征经过全 连接层降低维度并进 行预测， 得到多模态输出值； 单模态特征映射到 低维空间中， 再运用线性回归得到单模态输出 值； 将单模态输出值和多模态输出值按照预设权 重加权求和， 得到融合输出值； 基于多模态输出 值、 单模态输出值和融合输出值， 确定用户的学 习参与度， 这样， 通过联合多模态信息和单模态 信息， 将提取出的单模态特征映射到低维空间， 再单独训练模 型， 可以提高学习参与度的识别准 确率。 权利要求书2页 说明书8页 附图5页 CN 114926716 A 2022.08.19 CN 114926716 A 1.一种学习参与度识别方法， 其特 征在于， 所述识别方法包括： 对获取的视频样本进行 预处理， 提取出多个模态下的单模态特 征； 将多个模态下的单模态特 征进行特征融合， 得到多模态融合特 征； 多模态融合特征经过全连接层降低维度并进行预测， 得到多模态输出值； 单模态特征 映射到低 维空间中， 再运用线性回归得到单模态输出值； 将单模态输出值和多模态输出值 按照预设权 重加权求和， 得到融合输出值； 基于所述多模态输出值、 单模态输出值和融合输出值， 确定用户的学习参与度。 2.如权利要求1所述的识别方法， 其特征在于， 多个模态下的单模态特征包括文本特 征、 视频特征和音频 特征； 对于文本特征， 特征提取过程包括： 采用预设层数的BERT预训练模型进行编码， 选取最 后一层中的第一个词向量作为整句表示； 对于视频特征和语音特征， 特征提取过程包括： 经过新增加的网络层进行预训练后， 再 经过单向长短期记忆网络提取时序特征， 将最后一个隐藏向量作为输出， 通过一层卷积层 提取出的初始特征与全连接层相连， 输出低 维向量进入单向长短期记忆网络， 得到相 应的 特征表示。 3.如权利要求1所述的识别方法， 其特征在于， 将提取出的单模态特征进行拼接， 得到 多模态融合特 征。 4.如权利要求1所述的识别方法， 其特征在于， 所述单模态特征映射到低维空间中， 再 运用线性回归得到单模态输出值， 包括： 将提取出的单模态特征映射到低维度空间之后， 得 到单模态特征向量； 将所述单模态特征向量输入至训练好的单模态分类模型， 得到单模态 输出值。 5.如权利要求4所述的识别方法， 其特征在于， 所述单模态分类模型的训练方法包括： 确定不同模态表示类的类中心； 基于不同模态到类中心之间的距离， 以及距离与预测值之 间的关系， 确定单模态监督值对多模态注释的偏移量， 以L1损失函数作为优化目标训练单 模态分类模型。 6.如权利要求5所述的识别方法， 其特征在于， 所述类中心包括消极中心和积极中心， 分别计算不同模态到消极中心和积极中心的距离， 定义用于衡量模态表示到负中心和正中 心的相对距离， 基于所述相对距离， 以及相对距离与预测值之 间的关系， 确定单模态监督值 对多模态 注释的偏移量。 7.如权利要求6所述的识别方法， 其特征在于， 使用L2归一化作为模态表示与类中心之 间的距离 。 8.一种学习参与度识别装置， 其特 征在于， 包括： 特征提取模块， 用于对获取的视频样本进行 预处理， 提取出多个模态下的单模态特 征； 特征融合模块， 用于将多个模态下的单模态特 征进行特征融合， 得到多模态融合特 征； 预测模块， 用于多模态融合特征经过全连接层降低维度并进行预测， 得到多模态输出 值； 单模态特征映射到低维空间中， 再运用线性回归得到单模态输出值； 将单模态输出值和 多模态输出值按照预设权 重加权求和， 得到融合输出值； 参与度确定模块， 用于基于所述多模态输出值、 单模态输出值和融合输出值， 确定用户 的学习参与度。权　利　要　求　书 1/2 页 2 CN 114926716 A 29.一种计算机设备， 其特征在于， 包括： 处理器、 存储器和总线， 所述存储器存储有所述 处理器可执行 的机器可读指令， 当计算机设备运行时， 所述处理器与所述存储器之间通过 总线通信， 所述机器可读指 令被所述处理器执行时执行如权利要求 1至7任一所述的学习参 与度识别方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 程序， 所述计算机程序被处理器运行时执行如权利要求 1至7任意一项 所述的学习参与度识 别方法的步骤。权　利　要　求　书 2/2 页 3 CN 114926716 A 3