(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210455607.3 (22)申请日 2022.04.24 (71)申请人 北京机械设备研究所 地址 100854 北京市海淀区永定路5 0号 （北 京市142信箱 208分箱） (72)发明人 陈远方　代峥　魏小倩　范新安　 奕伟波　刘昊　张利剑　 (74)专利代理 机构 北京云科知识产权代理事务 所(特殊普通 合伙) 11483 专利代理师 张飙 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06V 40/18(2022.01) G06F 3/01(2006.01) G06K 9/00(2022.01) (54)发明名称 一种基于脑洞和眼动特征的图像三分类解 码方法以及装置 (57)摘要 本公开是关于一种基于脑洞和眼动特征的 图像三分类解码方法、 装置、 电子设备 以及存储 介质。 其中， 该方法包括： 基于解码模型训练的脑 电样本数据构建脑电时 ‑空特征提取模型、 脑电 频域特征提取模型并提取脑电时 ‑空特征、 脑电 频域特征； 基于眼动信号样本数据构建眼动时域 特征提取模型并提取时域特征， 基于脑电时 ‑空 特征、 脑电频域特征、 时域特征构建脑电与眼动 特征的分类模 型， 实现基于脑洞和眼动特征的 图 像三分类解码。 本公开充分利用脑电与眼动 双模 态脑信息 数据的协同优势， 提取双模态脑信息的 时‑空‑频联合特征， 提高了基于快速序列视觉呈 现脑机接口的图像三分类解码效率， 推动了脑机 接口在小样本图像目标快速检索及脑机智能的 融合。 权利要求书2页 说明书10页 附图3页 CN 114998641 A 2022.09.02 CN 114998641 A 1.一种基于脑洞和眼动特 征的图像三分类解码方法， 其特 征在于， 所述方法包括： 将用于解码模型训练的第一样本数据， 基于层次判别分析法， 提取所述第一样本数据 中各样本的时 ‑空特征， 并将所述第一样本数据中各样本的时 ‑空特征与第一样本数据中各 样本的类别标签建立对应关系， 构建脑电时 ‑空特征提取模型； 将用于解码模型训练的第二样本数据， 基于共空间模式法， 提取所述第二样本数据中 各样本的脑电频域特征， 并将所述第二样本数据中各样本的脑电频域特征与第二样本数据 中各样本的类别标签建立对应关系， 构建脑电频域特 征提取模型； 将用于解码模型训练的第三样本数据， 通过时间滤波器， 提取所述第三样本数据中各 样本的指标数据的时域特征， 并将所述第三样本数据中各样本的指标数据的时域特征与第 三样本数据中各样本的类别标签建立对应关系， 构建眼动时域特 征提取模型； 将所述第一样本数据中各样本的时 ‑空特征、 所述第二样本数据中各样本的脑电频域 特征、 所述第三样本数据中各样本的指标数据的时域特征对应的特征向量相加， 生成脑电 与眼动特征向量， 并基于前向卷积神经网络模型， 将所述脑电与眼动特征向量与所述脑电 与眼动特征向量在所述第一样本、 第二样本、 第三样本中对应的类别标签建立对应 关系， 完 成脑电与眼动特 征的分类模型的建立。 2.如权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 所述用于解码模型训练的第一样本数据、 第二样本数据为脑电样本数据； 所述用于解码模型训练的第三样本数据为眼动信号样本数据。 3.如权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 在提取所述第一样本数据中各样本的时 ‑空特征、 提取所述第二样本数据中各样本的 脑电频域特 征前， 基于预设频率的带通滤波器对脑电数据进行 滤波处理。 4.如权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 将用于解码模型训练 的第一样本数据中的各样本数据基于预设数据点数量分解为4个 时间窗， 基于层次判别分析法， 提取所述第一样本数据中各样 本的4个时间窗的时 ‑空特征， 将所述第一样本数据中各样 本的4个时间窗的时 ‑空特征相加生 成1*4的时 ‑空特征向量， 将 所述第一样本数据中各样本的时 ‑空特征向量与第一样本数据中各样本的类别标签建立对 应关系， 构建脑电时 ‑空特征提取模型。 5.如权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 将用于解码模型训练 的第二样本数据中的各样本数据基于预设频率区间分解为3个频 段， 基于共空间模式法， 提取所述第二样本数据中各样本的3个频段的脑电频域特征， 将所 述第二样本数据中各样本的3个频段的脑电频域特征相加生成1*3的脑电频域特征向量， 将 所述第二样本数据中各样本的脑电频域特征向量与第二样本数据中各样本的类别标签建 立对应关系， 构建脑电频域特 征提取模型。 6.如权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 将用于解码模型训练 的第三样本数据中的各样本数据基于预设类别标签分解为3个指 标数据组别， 通过时间滤波器， 提取所述第三样本数据中各样本的3个指标数据的时域特 征， 将所述第三样本数据中各样本的3个指标数据的时域特征相加生成1*3的时域特征向 量， 将所述第三样本数据中各样本的指标数据的时域特征向量与第三样本数据中各样本的 类别标签建立对应关系， 构建眼动时域特 征提取模型。权　利　要　求　书 1/2 页 2 CN 114998641 A 27.如权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 将所述第一样本数据中各样本的时 ‑空特征、 所述第二样本数据中各样本的脑电频域 特征、 所述第三样本数据中各样本的指标数据的时域特征对应的特征向量相加， 生成1*10 的脑电与眼动特征向量， 并基于前向卷积神经网络模型， 将所述脑电与眼动特征向量与所 述脑电与眼动特征向量在所述第一样本、 第二样本、 第三样本中对应的类别标签建立对应 关系， 完成脑电与眼动特 征的分类模型的建立。 8.如权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 将第四样本数据分别基于脑电时 ‑空特征提取模型、 脑电频域特征提取模型、 眼动时域 特征提取模型生 成所述第四样本的时 ‑空特征、 脑电频域特征、 指标数据的时域特征并将所 述时‑空特征、 脑电频域特征、 指标数据的时域特征对应的特征向量相加， 生成所述第四样 本数据的脑电与眼动特 征向量； 以所述第四样本数据的脑电与眼动特征向量为输入， 基于脑电与眼动特征的分类模 型， 完成基于脑洞和眼动特 征的图像三分类解码。 9.如权利要求8所述的方法， 其特 征在于， 所述方法还 包括： 所述第四样本数据为测试 数据或待三分类解码的图像数据。 10.一种基于脑洞和眼动特 征的图像三分类解码装置， 其特 征在于， 所述装置包括： 脑电时‑空特征提取模型构建模块， 用于将用于解码模型训练的第一样本数据基于层 次判别分析法， 提取所述第一样本数据中各样 本的时‑空特征， 并将所述第一样本数据中各 样本的时 ‑空特征与第一样 本数据中各样本的类别标签建立对应 关系， 构建脑电时 ‑空特征 提取模型； 脑电频域特征提取模型构建模块， 用于将用于解码模型训练的第 二样本数据基于共空 间模式法， 提取所述第二样本数据中各样本的脑电频域特征， 并将所述第二样本数据中各 样本的脑电频域特征与第二样本数据中各样本的类别标签建立对应关系， 构建脑电频域特 征提取模型； 眼动时域特征提取模型构建模块， 用于将用于解码模型训练的第 三样本数据通过时间 滤波器， 提取所述第三样本数据中各样本的指标数据的时域特征， 并将所述第三样本数据 中各样本的指标数据的时域特征与第三样本数据中各样本的类别标签建立对应关系， 构建 眼动时域特 征提取模型； 脑电与眼动特征的分类模型构建模块， 用于将所述第一样本数据中各样本的时 ‑空特 征、 所述第二样本数据中各样本的脑电频域特征、 所述第三样本数据中各样本的指标数据 的时域特征对应的特征向量相加， 生成脑电与眼动特征向量， 并基于前向卷积神经网络模 型， 将所述脑电与眼动特征向量与所述脑电与眼动特征向量在所述第一样本、 第二样本、 第 三样本中对应的类别标签建立对应关系， 构建脑电与眼动特 征的分类模型。 11.一种电子设备， 其特 征在于， 包括 处理器； 以及 存储器， 所述存储器上存储有计算机可读指令， 所述计算机可读指令被所述处理器执 行时实现根据权利要求1至9中任一项所述的方法。 12.一种计算机可读存储介质， 其上存储有计算机程序， 所述计算机程序被处理器执行 时实现根据权利要求1至9中任一项所述方法。权　利　要　求　书 2/2 页 3 CN 114998641 A 3