(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210941841.7 (22)申请日 2022.08.08 (71)申请人 山西大学 地址 030006 山西省太原市小店区坞城路 92号 (72)发明人 郁磊　刘飞跃　 (74)专利代理 机构 北京高沃 律师事务所 1 1569 专利代理师 万慧华 (51)Int.Cl. G06T 11/20(2006.01) G06V 10/44(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种记录图形绘制过程信息的方法及系统 (57)摘要 本发明公开了一种记录图形绘制过程信息 的方法及系统， 涉及记录图形绘制过程技术领 域， 该方法包括： 获取待测者绘制图形时的过程 信息和待测者的面部视频； 根据待测者的面部视 频， 确定待测者绘制过程中的目光特征； 对过程 信息进行特征提取， 得到待测者的图形特征和过 程特征； 对图形特征、 过程特征和目光特征进行 拼接， 得到待测者的图形绘制特征； 将图形绘制 特征输入训练好的神经网络模型， 预测待测者的 认知障碍结果。 本发明相较于传统测试， 能够完 整的保存图形绘制过程中的信息， 为医生的诊断 提供有力依据； 在社区筛查等大规模测评场景 下， 能够为在较大规模人群中使用包含复杂图形 绘制的量表进行测试提供技 术支持。 权利要求书3页 说明书11页 附图8页 CN 115294241 A 2022.11.04 CN 115294241 A 1.一种记录图形绘制过程信息的方法， 其特 征在于， 所述方法包括： 获取待测者绘制图形时的过程信 息和待测者的面部视频； 所述过程信 息包括每一笔的 起始位置、 每一笔的停止位置、 每一笔的起始时间、 每一笔的停止时间和每一笔的轨迹长 度； 根据所述待测者的面部视频， 确定所述待测者绘制过程中的目光特征； 所述目光特征 包括目光焦点切换次数、 目光焦点切换 频率、 绘图时间和观察样图时间； 对所述过程信息进行 特征提取， 得到所述待测者的图形 特征和过程特 征； 对所述图形特征、 所述过程特征和所述目光特征进行拼接， 得到所述待测者的图形绘 制特征； 将所述图形绘制特征输入训练好的神经网络模型， 预测所述待测者的认知障碍结果； 所述认知障碍结果包括是否存在认知障碍以及认知障碍的级别。 2.根据权利要求1所述的记录图形绘制过程信 息的方法， 其特征在于， 所述神经网络模 型的训练过程包括： 获取测试者绘制图形时的过程信息和 测试者的面部 视频； 根据所述测试者的面部 视频， 确定所述测试者绘制过程中的目光特 征； 对所述过程信息进行 特征提取， 得到所述测试者的图形 特征和过程特 征； 对所述图形特征、 所述过程特征和所述目光特征进行拼接， 得到所述测试者的图形绘 制特征； 根据所述测试者对量表的打 分， 确定所述测试者的认知障碍结果； 以所述测试者的图形绘制特征为输入， 以所述测试者的认知障碍结果为输出， 对神经 网络模型进行训练， 得到训练好的神经网络模型。 3.根据权利要求1所述的记录图形绘制过程信 息的方法， 其特征在于， 所述根据 所述待 测者的面部 视频， 确定所述待测者绘制过程中的目光特 征， 具体包括： 提取所述待测者的面部 视频中的单帧图像； 对所述单帧图像 应用YOLO目标检测算法， 得到所述待测者的睁 眼的眼部图片； 应用卷积神经网络对所述睁 眼的眼部图片进行分析， 得到眼球定位特 征； 根据所述眼球定位特征， 确定所述待测者的当前的行为； 所述当前的行为包括看样图 和绘图； 记录所述待测者看样图的时刻和绘图的时刻； 根据所述看样图的时刻和所述绘图的时刻， 确定目光特 征。 4.根据权利要求1所述的记录图形绘制过程信 息的方法， 其特征在于， 所述对所述过程 信息进行 特征提取， 得到所述待测者的图形 特征和过程特 征， 具体包括： 将所述过程信息按照设定时间长度进行分段， 统计每个时间段内的笔画、 思考时间和 绘制时间， 得到初始过程特 征； 根据待测者绘制完成的图形提取初始图形特征； 所述图形特征包括图形面积、 图形位 置、 图形绘制时间、 图形思考时间和笔画长度； 对所述初始过程特征和所述初始图形特征分别进行降维， 得到所述待测者的图形特征 和过程特 征。 5.一种记录图形绘制过程信息的系统， 其特 征在于， 所述系统包括：权　利　要　求　书 1/3 页 2 CN 115294241 A 2获取模块， 用于获取待测者绘制图形时的过程信息和待测者的面部视频； 所述过程信 息包括每一笔的起始 位置、 每一笔的停止位置、 每一笔的起始时间、 每一笔的停止时间和每 一笔的轨 迹长度； 目光特征确定模块， 用于根据所述待测者的面部视频， 确定所述待测者绘制过程中的 目光特征； 所述目光特征包括目光焦点切换次数、 目光焦点切换频率、 绘图时间和观察样图 时间； 特征提取模块， 用于对所述过程信息进行特征提取， 得到所述待测者的图形特征和过 程特征； 拼接模块， 用于对所述图形特征、 所述过程特征和所述目光特征进行拼接， 得到所述待 测者的图形绘制特 征； 预测模块， 用于将所述图形绘制特征输入训练好的神经网络模型， 预测所述待测者的 认知障碍结果； 所述认知障碍结果包括是否存在认知障碍以及认知障碍的级别。 6.根据权利要求5所述的记录图形绘制过程信 息的系统， 其特征在于， 所述系统还包括 训练模块； 所述训练模块包括： 获取子模块， 用于获取测试者绘制图形时的过程信息和 测试者的面部 视频； 目光特征确定子模块， 用于根据所述测试者的面部视频， 确定所述测试者绘制过程中 的目光特 征； 特征提取子模块， 用于对所述过程信息进行特征提取， 得到所述测试者的图形特征和 过程特征； 拼接子模块， 用于对所述图形特征、 所述过程特征和所述目光特征进行拼接， 得到所述 测试者的图形绘制特 征； 结果确定子模块， 用于根据所述测试者对量表的打分， 确定所述测试者的认知障碍结 果； 训练子模块， 用于以所述测试者的图形绘制特征为输入， 以所述测试者的认知障碍结 果为输出， 对神经网络模型进行训练， 得到训练好的神经网络模型。 7.根据权利要求5所述的记录图形绘制过程信 息的系统， 其特征在于， 所述目光特征确 定模块包括： 单帧图像提取子模块， 用于提取 所述待测者的面部 视频中的单帧图像； 眼部图片确定子模块， 用于对所述单帧图像应用YOLO目标检测算法， 得到所述待测者 的睁眼的眼部图片； 分析子模块， 用于应用卷积神经网络对所述睁眼的眼部 图片进行分析， 得到 眼球定位 特征； 行为确定子模块， 用于根据 所述眼球定位特征， 确定所述待测者的当前的行为； 所述当 前的行为包括看样图和绘图； 记录子模块， 用于记录所述待测者看样图的时刻和绘图的时刻； 目光特征确定子模块， 用于根据所述看样图的时刻和所述绘图的时刻， 确定目光特 征。 8.根据权利要求5所述的记录图形绘制过程信 息的系统， 其特征在于， 所述特征提取模 块包括： 分段子模块， 用于将所述过程信息按照设定时间长度进行分段， 统计每个时间段内的权　利　要　求　书 2/3 页 3 CN 115294241 A 3