(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211072460.6 (22)申请日 2022.09.02 (71)申请人 华南师范大学 地址 510631 广东省广州市天河区中山大 道西55号 (72)发明人 朱定局　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 专利代理师 彭东梅 (51)Int.Cl. H04N 7/18(2006.01) H04N 21/44(2011.01) G06V 10/40(2022.01) G06V 20/52(2022.01) G06V 40/20(2022.01)G06Q 50/20(2012.01) (54)发明名称 基于人工智能的自动监 考方法和机 器人 (57)摘要 基于人工智能的自动监考方法和机器人， 包 括： 典型特征检测步骤； 待检测帧标记步骤； 待检 测视频片段截取步骤； 作弊动作检测步骤； 监控 视频标记 步骤。 上述方法、 系统和机器人， 通过先 检测典型特征， 再在具备典型特征的那些视频段 进行作弊动作的检测， 就减少了很多不含有典型 特征的视频段的检测， 从而可以极大地提高检测 的速度和 效率。 这种方式， 对于实时视频监控同 样适用， 在没有典型特征出现时则无需进行作弊 动作的检测， 从而可 以极大地节省计算成本， 提 高检测速度， 能够达 到实时检测的效果。 权利要求书3页 说明书10页 附图2页 CN 115426482 A 2022.12.02 CN 115426482 A 1.一种人工智能方法， 其特 征在于， 所述方法包括： 典型特征检测步骤:获取考试的监控视频中每一帧图像， 将所述每一帧图像作为输入， 通过典型特征检测深度学习模型的计算， 得到的输出作为所述每一帧图像的典型特征的标 签； 若所述每一帧图像的典型特征 的标签不为空， 则根据所述每一帧图像的典型特征 的标 签中的标记范围从所述每一帧图像中截取标记范围内的图像； 将所述标记范围内的图像作 为输入， 通过考生识别图像深度学习模型 的计算， 得到的输出作为所述每一帧图像的典型 特征的标签中考 生的信息； 待检测帧标记步骤： 获取所述考试的监控视频中每一帧图像及所述每一帧图像的典型 特征的标签； 若所述每一帧图像的典型特征 的标签不为空， 则将根据所述典型特征 的标签 中典型特征 的名称确定对应的作弊动作的预设最大时长， 作为待检测预设时长； 若所述典 型特征的标签有多个不为空， 则根据所述典型特征的多个标签中多个典型特征的名称确定 对应的多个作弊动作的多个预设最大时长， 取多个预设最大时长中最大的多个预设最大时 长， 作为待检测预设时长； 若 所述每一帧图像的典型特征的标签不为空， 则将所述每一帧图 像标记为待检测帧， 将所述每一帧图像前所述待检测预设时长/2的时长的所有帧标记为待 检测帧， 将所述每一帧图像后所述待检测预设时长/2的时长的所有帧标记为待检测帧； 有 些帧会被重复地标记为待检测帧， 有些帧则不会被标记为待检测帧； 待检测视频片段截取步骤： 将所述考试的监控视频中标记为待检测帧且未标记为已抽 取的连续帧抽取 出来作为 一个待检测视频片段， 将已抽取的待检测帧标记为已抽取； 作弊动作检测步骤： 将所述待检测视频片段作为输入， 经过作弊动作检测深度学习模 型计算得到的输出作为所述待检测视频片段中作弊动作的标签； 将所述标记范围内的视频 片段作为输入， 通过考生视频识别深度学习模型 的计算， 得到的输出作为所述视频片段 的 作弊动作的标签中考生的信息； 将所有所述待检测视频片段中作弊动作的标签作为所述考 试的监控视频中作弊动作的标签； 监控视频标记步骤： 将所述带有每一种作弊动作的标签的所述待检测视频片段替换所 述考试的监控视频中对应的所述待检测视频片段， 得到标记了作弊动作后的监控视频。 2.根据权利要求1所述的人工智能方法， 其特 征在于， 所述方法还 包括： 视频监控步骤： 获取考试的监控视频； 作弊动作设置步骤： 获取用户设置的作弊动作； 获取作弊动作的视频步骤： 获取每一种所述作弊动作的视频样本； 获取作弊动作典型 特征设置步骤： 获取用户设置的作弊动作的典型 特征； 获取作弊动作的典型 特征的图像步骤： 获取每一种所述典型 特征的图像样本 。 3.根据权利要求1所述的人工智能方法， 其特 征在于， 所述方法还 包括： 建立考试作弊知识图谱步骤： 建立多个作弊动作实体、 多个典型特征实体、 多个考生实 体、 多个考场实体、 多个监 考老师实体； 考试作弊知识图谱关系定义步骤： 考生实体通过具有关系指向作弊动作实体； 考生实 体通过具有关系指向典型特征实体； 考生实体通过在关系指向考场 实体； 监考老师实体通 过在关系指向考场实体； 考试作弊知识图谱静态关系生成步骤： 根据用户设置的作弊动作的典型特征， 在典型 特征实体和作弊动作实体之间建立关系。权　利　要　求　书 1/3 页 2 CN 115426482 A 24.根据权利要求1所述的人工智能方法， 其特 征在于， 所述方法还 包括： 典型特征检测模型构建步骤:将每一种典型特征的图像样本作为输入， 将所述每一种 典型特征 的标签作为预期输出， 对深度学习模型进行训练和测试， 得到典型特征检测深度 学习模型； 作弊动作检测模型构建步骤:将每一种作弊动作的视频样本作为输入， 将所述每一种 作弊动作的标签作为预期输出， 对深度学习模型进行训练和测试， 得到作弊动作检测深度 学习模型； 考生图像识别模型构建步骤： 获取每一考生的照片， 将所述每一考生的照片作为输入， 将所述考生的信息作为预期输出， 对人脸图像识别深度学习模型进行迁移学习， 得到考生 图像识别深度学习模型； 考生视频识别模型构建步骤： 获取每一考生的视频， 将所述每一考生的视频作为输入， 将所述考生的信息作为预期输出， 对人脸视频识别深度学习模型进行迁移学习， 得到考生 视频识别深度学习模型。 5.一种人工智能系统， 其特 征在于， 所述系统包括： 典型特征检测模块:获取所述考试的监控视频中每一帧图像， 将所述每一帧图像作为 输入， 通过典型特征检测深度学习模型 的计算， 得到的输出作为所述每一帧图像的典型特 征的标签； 若所述每一帧图像的典型特征 的标签不为空， 则根据所述每一帧图像的典型特 征的标签中的标记范围从所述每一帧图像中截取标记范围内的图像； 将所述标记范围内的 图像作为输入， 通过考生识别图像深度学习模型 的计算， 得到的输出作为所述每一帧图像 的典型特征的标签中考 生的信息； 待检测帧标记模块： 获取所述考试的监控视频中每一帧图像及所述每一帧图像的典型 特征的标签； 若所述每一帧图像的典型特征 的标签不为空， 则将根据所述典型特征 的标签 中典型特征 的名称确定对应的作弊动作的预设最大时长， 作为待检测预设时长； 若所述典 型特征的标签有多个不为空， 则根据所述典型特征的多个标签中多个典型特征的名称确定 对应的多个作弊动作的多个预设最大时长， 取多个预设最大时长中最大的多个预设最大时 长， 作为待检测预设时长； 若 所述每一帧图像的典型特征的标签不为空， 则将所述每一帧图 像标记为待检测帧， 将所述每一帧图像前所述待检测预设时长/2的时长的所有帧标记为待 检测帧， 将所述每一帧图像后所述待检测预设时长/2的时长的所有帧标记为待检测帧； 有 些帧会被重复地标记为待检测帧， 有些帧则不会被标记为待检测帧； 待检测视频片段截取模块： 将所述考试的监控视频中标记为待检测帧且未标记为已抽 取的连续帧抽取 出来作为 一个待检测视频片段， 将已抽取的待检测帧标记为已抽取； 作弊动作检测模块： 将所述待检测视频片段作为输入， 经过作弊动作检测深度学习模 型计算得到的输出作为所述待检测视频片段中作弊动作的标签； 将所述标记范围内的视频 片段作为输入， 通过考生视频识别深度学习模型 的计算， 得到的输出作为所述视频片段 的 作弊动作的标签中考生的信息； 将所有所述待检测视频片段中作弊动作的标签作为所述考 试的监控视频中作弊动作的标签； 监控视频标记模块： 将所述带有每一种作弊动作的标签的所述待检测视频片段替换所 述考试的监控视频中对应的所述待检测视频片段， 得到标记了作弊动作后的监控视频。 6.根据权利要求5所述的人工智能系统， 其特 征在于， 所述系统还 包括：权　利　要　求　书 2/3 页 3 CN 115426482 A 3