(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210429532.1 (22)申请日 2022.04.22 (71)申请人 上海锡鼎智能科技有限公司 地址 201599 上海市金山区朱 泾镇临源街 750号5幢293F (72)发明人 刘凯　李丽　刘利非　 (74)专利代理 机构 上海和华启核知识产权代理 有限公司 313 39 专利代理师 王仙子 (51)Int.Cl. G06V 40/20(2022.01) G06K 9/62(2022.01) G06V 10/25(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) (54)发明名称 一种用于智能实验考评的特定动作检测方 法 (57)摘要 本发明揭示了一种用于智能实验考评的特 定动作检测方法， 包括如下步骤： 利用摄像头采 集相关实验的操作视频； 通过运动历史图像方法 将操作视频连续n帧图像做融合， 并将目标运动 情况通过图像亮度的形式进行表现， 获取融合图 片； 对融合图片进行目标检测的标注， 并将数据 集合划分为训练集、 验证集和测试集； 将数据集 合送入到 预训练模型进行训练， 获得目标检测模 型； 利用目标检测模型对相关实验操作视频的融 合图片进行动作检测， 并评定相关分数。 本发明 能够大大提升智 能实验考评的鲁棒性， 另外， 本 方法将视频分类任务转换成了目标检测任务， 大 大降低了标注成本 。 权利要求书1页 说明书3页 附图1页 CN 114743270 A 2022.07.12 CN 114743270 A 1.一种用于智能实验考评的特定动作检测方法， 其特 征在于， 包括如下步骤： 视频采集， 利用摄 像头采集相关实验的操作视频； 图像融合， 通过运动历史图像方法将操作视频连续n帧图像做融合， 并将目标运动情况 通过图像亮度的形式进行表现， 获取融合图片； 目标检测， 对融合图片进行目标检测的标注， 并将数据集合划分为训练集、 验证集和测 试集； 模型训练， 将训练集、 验证集以及测试集数据送入到预训练模型进行训练， 获得目标检 测模型； 实验评分， 利用目标检测模型对相关实验操作视频的融合图片进行动作检测， 并评定 相关分数。 2.如权利要求1所述的用于智能实验考评的特定动作检测方法， 其特征在于， 在图像融 合步骤中， 通过计算n帧率内同一位置的像素变化， 将目标运动情况以图像亮度的形式表现 出来。 3.如权利要求1所述的用于智能实验考评的特定动作检测方法， 其特征在于， 在目标检 测步骤中， 所述目标检测的标注利用标注软件进行检测框左上角坐标以及右下角坐标标 注。 4.如权利要求1所述的用于智能实验考评的特定动作检测方法， 其特征在于， 在目标检 测步骤中， 数据集 合按照8:1:1的比例划分为训练集、 验证集和 测试集。 5.如权利要求1所述的用于智能实验考评的特定动作检测方法， 其特征在于， 在模型训 练步骤中， 所述预训练模型采用YOLOv5模型。 6.如权利要求1所述的用于智能实验考评的特定动作检测方法， 其特征在于， 在模型训 练步骤中， 训练集、 验证集以及测试集数据送入到预训练模型进 行训练时， 利用Adam进 行模 型训练优化。权　利　要　求　书 1/1 页 2 CN 114743270 A 2一种用于智能实验考评的特定动作检测方 法 技术领域 [0001]本发明涉及AI智能考评领域， 特别是涉及一种用于智能实验考评的特定动作检测 方法。 背景技术 [0002]随着深度学习的兴起， 计算机视觉技术得到了不断的发展， 其中尤为显著的便是 以目标检测和实例分割为代表的物体检测技术， 在各行各业都有着不错的落地方案， 在智 能考评系统中， 对于诸如振荡 试管、 用玻璃棒搅拌等动作的检测， 多采用如下 方案： [0003](1)差帧法做运动检测、 判断存在运动物体的区域， 再通过目标检测判断相关物体 是否在上述运动区域中。 该方案主要依赖于传统图像算法中的运动检测， 容易受光照、 场景 等的影响， 鲁棒 性不强， 还易受其 他运动物体的影响从而出现误判。 [0004](2)利用诸如slowfast、 TSM等基于深度学习的视频分类模型来进行相关动作的判 断。 该方案基于深度学习视频分类模型的方案， 虽然精度较方案(1)有了较明显的提升， 但 是这需要巨大 的视频标注量， 视频标注也需要巨大 的人力和物力， 在一个得分点上就耗费 大量的成本 显然是不划算的。 发明内容 [0005]本发明的目的在于， 提供一种用于智能实验考评 的特定动作检测方法， 以提升智 能实验考评的鲁棒 性， 同时降低人工标注的成本 。 [0006]为解决上述技术问题， 本发明提供一种用于智能实验考评 的特定动作检测方法， 包括如下步骤： [0007]视频采集， 利用摄 像头采集相关实验的操作视频； [0008]图像融合， 通过运动历史图像方法将操作视频连续n帧图像做融合， 并将目标运动 情况通过图像亮度的形式进行表现， 获取融合图片； [0009]目标检测， 对融合图片进行目标检测的标注， 并将数据集合划分为训练集、 验证集 和测试集； [0010]模型训练， 将训练集、 验证集以及测试集数据送入到预训练模型进行训练， 获得目 标检测模型； [0011]实验评分， 利用目标检测模型对相关实验操作视频的融合图片进行动作检测， 并 评定相关分数。 [0012]进一步的， 在图像融合步骤中， 通过计算n帧率内同一位置的像素变化， 将目标运 动情况以图像亮度的形式表现出来。 [0013]进一步的， 在目标检测步骤中， 所述目标检测的标注利用标注软件进行检测框左 上角坐标以及右下角坐标 标注。 [0014]进一步的， 在目标检测步骤中， 数据集合按照8:1:1的 比例划分为训练集、 验证集 和测试集。说　明　书 1/3 页 3 CN 114743270 A 3