(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210739172.5 (22)申请日 2022.06.27 (71)申请人 禾麦科技 开发 （深圳） 有限公司 地址 518000 广东省深圳市罗湖区南湖街 道嘉北社区人民南路3012号 天安国际 大厦A1801-1808 (72)发明人 甘海洋　 (74)专利代理 机构 深圳市中科创为专利代理有 限公司 4 4384 专利代理师 杨石　王建成 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/40(2022.01) G06V 40/20(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) H04N 7/18(2006.01) H04N 5/76(2006.01) (54)发明名称 一种基于深度学习的办公区域异常行为检 测系统及方法 (57)摘要 本发明涉及图像检测技术领域， 公开了一种 基于深度学习的办公区域异常行为检测系统及 方法， 该系统包括监控摄像头、 图像存储服务器 以及后台管 理服务器， 监控摄像头分别设置于办 公区域内， 监控摄像头用于监控办公区域内人员 的行为情况， 监控摄像头均与图像存储服务器数 据连接， 图像存储服务器分别与后台管理服务器 数据连接， 本发 明能够自动识别办公区域中的人 及其对应的行为， 以及发生异常行为时对应的视 频片段， 并将其上传后台管理服务器， 从而大大 减少人工巡检工作量， 实现办事窗口质量服务质 量监督， 有效地帮助企业 提高工作效能。 权利要求书2页 说明书5页 附图1页 CN 115116004 A 2022.09.27 CN 115116004 A 1.一种基于深度 学习的办公区域异常行为检测系统， 其特征在于， 包括监控摄像头、 图 像存储服务器以及后台管理服务器， 所述监控摄像头分别 设置于办公区域内， 所述监控摄 像头用于监控办公区域内人员的行为情况， 所述监控摄像头均与所述图像存储服务器数据 连接， 所述图像存储服务器分别与所述后台管理服务器数据连接， 所述图像存储服务器用 于自动识别办公区域中的人及其对应的行为情况， 以及发生异常行为时将对应的视频片段 和对应异常的截图上传至所述后台管理服务器， 所述后台管理服务器用于在收到所述图像 存储服务器发出 的信息后， 及时将异常行为及其人员、 视频做记录， 并告警通知管理员， 使 管理员可以通过浏览器实时监控系统运行状态和办公区域员工的行为情况。 2.一种基于深度 学习的办公区域异常行为检测方法， 其特征在于， 采用如权利要求1所 述的系统进行， 包括如下步骤： 图像服务器接入监控内网； 管理员登陆后台管理网站， 配置图像存 储服务器绑定的摄 像头视频流地址等参数； 管理员通过后台管理网站启动指定的图像存 储服务器； 图像存储服务器通过内置的异常行为识别算法， 自动识别办公区域中的人及其对应的 行为， 以及发生异常行为时对应的视频片段， 并将其上传后台管理服 务器； 后台管理服务器在 收到图像存储服务器发出的信息后， 及时将异常行为及其人员、 视 频做记录， 并告警通知管理员。 3.根据权利要求2所述的基于深度学习的办公区域异常行为检测方法， 其特征在于， 所 述的异常行为识别算法包括如下步骤： 步骤1： 视频流输入作 为数据输入源， 首先通过实时流协议(RTSP)接入监控网络中的多 个摄像头， 并使用多个进程来并行 处理多视频流， 每个进程负责处理一路RTSP 视频流， 读取 最新视频帧经 过预处理后传递给 下层目标检测网络； 步骤2： 目标检测， 目标检测网络以Yolov5为模型， Yolov5 目标检测网络以416至640分 辨率之间的图像作为输入， 经过卷积神经网络提取图像特征， 预测出每张图像中的人员位 置及对应行为的置信度， 通过Yolov5检测图像中的目标对象是否睡觉， 在经过置信度阈值 筛选后， 将符合置信阈值的人员标注为 “睡觉的人 ”和“其他的人”； 步骤3： 分类， 若步骤2中的目标检测网络检测到 “睡觉”行为， 会将该目标框送入 ResNet50分类网络， 该网络是一个二分类的网络， 用于二次判断 “是否睡觉 ”， 最终会输出二 值目标， 即判断 “睡觉”与“非睡觉”； 步骤4： 光流法， 若步骤3中的分类网络检测到 “睡觉”行为， 会对该目标框做光流法来检 测是否存在运动， 光流法可以计算每个像素的平均光流， 并判断光流是否大于设定阈值， 若 大于该阈值， 则判定处于运动状态， 即 “非睡觉”行为， 否则判定处于静止状态， 即 “睡觉”行 为； 步骤5： 若上述步骤2、 3、 4 中出现判定为 “非睡觉”行为状态的目标， 则将该目标归为 “其 他的人”集合； 步骤6：“聚众”行为的检测， 该步骤将步骤5中所有 “其他的人 ”目标框作 为输入， 首先设 定“聚众”距离阈值， 检索出画面中所有距离小于阈值的人员集合， 然后计算所有人员框上 边中点的距离矩阵， 用来生 成无向图， 之后计算出生成无向图的极大连通子图集合， 最后取 出所有长度大于1的极大连通子图即为所求聚众人员目标框集合， 若人员阈值均大于设定权　利　要　求　书 1/2 页 2 CN 115116004 A 2的“聚众”距离阈值， 则代 表无“聚众”行为发生， 即为 正常工作的行为； 步骤7： 后台管理， 最终将预测的人员的位置、 以及行为以及异常行为视频段发送给后 台管理服 务器。权　利　要　求　书 2/2 页 3 CN 115116004 A 3