(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210439925.0 (22)申请日 2022.04.25 (71)申请人 济南博观智能科技有限公司 地址 250001 山东省济南市高新区新 泺大 街1166号奥盛大厦3号楼17楼 (72)发明人 范文豪　张永辉　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 张志梅 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种睡岗识别方法、 装置、 设备及 介质 (57)摘要 本申请公开了一种睡岗识别方法、 装置、 设 备及介质， 涉及图像识别技术领域， 该方法包括： 获取待识别图片中人体目标对应的头肩区域图， 并确定出与所述头肩区域图对应的目标高斯热 点图； 提取所述头肩区域图的语义特征信息以及 所述目标高斯热点图的空间特征信息； 将所述语 义特征信息与所述空间特征信息进行特征融合， 并基于融合后特征信息判断所述待识别图片中 的所述人体目标是否处于睡岗状态。 通过上述方 案， 能够在进行睡岗识别时只需要通过头肩区域 特征来判断是否睡岗， 并能够通过对头肩区域图 的语义特征提取与 目标高斯热点图的空间特征 提取以及特征融合充分的利用图像中的信息。 由 此可以解决睡岗识别过程中目标遮挡的问题并 提高睡岗识别的准确率。 权利要求书2页 说明书10页 附图6页 CN 114821647 A 2022.07.29 CN 114821647 A 1.一种睡岗识别方法， 其特 征在于， 包括： 获取待识别图片中人体目标对应的头肩区域图， 并确定出与 所述头肩区域图对应的目 标高斯热点图； 提取所述头肩区域图的语义特 征信息以及所述目标高斯热点图的空间特 征信息； 将所述语义特征信 息与所述空间特征信 息进行特征融合， 并基于 融合后特征信 息判断 所述待识别图片中的所述人体目标 是否处于睡岗状态。 2.根据权利要求1所述的睡岗识别方法， 其特征在于， 所述获取待识别图片中人体目标 对应的头肩区域图， 包括： 将待识别图片输入至训练后的人体头肩检测模型中以获取所述待识别图片中人体目 标对应的头肩区域图； 所述人体头肩检测模型为基于YOLO  v5网络构建 的模型， 并且， 所述 YOLO v5网络中的Neck采用BiFPN结构。 3.根据权利要求1所述的睡岗识别方法， 其特征在于， 所述确定出与 所述头肩区域图对 应的目标高斯热点图， 包括： 将所述待识别图片输入至训练后的关键点检测模型， 以得到所述待识别图片的人体关 键点， 并基于所述待识别图片的人体关键点构建所述待识别图片对应的原 始高斯热点图； 从所述原始高斯热点图中确定出与 所述头肩区域图对应的高斯热点， 以得到与所述头 肩区域图对应的目标高斯热点图。 4.根据权利要求3所述的睡岗识别方法， 其特 征在于， 还 包括： 获取包含所述待识别图片以及与 所述待识别图片相邻的若干图片的目标图片组， 并通 过检测所述目标图片组中不同相 邻图片之 间的关键点位置变化， 以确定所述待识别图片中 是否包含静态人体目标； 相应的， 所述获取待识别图片中人体目标对应的头肩区域图， 包括： 当所述待识别图片中包含静态人体目标， 则获取所述待识别图片中的所述静态人体目 标对应的头肩区域图。 5.根据权利要求 4所述的睡岗识别方法， 其特 征在于， 还 包括： 基于Shuf fle网络与HRNet网络构建人体姿态估计模型； 相应的， 所述将所述待识别图片输入至训练后的关键点检测模型， 以得到所述待识别 图片的人体关键点， 包括： 将所述待识别图片输入至训练后的所述人体姿态估计模型， 以通过所述人体姿态估计 模型对所述待识别图片进 行人体姿态估计， 得到在人体姿态估计过程中检测出的人体关键 点。 6.根据权利要求1至5任一项所述的睡岗识别方法， 其特征在于， 所述提取所述头肩区 域图的语义特征信息以及所述目标高斯热点图的空间特征信息， 将所述语义特征信息与所 述空间特征信息进行特征融合， 并基于融合后特征信息判断所述待识别图片中的所述人体 目标是否处于睡岗状态， 包括： 通过训练后的状态分类模型， 提取所述头肩区域图的语义特征信 息以及所述目标高斯 热点图对应的不同人体关键点之间的空间位置 关系， 并将所述语义特征信息和所述空间位 置信息进 行特征融合， 然后利用融合后特征信息对所述待识别图片中的所述人体目标的状 态进行分类， 以得到相 应的人体状态类别； 所述人体状态类别包括处于睡岗状态对应的类权　利　要　求　书 1/2 页 2 CN 114821647 A 2别以及处于非睡岗状态对应的类别。 7.根据权利要求6所述的睡岗识别方法， 其特 征在于， 还 包括： 将GhostNet网络作为基础网络以及将ArcFace函数作为损失函数， 构造所述状态分类 模型； 其中， 所述状态分类模型中的所述GhostNet网络用于提取所述头肩区域图的语义特征 信息以及所述目标高斯热点图对应的不同人体关键点之间的空间位置关系。 8.一种睡岗识别装置， 其特 征在于， 包括： 头肩区域确定模块， 用于获取待识别图片中人体目标对应的头肩区域图， 并确定出与 所述头肩区域图对应的目标高斯热点图； 特征信息提取模块， 用于提取所述头肩区域图的语义特征信 息以及所述目标高斯热点 图的空间特 征信息； 状态判断模块， 用于将所述语义特征信息与所述空间特征信息进行特征融合， 并基于 融合后特 征信息判断所述待识别图片中的所述人体目标 是否处于睡岗状态。 9.一种电子设备， 其特 征在于， 包括： 存储器， 用于保存计算机程序； 处理器， 用于执行所述计算机程序， 以实现如权利要求1至7任一项所述的睡岗识别方 法的步骤。 10.一种计算机可读存储介质， 其特征在于， 用于存储计算机程序； 其中， 所述计算机程 序被处理器执行时实现如权利要求1至7任一项所述的睡岗识别方法的步骤。权　利　要　求　书 2/2 页 3 CN 114821647 A 3