(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210586234.3 (22)申请日 2022.05.26 (71)申请人 燕山大学 地址 066004 河北省秦皇岛市海港区河北 大街438号 申请人 燕控科技 （秦皇岛） 有限公司 (72)发明人 丁伟利　张凯　华长春　卢迪　 (74)专利代理 机构 石家庄众志华清知识产权事 务所(特殊普通 合伙) 13123 专利代理师 陈跃心 (51)Int.Cl. G01C 11/00(2006.01) H04N 7/18(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于数字孪生的厂区人员 实时定位监 测系统和方法 (57)摘要 本发明公开了一种基于数字孪生的厂区人 员实时定位监测系统和方法， 系统包括设置于实 际生产厂区的多个摄像机监控模块， 多摄像机监 控模块捕获厂区内工作场景视频流将其传输至 厂区数字孪生服务器端， 所述厂区数字孪生服务 器端包括视频流传输模块、 视频处理与人员识别 定位模块、 数据库模块和数据融合传输模块； 数 据融合传输模块读取数据库模块中人员信息传 输至数字孪生客户端软件； 所述厂区数字孪生客 户端包括厂区数字孪生体、 多摄像机数字孪生 体、 人员孪生体和人员信息处理模块， 人员信息 处理模块 以人员信息指定的多摄像机数字孪生 体作为局部坐标原点， 分配或更新人员孪生体到 指定位置， 最终在厂区数字孪生体中监测人员的 位置。 权利要求书3页 说明书7页 附图2页 CN 115077488 A 2022.09.20 CN 115077488 A 1.一种基于数字孪生的厂区人员实时定位监测系统， 其特征在于： 包括设置于实际生 产厂区的多个摄像机监控模块， 多摄像机监控模块捕获厂区内工作场景视频流将其传输至 厂区数字孪生服务器端， 所述厂区数字孪生服务器端设于实际生产厂区同一台服务器上， 所述厂区数字孪生服务器端包括视频流传输模块、 视频处理与人员识别定位模块、 数据库 模块和数据融合传输模块； 所述视频流传输模块用于按照摄像机编号获取实际厂区的视频 流， 视频处理与人员识别定位模块并发地提取视频流中的人员信息， 提取出 的人员信息被 存储到数据库模块中， 数据融合传输模块读取数据库模块中人员信息传输至数字孪生客户 端软件； 所述厂区数字孪生客户端设于实际生产厂区主控室中的一台图形工作站上， 所述 厂区数字孪生客户端包括厂区数字孪生体、 多摄像机数字孪生体、 人员孪生体和人员信息 处理模块， 其中人员信息处理模块接 收厂区数字孪生服务器端传输的人员信息， 将人员信 息中的像平面坐标转换为局部世界系坐标， 以人员信息指 定的多摄像机数字孪生体作为局 部坐标原点， 分配或更新人员孪生体到指定位置， 最终在厂区数字孪生体中监测人员的位 置。 2.根据权利要求1所述的一种基于数字孪生的厂区人员实时定位监测系统， 其特征在 于： 所述多摄像机监控模块与视频流传输模块通过POE有线连接， 所述厂区数字孪生服务器 端中视频流传输模块、 视频处理与人员识别定位模块、 数据库模块和数据融合传输模块在 同一计算机中本地传输， 所述数据融合传输模块与人员信息处理模块通过socket局域网连 接。 3.根据权利要求1所述的一种基于数字孪生的厂区人员实时定位监测系统， 其特征在 于： 所述厂区数字孪生体和多摄像机数字孪生体以实际生产厂区和多摄像机监控模块为原 型进行1:1静态孪生构建， 所述人员孪生体以工作人员为原型进 行动态孪生构建， 系统根据 实际生产厂区内人员数量分配人员孪生体， 人员孪生体随着对应人员的位置变化更新其位 置和局部定位摄像机。 4.一种基于数字 孪生的厂区人员实时定位 监测方法， 其特 征在于， 包括如下步骤： 步骤S1、 构建多摄像机数字孪生体： 布置厂区多摄像机监控模块， 根据其位置的生产厂 区‑车间‑生产线加以编号， 每个生产路径的摄像机为一组， 各组中相邻摄像机的视野需有 一定程度的重叠， 获取各厂区摄像机位置、 标定信息和编号， 根据各厂区摄像机位置、 标定 信息和编号静态构建多摄 像机数字 孪生体； 步骤S2、 视频流传输模块按照摄 像机编号 顺序获取实际厂区的视频信息流； 步骤S3、 视频处理与人员识别定位模块对输入的视频流进行并发的人员信息提取， 视 频处理与人员识别定位模块检测到输入视频流中存在工作人员i， 则将此时的系统时间作 为该人员信息中 的时间Ti， 输入该视频流信号的摄像机编号作为该人员信息中的摄像机编 号Ci,检测到的人员锚框像平面 坐标记为(ui,vi)， 将这些信息存 储到数据库模块中； 步骤S4、 数据库模块存储视频处理与人员识别定位模块中得到人员i的信息,每个人员 对应的TABLE包含以下列： TIME,CAMERA _INDEX,VECTOR,分别对应人员识别定位模块中获取 到的人员信息Ti,Ci,(ui,vi)； 同一个人员的信息表以TIME为主索引进行排序； 如果数据库 中没有人员i的历史信息， 则新建表TABLE  I存储人员信息， 否则根据人员信息中的时间Ti 的先后顺序将数据插 入已存在的TABLE  I中； 步骤S5、 数据融合传输模块将TABLE  I中时间最靠后的一行数据整合为向量(Ti,Ci,ui,权　利　要　求　书 1/3 页 2 CN 115077488 A 2vi)， 传输至厂区数字 孪生客户端中的人员信息处 理模块； 步骤S6、 人员信息处理模块根据人员信息中的摄像机编号Ci确定人员定位局 部世界坐 标系原点； 步骤S7、 人员 信息处理模块将服务器传输的整合信息 中的人员坐标由像素坐标系转换 至摄像机的局部世界坐标系下坐标； 步骤S8、 更新人员的局部坐标系原点及局部坐标系坐标， 从而更新人员位置， 实现人员 的动态孪生构建， 最终在厂区数字 孪生体中还原人员在物理厂区中的具体位置 。 5.根据权利要求4所述的一种基于数字孪生的厂区人员实时定位监测方法， 其特征在 于： 所述步骤S3的具体步骤如下： 步骤S31、 按照视频流传输模块采集视频流的编号， 按照标号顺序将各实时视频设置为 输入视频流； 步骤S32、 通过YOLO  v5深度学习框架进行人员检测， 如果检测到人员， 则 对该人员进行 的体型、 衣着进行特征提取， 深度学习框架自动分配人员编号， 查找数据库是否存在该编号 人员， 如果数据库已存在该工作人员的TABLE， 则将其作为该编号人员的新的人员信息进 行 记录， 否则数据库新建TABLE存储新增人员的人员信息， 确保整个系统内的每个人员编号唯 一， 作为人员信息的索引； 步骤S33、 深度学习框架在视频流中检测到 人员的系统时间记为Ti作为人员信息中的时 间信息； 步骤S34、 将检测到 人员的视频流对应的摄像机编号记为Ci作为人员信息中的摄像机编 号信息； 步骤S35、 深度 学习框架使用锚框将不同人员从视频流中标记出来， 锚框左下角像平面 坐标记为(ui,vi)； 步骤S36、 将各个人员的信息写入数据库模块中对应的TABLE中进行 管理和存 储。 6.根据权利要求5所述的一种基于数字孪生的厂区人员实时定位监测方法， 其特征在 于： 所述步骤S6的坐标系转换 具体步骤如下： 步骤S61、 针对于服务器传输的第i个人员信息， 将其整合信息中的(ui,vi)作为像素坐 标系输入； 步骤S62、 将像 素坐标系下的坐标(ui,vi)转换为图像坐标系下的坐标(xi,yi)， 转换公式 为： 其中(xi,yi)为人员i在理想的图像坐标系下锚框坐标点， (ui,vi)为锚框底边坐标， (u0, v0)为图像平面中点； 步骤S63、 将图像坐标系下的坐标(xi,yi)转换为相机坐标系下的坐标(XCi,YCi,ZCi)， 转 换公式为：权　利　要　求　书 2/3 页 3 CN 115077488 A 3