(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210829251.5 (22)申请日 2022.07.15 (71)申请人 中国矿业大 学 地址 221116 江苏省徐州市中国矿业大 学 南湖校区 (72)发明人 周勇　陈朋朋　张启亮　高守婉　 刘董经典 　 (74)专利代理 机构 南京冠誉至恒知识产权代理 有限公司 32426 专利代理师 黄成萍 (51)Int.Cl. H04L 67/12(2022.01) H04N 5/232(2006.01) H04N 7/18(2006.01) G06Q 30/00(2012.01)G06Q 50/04(2012.01) (54)发明名称 一种应用 于制造业的可溯源工业互联网系 统 (57)摘要 本发明公开了一种应用于制造业的可溯源 工业互联网系统， 包括智 能可溯源信息平台、 生 产行为智能视觉感知装置和边缘计算装置， 边缘 计算装置使用加工全流程智能识别算法对人员 操作行为信息和工件流程状态进行处理以提取 视觉感知信息， 使用区块链记录模块记录视觉感 知信息和加工监控信息， 加工信息聚合工控机采 集现场信息并传输至本地调度服务器。 本发明基 于面向人员、 工件的目标追踪算法， 结合人员行 为理解与加工工序识别， 利用区块链 技术将操作 流程信息与具体工件绑定， 形成可溯源的唯一标 识码， 利用在原有厂房基础上改造的边云协同工 业互联网基础设施， 传输 现场信息至云端平台统 一管理调度， 能够进一步提升工业互联网智能化 水平。 权利要求书2页 说明书6页 附图5页 CN 115225670 A 2022.10.21 CN 115225670 A 1.一种应用于制造业的可溯源工业互联网系统， 其特征在于： 包括边云协同工业互联 网基础设施和智能可溯源信息平台； 所述边云协同工业互联网基础 设施， 用于收集加工过程中的视觉感知信 息与加工监控 信息， 并管理加工程序， 主 要包括生产行为智能视 觉感知装置和边 缘计算装置(19)； 所述生产行为智能视觉感知装置主要包括厂房监控模块(1)和加工监控模块(2)； 所述 厂房监控模块(1)部署在 厂房四周对厂房进 行全覆盖监控， 用于工件(6)和人员(7)的识别， 并通过识别信息获取人员操作行为信息和工件流程状态； 所述加工监控模块(2)部署在加 工设备(3)旁的非人员活动区域， 用于工件(6)加工过程的监控与识别， 并通过识别信息获 取加工监控信息； 所述边缘计算装置(19)使用面向工程机械制造的加工全流程智能识别算法对人员操 作行为信息和工件流程状态进 行处理以提取视觉感知信息， 使用区块链记录模块记录视觉 感知信息和 加工监控信息； 所述智能可溯源信息平台主要包括加工信息聚合工控机(10)和本地调度服务器(5)， 加工信息聚合工控机(10)通过部署在厂房内部的光纤网络与本地调度服务器(5)连接； 所 述加工信息聚合工控机(10)部署在加工设备(3)旁， 与边缘计算装置(19)和加工监控模块 (2)相连； 所述加工信息聚合工控机(10)通过部署在厂房内部的光纤网络采集包括视觉感 知信息与加工监控信息在内的现场信息， 并将采集到的现场信息传输至本地调度服务器 (5)， 通过本地调度服务器(5)将现场信息传输至云端， 由智能可溯源信息平台统一管理调 度。 2.根据权利要求1所述的应用于制造业的可溯源工业互联网系统， 其特征在于： 所述厂 房监控模块(1)包括球形摄像头(12)， 加工监控模块(2)包括球形摄像头(12)、 固态激光雷 达(11)和加工控制器(9)； 球形摄像头(12)部署在厂房四周并以一定倾斜角度安装在防护 盖(13)的下方， 用于获取工件(6)和人员(7)的视频流； 固态激光雷达(11)安装在防护盖 (13)的上 方， 用于获取工件(6)的点云信息 。 3.根据权利要求2所述的应用于制造业的可溯源工业互联网系统， 其特征在于： 所述边 缘计算装置(19)置于保护盒(18)内， 保护盒(18)设置在支撑杆(17)上， 边缘计算装置(19) 通过支撑杆(17)的内部线路与球形摄 像头(12)和固态激光雷达(1 1)相连接 。 4.根据权利要求2所述的应用于制造业的可溯源工业互联网系统， 其特征在于： 部分防 护盖(13)通过电动滑轨(14)安装在支撑杆(17)， 在电动滑轨(14)的上下两端各设置一个限 位环(15)， 在防护盖(13)的上方和下方分别 安装有固态激光雷达(11)和球形摄像头(12)， 在支撑杆(17)的底部设置有底盘(16)。 5.根据权利要求2所述的应用于制造业的可溯源工业互联网系统， 其特征在于： 部分防 护盖(13)通过可拆卸连接器(21)悬置于厂房顶部或安装在支撑杆(17)端部， 在防护盖(13) 的下方安装有球形摄 像头(12)。 6.根据权利要求1所述的应用于制造业的可溯源工业互联网系统， 其特征在于： 使用区 块链记录模块记录工件全流程的人员操作行为信息、 工件流程状态信息和加工监控信息， 每个工件在每个工序中拥有唯一的区块链标识码， 采用加工过程区块链唯一标识算法计算 工件在当前工序中的区块链标识码： 工件在当前工序中的区块链标识码为H1＝h(h(P1),h (S1),H0,TX0)， h(·)表示哈希函数， P1表示当前工序的工件流程状态信息， S1表示当前工序权　利　要　求　书 1/2 页 2 CN 115225670 A 2的人员操作 行为信息， H0表示工件在上一工序中的区块链标识码， TX0表示工件在上一工序 中的交易 地址。 7.根据权利要求1所述的应用于制造业的可溯源工业互联网系统， 其特征在于： 所述面 向工程机械制造的加工全流程智能识别算法包括人员识别追踪算法、 人员操作行为识别算 法、 工件识别追踪算法和工件流 程状态评估算法； 所述人员识别追踪算法， 基于已有公开数据集、 现场背景数据集和现场人员数据集， 利 用优化后的YOLOX模型训练人员识别网络以识别人员位置， 利用基于识别特征复用的卡尔 曼滤波追踪算法对视频流中的人员进行追踪； 所述人员操作行为识别算法， 首先基于人员识别追踪算法对视频流中的人员进行追 踪， 再利用自监督视频特征提取网络提取人员行为特征， 然后利用人员操作行为识别算法 对人员操作行信息为进行识别， 识别结果以新区块的形式更新对应工件的区块链标识码； 所述工件识别 追踪算法， 基于工件CAD模型， 并利用真实数据贴图与随机背景进行场景 渲染， 在多个视角下采集用于训练工件识别网络的仿 真数据集， 利用优化后的YOLOX模 型训 练工件识别网络以识别工件位置， 利用基于识别特征复用的卡尔曼滤波追踪算法对视频流 中的工件进行追踪； 所述工件流程状态评估算法， 基于扫描得到的工件点云， 经过点云去噪后， 利用CAD先 验的表面点云， 通过ICP算法 匹配， 获取工件位姿并对比CAD模型评估工件流程状态， 识别工 件流程状态信息， 识别结果按照加工 工序以新区块的形式更新对应工件的区块链标识码。 8.根据权利要求7所述的应用于制造业的可溯源工业互联网系统， 其特征在于： 所述优 化后的YOLOX模型， 先针对YOLOX模型， 利用无跨层残差的多分组卷积模块替换 CSPDarknet53的基础模块以提高YOLOX模 型的性能； 再在YOLOX模型训练完成后利用结构重 参数化方法合并多分组卷积以降低YOLOX模型的规模。 9.根据权利要求7所述的应用于制造业的可溯源工业互联网系统， 其特征在于： 在人员 识别追踪算法和工件识别追踪算法中， 先利用优化后的Y OLOX模型对识别物进 行解耦， 得到 分类头特征图和检测头特征图， 再结合识别物的位置分别提取对应分类头特征图和对应检 测头特征图的矩阵数据， 最后对两个矩阵数据进 行L2正则化处理即可构建识别物的描述特 征； 采用卡尔曼滤波算法， 根据识别物在前一图片 中的位置计算识别物在当前图片 中的预 测位置， 计算识别物在当前图片中的预测位置与实际位置 的马氏距离为d1； 记识别物在当 前图片中的描述特征为F， 识别物在前m幅图片中的描述特征为(F1',F'2,...,F'm)， 计算F与 (F1',F'2,...,F'm)的平均距离为d2； 利用匈牙利算法实现对识别物的追 踪， 即minD＝d1+d2。 10.根据权利要求7所述的应用于制造业的可溯源工业互联网系统， 其特征在于： 利用 射频收发器(20)识别人员携带的电子身份标签进行身份识别。权　利　要　求　书 2/2 页 3 CN 115225670 A 3