(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211004525.3 (22)申请日 2022.08.22 (71)申请人 山东新一代信息产业 技术研究院有 限公司 地址 250013 山东省济南市高新区港兴三 路北段未来创业广场3号楼1 1-12层 (72)发明人 南国　郝虹　高岩　高明　尹青山　 (74)专利代理 机构 济南泉城专利商标事务所 37218 专利代理师 李桂存 (51)Int.Cl. G06V 10/25(2022.01) G06V 10/26(2022.01) G06V 10/32(2022.01) G06V 10/44(2022.01)G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种设备表盘表面薄膜反光去除方法 (57)摘要 本发明提供了一种设备表盘表面薄膜反光 去除方法和装置， 属于图像目标检测中的图像增 强领域。 方法包括： 图像数据集获取与图像数据 集处理， 用于组成训练数据集和验证集； 深度学 习网络的构建； 反光去除模型的训练； 生成背景 图像与反射层图像； 模型部署验证。 本发明利用 实际拍摄图像进行模型训练和验证， 可以对机器 人室内巡检所拍摄图像进行增强处理， 从整体上 提升巡检系统对于设备表盘类参数检测与识别 的准确率， 进 而提升了巡检系统的整体效率。 权利要求书1页 说明书3页 附图1页 CN 115294330 A 2022.11.04 CN 115294330 A 1.一种设备表盘表面薄膜反光去除方法， 其特 征在于， 包括以下步骤： 步骤1： 获取图像数据， 包含有薄膜反射的仪表图像数据集， 并对图像进行了归一化处 理， 数据集包含两部 分， 一部分是包含有薄膜反射的表盘图像的混合图像， 另一部 分是人工 设定的去除薄膜所拍摄的图像或者在拍摄角度合适的情况下设备表盘虽然附有薄膜但是 没有反光现象的图像， 或者反光极弱而不会对图像目标检测与识别造成影响， 将其作为背 景层图像并称为背景图像或透射层图像； 对图像数据处理， 将获取的图像分别以正方形格式进行剪裁， 去 除仪表盘之外的背景 部分， 所剪裁图像仅包含仪表盘在内， 然后对上述图像数据集进 行尺度归一化处理， 一起组 成训练用数据集和 测试用数据集， 分别用于模型的训练和模型的验证； 步骤2： 构建反光去除深度卷积神经网络， 定义模型的输入与输出为S=T+R， 式中S为混 合图像， T为背 景图像或透射层图像， R为反射层图像， 分别对混合图像和背 景图像以及提取 特征后的图像进行训练; 用深度卷积神经网络建立 一个基本模型， 模型的损失函数包 含特征损失； 步骤3： 初始化网络参数， 输入训练样本数据， 设定网络损失函数， 并实时进行参数更 新， 对反光去除模型进行训练， 生成优化模型； 步骤4： 利用所生成网络模型对步骤1中所定义测试数据集进行验证， 生成背景图像即 反光去除图像和反射层图像； 步骤5： 部署测试验证， 部署于客户端进行实际视觉图像的验证， 这其中再增加感兴趣 区域分割的算法， 感兴趣区域分割算法基于利用深度学习进行目标检测的方法， 目标区域 设定为设备表盘区域， 以获取与步骤1中所定义的数据集 规则相一 致的图像数据。 2.根据权利要求1所述的设备表盘表面薄膜反光去除方法， 其特征在于， 所述图像归一 化后的图像尺度为512 ×512像素。 3.根据权利要求1所述的设备表盘表面薄膜反光去 除方法， 其特征在于， 所述步骤2中 利用VGG‑19预训练模 型来提取高层特征， 并与 原始混合图像和背 景图像一起作为深度卷积 神经网络的输入进行训练。 4.一种适用于权利要求1 ‑3任一所述的面向巡检系统 的设备表盘表面薄膜反光去除的 装置， 该装置包括： 图像获取与图像数据 处理模块、 深度学习网络构建模块、 反光去除模型 训练模块、 背景图像即反光去除图像与反射层图像生成模块、 结果 生成测试模块。权　利　要　求　书 1/1 页 2 CN 115294330 A 2一种设备表盘表面薄膜反光去除方 法 技术领域 [0001]本发明涉及 一种设备表盘表面薄膜 反光去除方法和装置， 属于图像目标检测领域 中的图像增强技 术领域。 背景技术 [0002]随着人工智能化水平的日益提升， 在电站、 水务、 燃气锅炉、 机房等设备中心对于 日常设备的监控逐渐以自动化机器人巡检为主要手段， 这不仅有效的提升了设备运行状况 的监控与检测的效率， 而且减少了人工巡视的危险系数。 在基于机器人的自动化巡检、 监控 与检测中， 包括了对于各类设备仪表表盘所示的各类电气参数的实时检测， 这主要是通过 基于视觉图像检测与识别的方式实现的。 在实际的检测与识别过程中， 由于表盘表面均附 有出厂设定的保护薄膜， 在用摄像头拍摄的过程中， 会得到包括摄像头在内的环境中其他 物体的反射图像， 有些图像会因为拍摄角度以及实际场所光照条件的原因， 反光现象十分 严重， 直接降低了图像质量， 进而对于表盘相关参数的检测与识别带来很大的难度。 所以， 需要在视觉图像识别的算法中加入反光去除算法的部分， 这不管是在研究中还是实际工程 应用中都是一个难点。 发明内容 [0003]本发明目的是提供了一种设备表盘表面薄膜 反光去除方法和装置， 不仅结构牢固 不易分离， 而且施工方便 。 [0004]本发明为实现上述目的， 通过以下技 术方案实现： 步骤1： 获取 图像数据， 包含有薄膜反射的仪表图像数据集， 并对图像进行了归一 化处理， 数据集包含两部 分， 一部分是包含有薄膜反射的表盘图像的混合图像， 另一部 分是 人工设定的去除薄膜所拍摄的图像或者在拍摄角度合适的情况下设备表盘虽然附有薄膜 但是没有反光现象的图像， 或者反光极弱而不会对图像目标检测与识别造成影响， 将其作 为背景层图像并称为背景图像或透射层图像； 对图像数据处理， 将获取的图像分别以正方形格式进行剪裁， 去除仪表盘之外的 背景部分， 所剪裁图像仅包含仪表盘在内， 然后对 上述图像数据集进 行尺度归一化处理， 一 起组成训练用数据集和 测试用数据集， 分别用于模型的训练和模型的验证； 步骤2： 对于图像中去除反射的方法一般包括传统方法和基于深度学习的方法。 本 发明的反光去除方法是基于深度学习的方法。 首先构建反光去除深度卷积神经网络， 深度 卷积神经网络主干网络参考ERRNet网络架构。 （Kaixuan  Wei, Jiaolong  Yang, Ying Fu,  David Wipf, and Hua Huang. Single image reflection  removal exploiting   misaligned  training  data and network enhancements.  In IEEE Conference  on  Computer Vision and Pattern Recognition, pages 8178–8187, 2019） 定义模型的输入与输出为S=T+R， 式中S为混合图像， T为背景图像或透射层图像， R 为反射层图像， 分别对混合图像和背景图像进行训练。 用深度卷积神经网络建立一个基本说　明　书 1/3 页 3 CN 115294330 A 3