(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210429986.9 (22)申请日 2022.04.22 (71)申请人 宁波大学 地址 315211 浙江省宁波市江北区风 华路 818号 (72)发明人 江先亮　白杰　 (74)专利代理 机构 宁波甬致专利代理有限公司 33228 专利代理师 高瑞霞 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种面向边缘计算的玛钢管件表面缺陷检 测的方法 (57)摘要 本发明涉及一种面向边缘计算的玛钢管件 表面缺陷检测的方法， 该方法包括： 采集多张玛 钢管件表 面缺陷图像； 对采集的玛钢管件表面缺 陷图像上的缺陷进行标注， 得到数据集； 将数据 集的80％作为训练集， 20％作为测试集； 构建扩 张压缩残差瓶颈网络， 该网络的其中一个特征提 取分支采取先扩张后压缩的卷积策略， 用于提取 输入特征图I上玛钢管件内部缺陷的特征以及抑 制背景噪声信息； 另外一个特征提取分支则采取 先压缩后扩张的卷积策略， 用于提取输入特征图 I上玛钢管件边缘轮廓的特征； 在两个特征提取 分支分别输出经过特征提取的特征图后引入注 意力机制， 得到融合有注意力机制的扩张压缩特 征提取骨干网络； 该方法检测精度高、 计算复杂 度低， 并且计算成本低。 权利要求书3页 说明书11页 附图2页 CN 115147347 A 2022.10.04 CN 115147347 A 1.一种面向边缘计算的玛钢管件表面缺陷检测的方法， 其特征在于： 该方法包括下列 步骤： S1、 在固定采集高度下， 用不同型号的工业CCD相机， 采用不同的环境光源角度采集多 张玛钢管件表面缺陷图像， 所述每张玛钢管件表 面缺陷图像上均包括有至少一个玛钢管件 表面缺陷； S2、 对步骤S1中采集的多张玛钢管件表面缺陷图像上的缺陷进行标注， 得到每张玛钢 管件表面 缺陷图像对应的标签文件， 将标签文件组成一个数据集； S3、 将步骤S2中得到的数据集的80％作为训练集， 20％作为测试集； S4、 构建扩张压缩残差瓶颈网络， 所述扩张压缩残差瓶颈网络包括两个特征提取分支， 设定输入特征图为I， 将输入特征图I分别投射到两个特征提取分支中， 其中 一个特征提取分支采取先扩张后压缩的卷积策略， 用于提取输入特征图I上玛钢 管件内部 缺陷的特征以及抑制背景噪声信息； 另外一个特征提取分支则采取先压缩后扩张的卷积策 略， 用于提取输入特征图I上玛钢管件边缘轮廓的特征； 两个特征提取分支分别输出经过特 征提取的特征图， 两个特征提取分支输出的经过特征提取的特征图沿通道方向以元素求和 的方式进行融合， 融合后输出 未经重新校准的融合特 征图； S5、 在步骤S4构建的扩张压缩残差瓶颈网络的基础上， 在两个特征提取分支分别输出 经过特征提取的特征图后引入注意力机制， 得到融合有注意力机制的扩张压缩特征提取骨 干网络； S6、 根据步骤S5得到的融合有注意力机制的扩 张压缩特征提取骨干网络来得到玛钢管 件表面缺陷检测模型； S7、 使用步骤S3划分出的训练集来训练步骤S6中得到的玛钢管件表面缺陷检测模型， 得到训练后的玛钢管件表面 缺陷检测模型； S8、 使用步骤S3划分出的测试集对步骤S7得到的训练后的玛钢管件表面缺陷检测模型 进行测试， 并调整模型参数， 得到优化后的玛钢管件表面 缺陷检测模型； S9、 将实时检测到的玛钢管件图像输入到步骤S8中得到的优化后的玛钢管件表面缺陷 检测模型中， 对玛钢管件表面 缺陷进行实时的缺陷检测。 2.根据权利要求1所述的一种面向边缘计算的玛钢管件表面缺陷检测的方法， 其特征 在于： 在步骤S2中， 对步骤S1中采集的多张玛钢管件表 面缺陷图像上的缺陷进 行标注， 得到 标签文件的具体过程为： 玛钢管件表面缺陷图像上的每个缺陷都使用边界框和类标签进 行 标注， 经过标注的图像保存为JSON格式的标签文件。 3.根据权利要求1或2所述的一种面向边缘计算的玛钢管件表面缺陷检测的方法， 其特 征在于： 在步骤S4中， 所述的其中一个特征提取分支采取先扩张后压缩的卷积策略， 用于提 取输入特征图I上玛钢管件内部缺陷的特征以及抑制背景噪声信息的具体过程包括下列步 骤： S4‑01、 将输入特征图I通过1 ×1逐点卷积映射到高维子空间， 得到的结果记为 的非线性激活输出记为 其中e表示扩张系数； S4‑02、 利用3 ×3深度卷积提取 的每个输入通道上的特征信息， 其得到的结果记为权　利　要　求　书 1/3 页 2 CN 115147347 A 2的非线性激活输出记为 S4‑03、 再通过1 ×1逐点卷积压缩 的通道个数， 其得到的结果记为 对 采取Linear线性激活操作， 其得到的结果记为 4.根据权利要求3所述的一种面向边缘计算的玛钢管件表面缺陷检测的方法， 其特征 在于： 在步骤S4中， 所述的另外一个特征提取分支则采取先压缩后扩张的卷积策略， 用于提 取输入特 征图I上玛钢管件边 缘轮廓的特 征的具体过程包括下列步骤： S4‑11、 将输入特征图I通过1 ×1逐点卷积映射到低维子空间， 其得到的结果记为 的非线性激活输出记为 s表示压缩系数； S4‑12、 将3×3深度卷积应用于 的每个输入通道， 其得到的结果记为 的非线性激活输出记为 S4‑13、 通过1 ×1逐点卷积扩张 的通道个数， 其得到的结果记为 对 采 取Swish非线性激活操作， 并将其得到的结果记为 5.根据权利要求4所述的一种面向边缘计算的玛钢管件表面缺陷检测的方法， 其特征 在于： 在步骤S4中， 两个特征提取分支输出的经过特征提取的特征图沿通道方向以元素求 和的方式进行融合， 融合后输出融合特征图的具体过程为： 将两个特征提取分支的输出特 征图与其对应的输入特征图的恒等映射以元素求和的方式进行特征融合并输出融合特征 图， 其输出的融合特 征图记为 其中 6.根据权利要求5所述的一种面向边缘计算的玛钢管件表面缺陷检测的方法， 其特征 在于： 在步骤S 5中， 所属的在步骤S4构建的扩张压缩残差瓶颈网络的基础上， 在两个特征提 取分支分别输出经过特征提取的特征图后引入注 意力机制， 得到融合有注意力机制的扩张 压缩特征提取骨干网络的具体过程包括下列步骤： S5‑1、 整合： 建立注意力机制对融合特征图的每个神经元的整体感知， 即通过元素求和 的方式将来自 和 的信息整合到融合特征图的每个神经元中得到新的融合特征图， 新的融合特 征图的表达式为： 其中， S5‑2、 重新校准： a、 使用全局平均池化层 生成新的融合特征图 的量化统计数据信 息s， 将新的融合特征图 的第c个通道统计到s的第c个元素， 其表达式为： b、 通过具有激活函数的全连接层 构建一个收缩特征z， 其表达式为 其中， β()表示批量归一化层， σ()表示Mish激 活函数， c、 采用SoftMax算子分别自适应地重新校准两个特征提取分支的输 出特征图 和 的每个通道的响应， 而每个分支通道的校准权重由收缩特征z来引导， 其表达式为 ： 其中 ， U , 和u , 分别为权　利　要　求　书 2/3 页 3 CN 115147347 A 3