(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 20221048313 6.7 (22)申请日 2022.05.06 (65)同一申请的已公布的文献号 申请公布号 CN 114581782 A (43)申请公布日 2022.06.03 (73)专利权人 南京航空航天大 学 地址 210016 江苏省南京市秦淮区御道街 29号 (72)发明人 汪俊　单忠德　贾书一　李大伟　 吴宇祥　 (74)专利代理 机构 南京钟山专利代理有限公司 32252 专利代理师 张力 (51)Int.Cl. G06V 20/10(2022.01)G06V 10/22(2022.01) G06V 10/26(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) 审查员 徐晓艳 (54)发明名称 一种基于由粗到精检测策略的细微缺陷检 测方法 (57)摘要 本发明公开了一种基于由粗到精检测策略 的细微缺陷检测方法， 包括： 步骤1、 采用CCD相机 获取待测图像数据； 步骤2、 构造缺陷区域定位网 络并对待测图像进行预处理， 初步定位缺陷位 置； 步骤3、 构造缺陷点检测网络， 采用缺陷分割 loss函数对缺陷点检测网络进行训练； 步骤 4、 采 用缺陷点检测网络对初步定位缺陷位置后的图 像中存在的细微缺陷进行定量提取分割。 本发明 解决了人工细微缺陷检测漏检率高、 准确度低， 以及现有技术中无法对细微缺陷进行准确定位 提取的问题， 提高了细微缺陷检测的精准度和高 效性。 权利要求书2页 说明书6页 附图4页 CN 114581782 B 2022.08.16 CN 114581782 B 1.一种基于由粗到精检测策略的细微 缺陷检测方法， 其特 征在于， 包括： 步骤1、 采用C CD相机获取待测图像数据； 步骤2、 构造缺陷区域定位网络并对待测图像进行 预处理， 初步定位 缺陷位置； 步骤3、 构造缺陷点检测网络， 采用缺陷分割l oss函数对缺陷点检测网络进行训练； 所述缺陷点检测网络包括： 包含六个阶段的骨干网， 双 向特征金字塔网络， 分类网络， 回归网络； 所述包含六个阶段的骨干网中的输入图像为缺陷区域定位网络输出的图像， 用于提取 输入图像的缺陷特 征； 所述六个阶段中， 第一阶段包括 一个卷积层和一个7 ×7的卷积核； 第二阶段包括 一个3×3的最大池化层和一个密集 块； 且第二阶段包 含交替的1 ×1和3×3卷积核； 第三阶段和第四阶段分别由两个结构不同的密集块组成， 用于加快特征的传播， 提高 缺陷特征图的利用率； 第五阶段由两个扩展的瓶颈组成， 用于捕捉细小目标缺陷特 征； 第六阶段由一个扩展的瓶颈组成， 用于防止小目标 特征丢失； 步骤4、 采用缺陷点检测网络对初步定位缺陷位置后的图像中存在的细微缺陷进行定 量提取分割。 2.根据权利要求1所述的一种基于由粗到精检测策略的细微缺陷检测方法， 其特征在 于， 所述步骤2包括： 1)构造缺陷区域定位网络， 包括骨干网、 分类网络和回归网络； 2)将待测图像送入骨干网， 使用一个1 ×1和一个3 ×3的卷积核进行图像中的缺陷信息 提取； 3)将缺陷信 息送入分类网络和回归 网络中， 分类网络预测每个锚中是否有同一个缺陷 特征， 回归网络预测每 个锚盒的位置， 实现缺陷位置初步定位。 3.根据权利要求2所述的一种基于由粗到精检测策略的细微缺陷检测方法， 其特征在 于， 所述分类网络和回归网络共享同一层次的特 征权重； 所述骨干网中的主干中， 前五层是由四个卷积层和一个池化层组成的。 4.根据权利要求1所述的一种基于由粗到精检测策略的细微缺陷检测方法， 其特征在 于， 所述双向特 征金字塔网络用于对输入的缺陷特 征进行融合特 征映射， 具体的： 先通过双向连接， 获取不同缺陷特征的信 息， 再通过变加权特征融合， 平衡不同层次的 缺陷特征， 运用的公式如下 所示： 其中， 0为双向特 征金字塔网络 输出特征； wi为保证的变权值， wi≥0； ε是一个避免分母为 零的参数； Ii表示来自第i层的特 征。 5.根据权利要求1所述的一种基于由粗到精检测策略的细微缺陷检测方法， 其特征在 于， 所述缺陷点检测网络中， 分类网络用于进行缺陷位置预测， 回归网络对缺陷进 行定位回 归， 最后输出缺陷识别定位检测图。权　利　要　求　书 1/2 页 2 CN 114581782 B 26.根据权利要求5所述的一种基于由粗到精检测策略的细微缺陷检测方法， 其特征在 于， 所述缺陷点检测网络中的分类网络和回归网络都各含两个卷积核， 且共享一个公共输 入特征映射， 即融合特 征映射。 7.根据权利要求1所述的一种基于由粗到精检测策略的细微缺陷检测方法， 其特征在 于， 所述步骤3采用缺陷分割loss函数对缺陷点检测网络进行精度训练以及缺陷定量分割 提取； 所述缺陷分割l oss函数包括： 语义分割损失Lss、 边缘损失Le， 以及两个正则化损失函数； 所述语义分割损失和边缘损失， 使用标准交叉熵CE损失和标准二叉交叉熵BCE损失来 预测语义分割f和特 征映射s； 其中， 语义分割损失Lss、 边缘损失Le定义如下： 其中， 和 为缺陷标号， λ1和 λ2为两个平衡参数且 λ1、 λ2∈[0,1]。 8.根据权利要求7所述的一种基于由粗到精检测策略的细微缺陷检测方法， 其特征在 于， 所述缺陷分割loss函数的后两部分为两个正则化损失函数， 即第一个正则化损失函数 和第二个正则化损失函数； 第一个正则化损失函数用于避免缺陷边 缘与预测边 缘不匹配， 定义 为： 其中， ζ 为表示像素 是否属于缺陷边 缘值的置信值； p+为预测的像素坐标集 合； 为相似值； 第二个正则化 函数用于使用边 缘预测来匹配 语义预测， 防止过拟合， 定义如下： 1s， p＝{1： s＞thrs} 其中， p和k分别表示 为像素集和标签集， 1s， p为指标函数； thrs为阈值， λ3和 λ4为两个平衡参数， 使得精度分割性能最佳。权　利　要　求　书 2/2 页 3 CN 114581782 B 3