(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210946913.7 (22)申请日 2022.08.09 (65)同一申请的已公布的文献号 申请公布号 CN 115018846 A (43)申请公布日 2022.09.06 (73)专利权人 东声 （苏州） 智能科技有限公司 地址 215000 江苏省苏州市自由贸易试验 区苏州片区苏州工业园区酝慧路168 号星洲大厦101、 102、 20 3、 205、 213室 (72)发明人 颜聪　韩旭　吴悦帆　 (74)专利代理 机构 北京超成律师事务所 1 1646 专利代理师 孔默 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/26(2022.01)G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (56)对比文件 CN 113554582 A,2021.10.26 CN 112862770 A,2021.0 5.28 CN 110598637 A,2019.12.20 CN 105447851 A,2016.0 3.30 CN 113822890 A,2021.12.21 CN 109596 625 A,2019.04.09 审查员 陈震宇 (54)发明名称 基于AI智能相机的多目标裂纹缺陷检测方 法和装置 (57)摘要 本申请公开了一种基于AI智能相机的多目 标裂纹缺陷检测方法和装置， 通过单个AI智能相 机拍摄覆盖同一检测工位上的多个检测区域的 第一图像， 利用深度学习分割模 型从第一图像得 到多个目标工件的分割图像和工件类型， 根据工 件类型并行地从每个目标工件的分割图像获得 开孔轮廓区域图像， 随后以预定的图像尺寸和步 长的滑动窗口沿着开孔轮廓裁切一组检测图像， 依次输入与每个目标工件的工件类型对应的深 度学习缺陷分类模型， 识别出一组检测图像中是 否存在裂纹缺陷。 本申请可以显著降低对多类型 目标工件的开孔裂纹缺陷检测的成本， 提高对多 类型目标工件的开孔裂纹缺陷检测的效率， 提高 对目标工件中开孔轮廓微小裂纹缺陷的检测准 确率。 权利要求书2页 说明书12页 附图4页 CN 115018846 B 2022.12.27 CN 115018846 B 1.一种基于AI智能相机的多目标裂纹缺陷检测方法， 其特 征在于， 包括： 通过单个AI智能相机拍摄覆盖同一检测工位上的多个检测区域的第 一图像， 每个检测 区域分别放置一目标工件， 所述多个检测区域在所述同一检测工位上通过矩阵式分布排 列， 使得所述多个 检测区域均在所述AI智能相机的视场范围； 利用深度 学习分割模型对所述第 一图像进行分割检测， 识别出每个检测区域中的目标 工件的工件类型， 并得到每个目标工件的分割图像； 其中， 基于所述A I智能相机的标定数据 获得所述第一图像的图像坐标与所述多个检测区域之 间的映射关系， 根据所述映射关系以 及所述深度学习分割模型对所述第一图像进行分割检测得到的每个目标工件的预测 边界 框的位置坐标与所述第一图像的图像坐标之间的位置关系， 确定所述每个目标工件所对应 的检测区域标识； 根据每个目标工件的工件类型， 并行地从每个目标工件的分割图像提取开孔轮廓， 获 得每个目标工件的开孔轮廓的坐标尺寸数据， 并根据每个目标工件的开孔轮廓的坐标尺寸 数据， 从每 个目标工件的分割图像获得每 个目标工件的至少一个开 孔轮廓区域图像； 从每个目标工件的至少一个开孔轮廓区域图像以预定的图像尺寸和步长的滑动窗口 沿着开孔轮廓裁切一组检测图像， 依次输入所述A I智能相机预先部署的与每个目标工件的 工件类型对应的深度学习缺陷分类模型， 识别出所述一组检测图像中是否存在裂纹缺陷， 其中所述 一组检测图像中的每 个均包含开孔轮廓的一部分。 2.根据权利要求1所述的基于AI智能相机的多目标裂纹缺陷检测方法， 其特征在于， 所 述根据每个目标工件的工件类型， 并行地从每个目标工件的分割图像提取开孔轮廓， 获得 每个目标工件的开 孔轮廓的坐标尺寸数据包括： 根据每个目标工件的工件类型获得每个目标工件的开孔轮廓的形状类型， 并从所述每 个目标工件的分割图像获取开 孔轮廓的最小外 接矩形框； 根据所述每个目标工件的开孔轮廓的形状类型和开孔轮廓的最小外接矩形框， 生成每 个目标工件的开 孔轮廓的坐标尺寸数据。 3.根据权利要求2所述的基于AI智能相机的多目标裂纹缺陷检测方法， 其特征在于， 如 果所述开孔轮廓的形状类型是第一形状类型， 则所述目标工件的开孔轮廓的坐标尺寸数据 包括根据开孔轮廓的最小外接矩形框的旋转角度对目标工件的分割图像进行旋转角度矫 正后的水平最小外接矩形框的坐标尺寸数据以及至少一个圆角的拟合尺寸数据； 如果所述 开孔轮廓的形状类型是第二形状类型， 则所述目标工件的开孔轮廓的坐标尺寸数据包括开 孔轮廓的最小外 接矩形框的中心点 坐标和圆形半径。 4.根据权利要求3所述的基于AI智能相机的多目标裂纹缺陷检测方法， 其特 征在于， 如果所述开孔轮廓的形状类型是第 一形状类型， 则所述至少一个开孔轮廓区域图像包 括第一开孔轮廓区域图像和至少一个第二开孔轮廓区域图像， 其中所述至少一个第二开孔 轮廓区域图像是对所述至少一个圆角的圆角区域图像进行圆角轮廓拉直变换而获得。 5.根据权利要求3所述的基于AI智能相机的多目标裂纹缺陷检测方法， 其特征在于， 如 果所述开孔轮廓的形状类型是第二形状类型， 则所述至少一个开孔轮廓区域图像包括第二 开孔轮廓区域图像， 所述第二开孔轮廓区域图像是对原始开孔轮廓区域图像进行圆形轮廓 拉直变换而获得。 6.根据权利要求1 ‑5任一项所述的基于AI智能相机的多目标裂纹缺陷检测方法， 其特权　利　要　求　书 1/2 页 2 CN 115018846 B 2征在于， 所述方法还 包括： 基于图像中纹路是否与开孔边缘底部接触为依据， 将每个工件类型的裁切后的开孔边 缘样本图像数据集标注为有裂纹图像和无裂纹图像； 针对任一工件类型的开孔边缘样本图像数据集训练第 一深度学习缺陷分类模型， 基于 其他工件类型 的少量开孔边缘样本图像数据集对所述第一深度学习缺陷分类模型进行迁 移学习， 依 次得到针对其他工件类型 的深度学习缺陷分类模型， 将每个工件类型对应的深 度学习缺陷分类模型部署至所述AI智能相机 。 7.根据权利要求1所述的基于AI智能相机的多目标裂纹缺陷检测方法， 其特征在于， 所 述方法还 包括： 根据每个目标工件的工件类型判断放置于所述多个检测区域上的多个目标工件中是 否存在相同的工件类型； 如是， 则将所述多个目标工件的开孔轮廓区域图像按照相同的工件类型各自聚合为各 工件类型的开 孔轮廓区域图像数据集； 分别对所述各工件类型的开孔轮廓区域图像数据集中的每个以预定图像尺寸和步长 的滑动窗口沿着开孔轮廓裁切一组检测图像， 依次输入与其工件类型对应的深度学习缺陷 分类模型。 8.根据权利要求7所述的基于AI智能相机的多目标裂纹缺陷检测方法， 其特征在于， 所 述方法还包括： 基于所述A I智能相机内置的A I加速处理单元并行加载多个工件类型分别对 应的深度学习缺陷分类模型来执 行所述检测图像的裂纹缺陷的分类 检测。 9.一种基于AI智能相机的多目标裂纹缺陷检测装置， 其特 征在于， 包括： 图像采集单元， 用于通过单个AI智能相机拍摄包含同一检测工位上的多个检测区域的 第一图像， 每个检测区域分别放置一 目标工件， 所述多个检测区域在所述同一检测工位上 通过矩阵式分布排列， 使得 所述多个 检测区域均在所述AI智能相机的视场范围； 工件分割单元， 用于利用深度学习分割模型对所述第一图像进行分割检测， 识别出每 个检测区域中的目标工件的工件类型， 并得到每个目标工件的分割图像； 其中， 基于所述A I 智能相机的标定数据获得所述第一图像的图像坐标与所述多个检测区域之 间的映射关系， 根据所述映射关系以及所述深度学习分割模型对所述第一图像进行分割检测得到的每个 目标工件的预测边界框的位置坐标与所述第一图像的图像坐标之 间的位置 关系， 确定所述 每个目标工件所对应的检测区域标识； 图像处理单元， 用于根据每个目标工件的工件类型， 并行地从每个目标工件的分割图 像提取开孔轮廓， 获得每个目标工件的开孔轮廓的坐标尺寸数据， 并根据每个目标工件的 开孔轮廓的坐标尺寸数据， 从每个目标工件的分割图像获得每个目标工件的至少一个开孔 轮廓区域图像； 缺陷检测单元， 用于从每个目标工件的至少一个开孔轮廓区域图像以预定的图像尺寸 和步长的滑动窗口沿着开孔轮廓裁切一组检测图像， 依次输入 所述AI智能相机预先部署的 与每个目标工件的工件类型对应的深度学习缺陷分类模型， 识别出所述一组检测图像中是 否存在裂纹缺陷， 其中所述 一组检测图像中的每 个均包含开孔轮廓的一部分。权　利　要　求　书 2/2 页 3 CN 115018846 B 3