(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210327726.0 (22)申请日 2022.03.31 (71)申请人 科大天工智能装备技 术 （天津） 有限 公司 地址 300308 天津市东 丽区华明 高新技术 产业区华丰路6号G座1号楼 (72)发明人 张波　张超　钱浩　 (74)专利代理 机构 北京高沃 律师事务所 1 1569 代理人 杜阳阳 (51)Int.Cl. G06T 7/00(2017.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/764(2022.01)G06V 10/80(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 一种桥梁钢索断裂 探测方法及系统 (57)摘要 本发明涉及一种桥梁钢索断裂探测方法及 系统， 属于图像检测领域。 该方法包括： 获取基于 Faster‑RCNN的网络模型； 将所述特征提取网络 的骨干网络替换为残差网络， 并将所述残差网络 的第五个卷积层替换为SENet注意力模块； 对区 域推荐网络中的非最大值抑制算法进行改进， 得 到缺陷检测模型； 获取待检测桥梁钢索图像； 所 述待检测桥梁钢索图像包括RGB图像和深度图 像； 将所述RGB图像与所述深度图像进行融合， 得 到融合后的图像； 将所述融合后的图像输入所述 缺陷检测模 型， 得到待检测桥梁钢索的缺陷探测 结果。 本发 明可以提升桥梁钢索断裂探测的准确 度和效率。 权利要求书3页 说明书9页 附图3页 CN 114419049 A 2022.04.29 CN 114419049 A 1.一种桥梁钢索断裂探测方法， 其特 征在于， 包括： 获取基于Faster ‑RCNN的网络模型； 所述基于Faster ‑RCNN的网络模型包括特征提取网 络、 区域推荐网络、 感兴趣区域池化网络和回归分类网络； 所述特征提取网络的骨干网络为 VGG16网络； 将所述特征提取网络的骨干网络替换为残差网络， 并将所述残差网络的第五个卷积层 替换为SENet 注意力模块； 对区域推荐网络中的非最大值抑制算法进行改进， 得到缺陷检测模型； 改进后的非最 大值抑制算法基于图像每一帧之间的重叠率对候选框进行筛选， 图像的每一帧均用五元组 （x1,y1,x2,y2,score） 表示； （x1,y1） 表示当前帧图像左上角的位置坐标， （x2,y2） 表示当前帧 图像右下角的位置坐标， score表示目标对象包 含在当前帧图像中的置信度； 获取待检测桥梁钢索图像； 所述待检测桥梁钢索图像包括RGB图像和深度图像； 将所述RGB图像与所述深度图像进行融合， 得到融合后的图像； 将所述融合后的图像输入所述 缺陷检测模型， 得到待检测桥梁钢索的缺陷探测结果。 2.根据权利要求1所述的桥梁钢索断裂探测方法， 其特征在于， 所述SENet注意力模块 用于计算各个特 征的分布向量， 具体过程 为： 利用 对特征图进行全局平均池化， 得到 实数列 ； 其中， Fgap(·)为全局平均池化函数， H表 示特征图空间维度的高， W表 示特征图 空间维度的宽， 特征图为 ， m表示特征图中横向的像素点， n表示特征图中 纵向的像素点， xc表示索引为c的特 征图； 使用sigmoid函数对实数列 进行激活， 生成每个通道对应的权重分布S， ； 其中， ， ， M表示通道数 量， r为压缩率， R表示实数集； 根据每个 通道的权重分布利用 对输入的特征图加权更新， 得到更新后的通 道特征； 其中， 为索引为c的特 征图的权 重分布， 为索引为c的特 征图的通道特 征。 3.根据权利要求1所述的桥梁钢索断裂探测方法， 其特征在于， 所述对区域推荐 网络中 的非最大值抑制算法进行改进， 具体包括： 按照目标对象包含在当前帧图像中的置信度升序的方式对所有帧进行排序， 得到图像 帧序列； 按照 计算两帧之间的重叠率； 其中， 表 示帧p和帧q的重叠率， , ， n表示总帧数， 表示截止阈值； 表示帧p的面积， 表示帧q的面积， 表示帧p和帧q的重 叠面积；权　利　要　求　书 1/3 页 2 CN 114419049 A 2当 ≥α 时， 丢弃帧p； 当 <α 时， 保留帧p。 4.根据权利要求1所述的桥梁钢索断裂探测方法， 其特征在于， 所述将所述RGB图像与 所述深度图像进行融合， 得到融合后的图像， 具体包括： 使用所述RGB图像的G通道替换所述深度图像的A通道， 得到融合后的图像； 所述深度图 像的A通道 表示地面法向量夹角。 5.根据权利要求1所述的桥梁钢索断裂探测方法， 其特征在于， 所述待检测桥梁钢索的 缺陷探测结果包括： 均匀锈蚀、 点蚀、 索股机 械损伤或断丝 。 6.一种桥梁钢索断裂探测系统， 其特 征在于， 包括： 网络模型获取模块， 用于获取基于Faster ‑RCNN的网络模型； 所述基于Faster ‑RCNN的 网络模型包括特征提取网络、 区域推荐网络、 感兴趣区域池化网络和回归分类网络； 所述特 征提取网络的骨干网络为VG G16网络； 骨干网络更新模块， 用于将所述特征提取网络的骨干网络替换为残差网络， 并将所述 残差网络的第五个卷积层替换为SENet 注意力模块； 非最大值抑制算法改进模块， 用于对区域推荐网络中的非最大值抑制算法进行改进， 得到缺陷检测模型； 改进后的非最大值抑制算法基于图像每一帧之 间的重叠率对候选框进 行筛选， 图像的每一帧均用五元组 （x1,y1,x2,y2,score） 表示； （x1,y1） 表示当前帧图像左上 角的位置坐 标， （x2,y2） 表示当前帧图像右下角的位置坐 标， score表示目标对象包含在当前 帧图像中的置信度； 图像获取模块， 用于获取待检测桥梁钢索图像； 所述待检测桥梁钢索图像包括RGB图像 和深度图像； 融合模块， 用于将所述RGB图像与所述深度图像进行融合， 得到融合后的图像； 检测模块， 用于将所述融合后的图像输入所述缺陷检测模型， 得到待检测桥梁钢索的 缺陷探测结果。 7.根据权利要求6所述的桥梁钢索断裂探测系统， 其特征在于， 所述SENet注意力模块 包括： 全局平均池化单元， 用于利用 对特征图 进行全局平均池化， 得到实数列 ； 其中， Fgap(·)为全局平均池化函数， H表示特征图空 间维度的高， W表示特征图空间维度的宽， 特征图为 ， m表示特征图中横向 的像素点， n表示特 征图中纵向的像素点， xc表示索引为c的特 征图； 激活单元， 用于使用sigmoid函数对实数列 进行激活， 生成每个通道对应的权重分 布S， ； 其中， ， ， M表示通 道数量， r为压缩率， R表示实数集； 通道特征更新 单元， 用于 根据每个 通道的权重分布利用 对输入的特征图加权　利　要　求　书 2/3 页 3 CN 114419049 A 3