(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210940958.3 (22)申请日 2022.08.08 (65)同一申请的已公布的文献号 申请公布号 CN 115063416 A (43)申请公布日 2022.09.16 (73)专利权人 苏州立创致恒电子科技有限公司 地址 215000 江苏省苏州市苏州工业园区 金鸡湖大道13 55号国际科技园A5 03 (72)发明人 李骏　邱心怡　魏翼飞　周方明　 (74)专利代理 机构 北京弘权知识产权代理有限 公司 11363 专利代理师 逯长明　朱炎 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/62(2017.01)G06T 7/66(2017.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) (56)对比文件 CN 107576 666 A,2018.01.12 CN 109916912 A,2019.0 6.21 CN 111391881 A,2020.07.10 冯婷立等.基于轨道图像位置距离特 征的扣 件状态识别. 《智能计算机与应用》 .2020,第10卷 (第9期),第178-181页. 审查员 徐菲 (54)发明名称 一种铁轨扣件状态检测方法及系统 (57)摘要 本申请提供一种铁轨扣件状态检测方法及 系统， 所述铁轨扣件状态检测方法包括获取待识 别铁轨扣件图像， 并输入至第一铁轨环境分割模 型及第二铁轨环境分割模型， 得到螺母、 铁轨及 扣件的中心点坐标信息以及轮廓点坐标信息； 根 据扣件的中心点及轮廓点坐标信息得到待识别 铁轨扣件局部图像， 输入至扣件状态检测模型， 得到初始预测状态； 根据螺母、 铁轨及扣件的中 心点及轮廓点坐标信息， 得到状态辅助判断信 息， 进一步得到待识别铁轨扣件图像的状态类 别。 本申请提供的检测方法通过螺母、 铁轨以及 扣件的中心点及轮廓点坐标信息得到扣件的位 置以及形态， 得到状态辅助判断信息， 结合扣件 的初始预测状态， 实现铁轨扣件状态的高精度检 测。 权利要求书3页 说明书9页 附图7页 CN 115063416 B 2022.11.04 CN 115063416 B 1.一种铁 轨扣件状态检测方法， 其特 征在于， 包括： 获取待识别铁 轨扣件图像； 将所述待识别铁轨扣件图像输入至第一铁轨环境分割模型以及第二铁轨环境分割模 型； 所述第一铁轨环境分割 模型响应于输入的所述待识别铁轨扣件图像， 输出第 一坐标信 息， 所述第一坐标信息包括螺母的中心点坐标信息以及轮廓点坐标信息、 铁轨的中心点坐 标信息以及轮廓点 坐标信息； 所述第二铁轨环境分割 模型响应于输入的所述待识别铁轨扣件图像， 输出第 二坐标信 息， 所述第二 坐标信息包括待识别铁 轨扣件的中心点 坐标信息以及轮廓点 坐标信息； 根据所述第二 坐标信息， 得到待识别铁 轨扣件局部图像； 将所述待识别铁 轨扣件局部图像输入至扣件状态检测模型； 所述扣件状态检测模型响应于输入的所述待识别 铁轨扣件局部图像， 输出待识别铁轨 扣件图像的初始预测状态； 根据所述第 一坐标信 息和所述第 二坐标信 息， 得到待识别铁轨扣件图像的状态辅助判 断信息， 其中所述状态辅助判断信息为 缺损或者 倾斜或者正常； 当所述状态辅助判断信息为缺损时， 输出所述待识别铁轨扣件图像的状态类别为缺 损； 当所述状态辅助判断信息为倾斜时， 输出所述待识别铁轨扣件图像的状态类别为倾 斜； 当所述状态辅助判断信 息为正常时， 输出所述待识别铁轨扣件图像的状态类别为所述 初始预测状态； 其中， 根据所述第一坐标信息和所述第二坐标信息， 得到待识别铁轨扣件图像的状态 辅助判断信息， 包括： 根据所述第一坐标信 息和所述第 二坐标信 息， 得到第 一面积、 第二面积、 第 三面积和第 四面积， 其中， 所述第一面积为以螺母为中心划分的扣件的一侧区域与铁轨交叠的面积， 所 述第二面积为以螺母为中心划分的扣件的另一侧区域与铁轨交叠的面积， 所述第三面积为 以螺母为中心划分的扣件一侧区域的面积， 所述第四面积为以螺母为中心划分的扣件另一 侧区域的面积； 当第一比值大于第一预设比值时， 所述状态辅助判断信息为倾斜， 其中所述第一比值 为所述第一 面积与所述第二 面积的差值和所述第一 面积与所述第二 面积的和值的比值； 当第二比值大于第二预设比值时， 所述状态辅助判断信息为缺损， 其中所述第二比值 为所述第三 面积与所述第四面积的差值和所述第三 面积与第四面积的和值的比值； 当所述第一坐标信息中的螺母中心点坐标信息为空且所述第二坐标信息中的扣件中 心点坐标信息不 为空时， 所述状态辅助判断信息为 缺损。 2.根据权利要求1所述的铁轨扣件状态检测方法， 其特征在于， 所述第 一铁轨环境分割 模型按照以下 方法训练： 获取多个铁 轨图像； 采用像素级标注的方式标注所述铁轨图像中的螺母轮廓以及铁轨轮廓， 得到第 一标注 后的铁轨图像；权　利　要　求　书 1/3 页 2 CN 115063416 B 2对多个所述第一标注后的铁 轨图像执 行预处理过程， 得到第一训练数据集； 使用所述第一训练数据集， 按照基于极坐标系的实例分割算法训练第一环境分割模 型； 所述第二铁 轨环境分割模型按照以下 方法训练； 获取多个铁 轨图像； 采用像素级标注的方式标注所述铁轨图像中的扣件轮廓， 得到第二标注后的铁轨图 像； 对多个所述第二标注后的铁 轨图像执 行预处理过程， 得到第二训练数据集； 使用所述第二训练数据集， 按照基于极坐标系的实例分割算法训练第二环境分割模 型。 3.根据权利要求2所述的铁轨扣件状态检测方法， 其特征在于， 所述第 一铁轨环境分割 模型得到的螺母的轮廓点的数量 为48个， 铁轨的轮廓点的数量 为48个； 所述第二铁 轨环境分割模型 得到扣件的轮廓点的数量 为48个。 4.根据权利要求1所述的铁轨扣件状态检测方法， 其特征在于， 还包括： 将所述待识别 铁轨扣件图像以及对应的状态类别发送至服 务器。 5.一种铁轨扣件状态检测系统， 其特征在于， 所述铁轨扣件状态检测系统用于实现如 权利要求1 ‑4任一项所述的铁轨扣件状态检测方法， 所述铁轨扣件状态检测系统包括依次 相连的铁 轨扣件图像采集模块、 铁 轨环境分割模块、 扣件状态 识别模块； 其中， 所述铁 轨扣件图像采集模块用于获取待识别铁 轨扣件图像； 所述铁轨环境分割模块包括第 一铁轨环境分割单元、 第 二铁轨环境分割单元以及局部 图像获取单元， 其中， 所述第一铁轨环境分割 单元用于响应于输入的所述待识别铁轨扣件 图像， 输出第一坐标信息， 所述第一坐标信息包括螺母的中心点坐标信息以及轮廓点坐标 信息、 铁轨的中心点坐标信息以及轮廓点坐标信息； 所述第二铁轨环境分割模型响应于输 入的所述待识别铁轨扣件图像， 输出第二坐标信息， 所述第二坐标信息包括待识别铁轨扣 件的中心点坐标信息以及轮廓点坐标信息； 所述局部图像获取单元用于根据所述第二坐标 信息， 得到待识别铁 轨扣件局部图像； 所述扣件状态识别模块包括初始预测单元、 辅助判断单元和结果输出单元； 其中， 所述 初始预测单元用于响应于输入的所述待识别铁轨扣件局部图像， 输出待识别铁轨扣件图像 的初始预测状态； 所述辅助判断单元用于根据所述第一坐标信息和所述第二坐标信息， 得 到待识别铁轨扣件图像的状态辅助判断信息， 其中， 所述状态辅助判断信息为缺损或者倾 斜或者正常； 所述结果输出单元用于根据所述状态辅助判断信息和所述初始预测状态， 确 定所述待识别铁轨扣件图像的状态类别， 其中， 当所述状态辅助判断信息为缺损时， 输出所 述待识别铁轨扣件图像的状态类别为缺损； 当所述状态辅助判断信息为倾斜时， 输出所述 待识别铁轨扣件图像的状态类别为倾斜； 当所述状态辅助判断信息为正常时， 输出所述待 识别铁轨扣件图像的状态类别为所述初始预测状态； 其中， 所述辅助判断单 元被配置为执 行以下操作： 根据所述第一坐标信 息和所述第 二坐标信 息， 得到第 一面积、 第二面积、 第 三面积和第 四面积， 其中， 所述第一面积为以螺母为中心划分的扣件的一侧区域与铁轨交叠的面积， 所 述第二面积为以， 螺母为中心划分的扣件的另一侧区域与铁轨交叠的面积， 所述第三面积权　利　要　求　书 2/3 页 3 CN 115063416 B 3