(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210999649.3 (22)申请日 2022.08.19 (65)同一申请的已公布的文献号 申请公布号 CN 115063579 A (43)申请公布日 2022.09.16 (73)专利权人 西南交通大 学 地址 610000 四川省成 都市二环路北一段 (72)发明人 黄德青　周期　秦娜　刘佳辉　 杜元福　谢林孜　 (74)专利代理 机构 成都其知创新专利代理事务 所(普通合伙) 51326 专利代理师 房立普 (51)Int.Cl. G06V 10/22(2022.01) G06V 10/20(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01) G06V 20/64(2022.01)(56)对比文件 CN 112991347 A,2021.0 6.18 CN 113460851 A,2021.10.01 CN 113808133 A,2021.12.17 CN 113421283 A,2021.09.21 CN 114037703 A,2022.02.11 CN 113469966 A,2021.10.01 US 2022044034 A1,202 2.02.10 杨健等.在线测量机的视 觉与位置组合感知 定位方法. 《机 械设计与制造 工程》 .2020,(第0 6 期),5-10. 张伟剑等.输电巡 检中绝缘子缺陷判读及位 置配准研究. 《科技资 讯》 .2018,(第02期),61- 63. 刘之远等.基 于双目视 觉的钣金件边 缘检测 技术研究与系统开发. 《航空制造技 术》 .2020, (第07期),18-27. (续) 审查员 罗秀英 (54)发明名称 基于二维图像和三维点云投影的列车定位 销松动检测方法 (57)摘要 本发明公开了基于二维图像和三维点云投 影的列车定位销松动检测方法， 包括： 使用三维 工业相机采集定位销部件的二维图像和三维点 云数据； 对于二维图， 采用YOLOv5目标检测算法 定位定位销位置； 将二维图中定位销目标区域映 射到采集的三维点云数据中， 截取目标点云； 基 于二维图像与三维点云数据综合计算定位销高 度； 与历史数据和标准数据作差， 对比故障阈值， 判断定位销状态。 本发明结合二维数据和三维数 据的特点， 提高了检测算法的稳定性与准确性， 实现在整个地铁车底复杂环境下稳定的定位销 定位， 分割、 计算和识别松动的功能， 通过计算相 关客观真实数据来判断松动； 并且能够提供定位 销松动的数值， 为检修人员提供参考， 提升检测效率。 [转续页] 权利要求书3页 说明书11页 附图5页 CN 115063579 B 2022.11.04 CN 115063579 B (56)对比文件 吴登禄等.基 于三维点云和图像边 缘的托盘 检测技术研究. 《自动化与信息 工程》 .2019,第40 卷(第3期), Qi C R等.Imvotenet: Bo osting 3d object detecti on in point clouds with image votes. 《Proce edings of the IE EE/CVF conference o n computer visi on and pat tern recognition》 .2020, 张旭.基于激光轮廓测量的工件三维尺寸数 据处理方法研究. 《中国优秀硕士学位 论文全文 数据库 (基础科 学辑)》 .202 2,(第5期),2/2 页 2[接上页] CN 115063579 B1.基于二维图像和三维点云投影的列车定位销松动检测方法， 其特征在于， 包括以下 步骤： 步骤1、 采集定位销部件的三维点云数据， 并通过三维点云数据映射为二维定位销 图 像； 步骤2、 对二维定位销图像 中的定位销位置进行定位， 获得包含定位销底座上边缘和定 位销紧固件上边缘的图像1和包含定位销紧固件上边缘和下边缘的图像2， 并获取图像1中 的边框坐标， 然后将坐标框映射到三维点云数据中， 截取位于三维点云数据中的定位销目 标点云； 步骤3、 对图像1、 图像2进行预处理获得以图像Y轴平均分为两份 的图像I1y1、 图像I1y2、 图像I2y1、 图像I2y2； 步骤4、 分别对图像I1y1、 图像I1y2、 图像I2y1、 图像I2y2检测直线； 步骤5、 基于图像I1y1、 图像I1y2、 图像I2y1、 图像I2y2中检测出的直线计算定位销高度与 定 位销紧固件长度比值K2D； 步骤6、 对三维点云数据进行 预处理获得三维点云投影； 步骤7、 基于三维点云投影 计算定位销高度与定位销底座宽度比值K3D； 步骤8、 基于定位销高度与定位销紧固件长度比值K2D、 定位销高度与定位销底座宽度比 值K3D计算定位销的平均高度HD； HD＝0.65K3DWG+0.35K2DLG 式中： K3D为定位销高度与定位销底座宽度比值； K2D为定位销高度与定位销紧固件长度 比值； WG为定位销底座宽度的真实值； LG为定位销紧固件长度的真实值； HD为定位销的平均 高度； 步骤9、 基于 定位销的平均高度HD判断定位销是否松动。 2.根据权利要求1所述的基于二维图像和三维点云投影的列车定位销松动检测方法， 其特征在于， 所述步骤2中通过利用目标检测算法YOLOv5对二维定位销图像的位置进行定 位。 3.根据权利要求1所述的基于二维图像和三维点云投影的列车定位销松动检测方法， 其特征在于， 所述 步骤3的具体步骤为： 步骤301、 利用自适应阈值 二值化算法提取定位销基本结构黑白骨架； 步骤302、 利用基于连通域面积的噪点去除算法， 将面积S小于设定阈值T的连通域删 除； 步骤303、 利用中值滤波非线性平 滑算法， 平 滑定位销骨架结构的边 缘毛刺； 步骤304、 利用Can ny算子检测定位销边 缘； 步骤305、 将图像1和图像2以其Y轴平均分为两份， 分别为图像I1y1、 图像I1y2、 图像I2y1、 图像I2y2。 4.根据权利要求3所述的基于二维图像和三维点云投影的列车定位销松动检测方法， 其特征在于， 所述 步骤4的具体步骤为： 步骤401、 分别对图像I1y1、 图像I1y2、 图像I2y1、 图像I2y2使用霍夫直线检测算法检测直 线； 步骤402、 计算每 个窗口中每条检测出直线与水平X轴的夹角 α；权　利　要　求　书 1/3 页 2 CN 115063579 B 3