(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111682171.3 (22)申请日 2021.12.28 (71)申请人 四川西南交大铁路发展股份有限公 司 地址 611730 四川省成 都市高新区西部园 区天河路 (72)发明人 王鹏翔　王成　武玉琪　何圣熙　 石伟　 (74)专利代理 机构 成都玖和知识产权代理事务 所(普通合伙) 51238 代理人 胡琳梅 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 20/54(2022.01)G06V 10/764(2022.01) G06T 7/73(2017.01) G06T 7/80(2017.01) G06K 9/62(2022.01) G06N 20/00(2019.01) G01S 13/88(2006.01) (54)发明名称 一种基于雷视融合的铁路危情监测方法 (57)摘要 本发明公开了一种基于雷视融合的铁路危 情监测方法， 包括： 对雷达和相机进行联合标定； 雷达获取监测区域当前帧的点云数据， 判断是否 存在障碍物； 若是， 则给出障碍物的第一类别和 第一置信度； 相机根据点云数据中的障碍物位置 信息加载标定参数， 对障碍物进行拍摄； 根据图 像数据判断是否存在障碍物； 若是， 给出障碍物 的第二类别和第二置信度； 判断第一类别和第二 类别是否一致， 若是， 输出障碍物数据， 若否， 比 较第一置信度和第二置信度的大小， 输出较大者 对应的障碍物数据。 本发明能够在各种复杂恶劣 的运营环 境中， 对侵入线路限界范围内的入侵物 进行智能化检测， 并提供分类报警输出， 在保证 产品功能的实用性的同时， 也具备了良好的用户 体验性。 权利要求书1页 说明书5页 附图2页 CN 114332732 A 2022.04.12 CN 114332732 A 1.一种基于雷视融合的铁路危情监测方法， 其特 征在于， 包括 步骤： 步骤S1.对雷达和相机进行 联合标定， 获取 所述雷达和相机在不同姿态下的标定参数； 步骤S2.所述雷达获取监测区域当前帧的点云数据， 判断是否存在障碍物； 若是， 则给 出所述障碍物的第一类别和第一置信度； 步骤S3.所述相机根据所述点云数据中的障碍物位置信息加载所述标定参数， 以调整 所述相机姿态， 对障碍物进行拍摄， 获取 所述障碍物的图像数据； 步骤S4.根据所述图像数据判断是否存在障碍物； 若是， 则给出所述障碍物的第二类别 和第二置信度； 步骤S5.判断所述第一类别和第二类别是否一致， 若是， 则输出所述障碍物数据， 若否， 则比较所述第一置信度和第二置信度的大小， 输出较大者对应的所述障碍物数据。 2.如权利要求1所述的基于雷视 融合的铁路危情监测方法， 其特征在于， 步骤S1所述标 定参数包括： 所述相机相对于所述雷达的旋转 量和平移量。 3.如权利要求2所述的基于雷视 融合的铁路危情监测方法， 其特征在于， 步骤S1所述获 取雷达和相机在不同姿态下的标定参数的方法， 包括： 步骤S101.建立 转化矩阵M， 将所述 点云数据(x， y， z)映射 为图像数据(u， v)： 其中， fu、 fv分别为相机在水平和垂直方向的有效焦距； u0、 v0为相机主点坐标； R为相机 旋转矩阵； t为相机相对于雷达的平 移矢量； 步骤S102.根据相机在不同姿态下的定标平面， 求解上述转化矩阵， 获取R、 t作为标定 参数。 4.如权利要求1所述的基于雷视 融合的铁路危情监测方法， 其特征在于， 所述步骤S4还 包括： 若否， 则以所述雷达的判定结果作为输出。 5.如权利要求1所述的基于雷视 融合的铁路危情监测方法， 其特征在于， 步骤S5在输出 所述障碍物数据前还 包括： 对所述监测区域的后续若干帧分别执行前述步骤， 以判断在若干帧中是否同时存在相 同的障碍物， 若是， 则继续后续 步骤； 若否， 则停止流 程， 并认定此时不存在障碍物。 6.如权利要求1所述的基于雷视 融合的铁路危情监测方法， 其特征在于， 步骤S2所述雷 达获取监测区域当前帧的点云数据， 判断是否存在障碍物的方法包括： 将不存在障碍物的帧作为标准帧， 提取 所述当前帧与标准帧的差异点云； 若所述差异点云为空， 则判断不存在障碍物， 结束流 程； 若所述差异点云不为空， 则判断所述点云是否为火车； 若是， 则判断不存在障碍物， 结 束流程； 若否， 则判断存在障碍物， 继续 流程。权　利　要　求　书 1/1 页 2 CN 114332732 A 2一种基于雷视融合的铁路危情 监测方法 技术领域 [0001]本发明涉及 一种轨道交通安全技术领域， 尤其涉及一种基于雷视融合的铁路危情 监测方法。 背景技术 [0002]我国幅员辽阔， 铁路运营线路长， 沿线自然和人文条件十分复杂， 而铁路作为最具 可持续性的交通运输模式， 是我国经济发展的大动脉， 也是我国关键基础设施和重要基础 产业。 铁路危情监测系统对侵入铁路运营线路的目标进行监测， 自动识别危及行车安全的 目标， 对入侵的行为或过程进行记录， 以保障铁路安全。 [0003]传统的危情监测技术技术已无法满足国铁集团零漏报、 低误报、 全天候的要求。 国 铁集团对危情监测系统要求零漏报、 低误报， 并且能够实现全天候自动监测， 目前在铁路运 营线路实际使用的产品， 无法满足以上要求。 [0004]目前铁路周界入侵使用的产品主要包括， 振动光纤、 电子围栏、 红外对射三类产 品， 以上产品均存在误报率高、 无法判断目标入侵之后的行为、 无法兼顾对铁轨线路的监测 等问题。 [0005]双电网采用物理防护+电网检测的方式识别异物入侵， 只能应用于公跨铁、 桥梁等 场景， 存在施工成本高、 维护困难、 对抛入物可能漏报的问题。 另外该系统大部分服役时间 已经超过十年， 部分区域 甚至需要中断行 车才能维修， 维修维护成本极高。 [0006]近年来雷达技术和智能视频技术分别开始应用于危情监测， 但应用单一技术依然 无法解决现有问题， 雷达和视频 各自的优缺 点如下表所示： [0007] [0008]另一方面， 现在也有将雷达和视频结合起来的雷视融合监测技术的设备和应用， 如公开号为CN109164443A的专利， 其公开了一种基于雷达及图像 分析的铁 路线路异物检测 方法， 其主要公开了利用雷达监测 监控范围内是否有移动目标， 再通过高清云台摄像机对 移动目标进行进一 步的识别和处 理。 其还存在以下的不足之处： [0009](1)其微波雷达与高清云台摄像机之间的不存在联动关系， 依然是两个设备独立 的作用再 结合后得 出结论； [0010](2)其异物识别单方面的依靠高清云 台摄像机拍摄的实时图像， 如前所述， 当在复 杂的环境(如雨、 雪、 勿)和夜晚等条件下， 其识别准确性必然会受较大影响， 甚至会出现无 法识别的情况。说　明　书 1/5 页 3 CN 114332732 A 3