(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210195611.0 (22)申请日 2022.03.02 (65)同一申请的已公布的文献号 申请公布号 CN 114267003 A (43)申请公布日 2022.04.01 (73)专利权人 城云科技 （中国） 有限公司 地址 310052 浙江省杭州市滨江区长河街 道江南大道588号恒 鑫大厦主楼17层、 18层 (72)发明人 陈斌　陈思瑶　毛云青　王国梁　 (74)专利代理 机构 杭州汇和信专利代理有限公 司 33475 专利代理师 薛文玲 (51)Int.Cl. G06V 20/40(2022.01)G06V 20/52(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) 审查员 崔蓝芳 (54)发明名称 道路破损检测方法、 装置及应用 (57)摘要 本申请提出了一种道路破损检测方法、 装置 及应用， 包括以下步骤： 获取道路破损案件文本 数据， 基于所述道路破损案件文本数据调取对应 的路面监控视频， 并基于所述路面监控视频获取 至少一道路破损图像； 编码所述道路破损案件文 本数据得到对应的道路破损文本编码向量； 编码 所述道路破损图像得到道路破损图像特征； 将所 述道路破损图像特征和道路破损文本编码向量 映射至相同的语义空间后进行融合， 得到融合道 路破损特征； 将所述融合道路破损特征输入预训 练后的道路破损程度分类模型中进行分类， 获取 道路破损程度， 可基于道路破损案件文本数据自 动获取道路破损图像， 并对道路破损案件自动分 析其道路破损程度。 权利要求书2页 说明书8页 附图4页 CN 114267003 B 2022.06.10 CN 114267003 B 1.一种道路破损检测方法， 其特 征在于， 包括以下步骤： 获取道路破损案件文本数据， 基于所述道路破损案件文本数据调取对应的路面监控视 频， 并基于所述路面 监控视频获取至少一道路破损图像； 编码所述道路破损案件文本数据得到对应的道路破损文本编码向量； 编码所述道路破损图像得到道路破损图像特 征； 将所述道路破损图像特征和道路破损文本编码向量映射至相同的语义空间后进行融 合， 得到融合道路破损特 征； 将所述融合道路破损特征输入预训练后的道路破损程度分类模型中进行分类， 获取道 路破损程度， 所述道路破损程度分类模型包括依 次连接的骨干网络、 颈部模块以及预测模 块， 其中骨干网络包括依 次连接的4个第一残差模块、 依次连接的3个第二残差模块以及依 次连接3个第三残差模块， 其中前三位的第一残差模块的输出依 次和倒序的第二残差模块 的输出相加， 且末位第一残差模块的输出作为首位第二残差模块的输入； 前二位的所述第 二残差模块的输出依次和 倒序前二位的第三残差模块的输出相加； 倒数三位的所述第一残 差模块的输出依次和正序的第三残差模块的输出相加； 第一残差模块将输入经过1 ×1的点卷积后再经过3 ×3跨距为1的深度卷积， 将输入与 所述深度卷积的输出相加获取残差结果， 再将残差结果经过3 ×3跨距为2的卷积进行下采 样， 第二残差模块包括： 将输入经过1 ×1的点卷积再经过3 ×3跨距为1的深度卷积， 将输入 与所述深度卷积的输出相加获取残差结果， 再将所述残差结果输入到上采样层进行上采 样， 第三残差模块将输入 经过3×3跨距为2的卷积进 行下采样， 将下采样结果经过1 ×1的点 卷积再经过3 ×3跨距为1的深度卷积， 将下采样结果与所述深度卷积的输出相加获取残差 结果。 2.根据权利要求1所述的道路破损检测方法， 其特征在于， 在 “基于所述道路破损案件 文本数据调 取对应的路面监控视频， 并基于所述路面监控视频获取至少一道路破损图像 ” 步骤中， 提取所述道路破损 案件文本数据的案件地址信息以及上报时间信息， 基于所述案 件地址信息和所述上报时间信息调取对应案件地址相应时间段的路面监控视频， 所述路面 监控视频输入到道路破损检测模型中输出至少一道路破损图像。 3.根据权利要求1所述的道路破损检测方法， 其特征在于， 在 “编码所述道路破损案件 文本数据得到对应的道路破损文本编码向量 ”步骤中， 将所述道路破损 案件文本数据的案 件内容输入到预训练后的文本模型中获取道路破损文本编码向量。 4.根据权利要求1所述的道路破损检测方法， 其特征在于， 在 “编码所述道路破损图像 得到道路破损图像特征 ”步骤中， 处理所述道路破损图像至统一大小尺寸后， 输入道路破损 检测模型中进行空间金字塔池化操作， 得到道路破损图像特 征。 5.根据权利要求1所述的道路破损检测方法， 其特征在于， 在 “将所述道路破损图像特 征和道路破损文本编码向量映射至相同的语义空间后进行融合， 得到融合道路破损特征 ” 步骤中， 将道路破损文本编码向量进行均等划分后再拼接得到第一文本特征， 第一文本特 征卷积操作后下采样得到第二文本特征； 将所述道路破损图像特征进 行上采样后得到第二 道路破损图像特征； 将所述第二文本特征进行上采样后得到第三文本特征， 其中第三文本 特征和第二道路图像特征的尺寸大小相同， 融合所述第三文本特征和所述第二道路破损图 像特征得到融合道路破损特 征。权　利　要　求　书 1/2 页 2 CN 114267003 B 26.一种道路破损检测装置， 其特 征在于， 包括： 数据获取单元， 用于获取道路破损案件文本数据， 基于所述道路破损案件文本数据调 取对应的路面 监控视频， 并基于所述路面 监控视频获取至少一道路破损图像； 文本编码单元， 用于编码所述道路破损案件文本数据得到对应的道路破损文本编码向 量； 图像编码单 元， 用于编码所述道路破损图像得到道路破损图像特 征； 融合单元， 用于将所述道路破损图像特征和道路破损文本编码向量映射至相同的语义 空间后进行融合， 得到融合道路破损特 征； 检测单元， 用于将所述融合道路破损特征输入预训练后的道路破损程度分类模型中进 行分类， 获取道路破损程度， 所述道路破损程度分类模型包括依次连接的骨干网络、 颈部模 块以及预测模块， 其中骨干网络包括依次连接的4个第一残差模块、 依次连接的3个第二残 差模块以及依 次连接3个第三残差模块， 其中前三位的第一残差模块的输出依 次和倒序的 第二残差模块的输出相加， 且末位第一残差模块的输出作为首位第二残差模块的输入； 前 二位的所述第二残差模块的输出依次和 倒序前二位的第三残差模块的输出相加； 倒数三位 的所述第一残差模块的输出依次和正序的第三残差模块的输出相加； 第一残差模块将输入经过1 ×1的点卷积后再经过3 ×3跨距为1的深度卷积， 将输入与 所述深度卷积的输出相加获取残差结果， 再将残差结果经过3 ×3跨距为2的卷积进行下采 样， 第二残差模块包括： 将输入经过1 ×1的点卷积再经过3 ×3跨距为1的深度卷积， 将输入 与所述深度卷积的输出相加获取残差结果， 再将所述残差结果输入到上采样层进行上采 样， 第三残差模块将输入 经过3×3跨距为2的卷积进 行下采样， 将下采样结果经过1 ×1的点 卷积再经过3 ×3跨距为1的深度卷积， 将下采样结果与所述深度卷积的输出相加获取残差 结果。 7.一种电子装置， 包括存储器和处理器， 其特征在于， 所述存储器中存储有计算机程 序， 所述处理器被设置为运行所述计算机程序以执行权利要求1到5任一所述的道路破损检 测方法。 8.一种可读存储介质， 其特征在于， 所述可读存储介质中存储有计算机程序， 所述计算 机程序包括用于控制过程以执行过程的程序 代码， 所述过程包括根据权利要求 1到5任一所 述的道路破损检测方法。权　利　要　求　书 2/2 页 3 CN 114267003 B 3