(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210298737.0 (22)申请日 2022.03.23 (71)申请人 上海交通大 学 地址 200240 上海市闵行区东川路80 0号 (72)发明人 孙锬锋　汤历欧　李世杰　王若辰　 许可　 (74)专利代理 机构 上海汉声知识产权代理有限 公司 3123 6 专利代理师 胡晶 (51)Int.Cl. G06V 20/58(2022.01) G06V 20/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 车辆行驶 安全预警方法及系统 (57)摘要 本发明提供一种车辆行驶安全预警方法及 系统， 包括： 步骤S1： 获取相邻两帧图像作为模型 输入， 对图像进行拉伸， 符合相机参数； 步骤S2： 使用修改后的FastFlowNet光流预测神经网络模 型， 以相邻两帧图像为输入， 输出光流矢量矩阵； 步骤S3： 使用MegaDep th神经网络模型， 以相邻两 帧图像为输入， 输出深度矩阵， 作为后续步骤中 特征融合模块的输入； 步骤S4： 对步骤S2和步骤 S3的结果进行特征融合； 步骤S5： 对步骤S4的结 果， 取三部分大小相同的子矩阵； 步骤S6： 对获得 的每相邻两帧摄像图像， 输出预测的速度； 步骤 S7： 根据步骤S6的预测结果输出预警信息。 本发 明能够提供低成本的、 独立于车辆传感器的车辆 数据、 路况 数据或障碍物类型的分析。 权利要求书3页 说明书7页 附图1页 CN 114898328 A 2022.08.12 CN 114898328 A 1.一种车辆行驶 安全预警方法， 其特 征在于， 包括： 步骤S1： 通过车载摄像头或行车记录仪获取相邻两帧图像作为后续应用的模型输入， 对图像进行拉伸， 以符合相机参数； 步骤S2： 使用修改后的FastFlowNet光流预测神经网络模型， 以相邻两帧图像为输入， 输出光流矢量矩阵， 其中各矢量指示该像素点的光照条件变化， 作为后续步骤中特征融合 模块的输入； 步骤S3： 使用MegaDepth神经网络模型， 以相邻两帧图像为输入， 输出深度矩阵， 作 为后 续步骤中特征融合模块的输入， 在计算设备允许的条件下， 该步骤S3能够和步骤S2同步运 行； 步骤S4： 对步骤S2和步骤S3的结果进行 特征融合； 步骤S5： 对步骤S4的结果， 取三部分大小相同的子矩阵， 合并后作为后续步骤中实时精 准速度预测 神经网络的输入； 步骤S6： 使用设计的速度 预测神经网络进行运算， 对获得的每相邻两帧摄像图像， 输出 预测的速度； 步骤S7： 根据步骤S6的预测结果输出 预警信息， 若符合 危险驾驶模式， 则输出警告。 2.根据权利要求1所述的车辆行驶安全预警方法， 其特征在于， 所述步骤S1包括： 获取 摄像头的视频流输入， 对每相 邻两帧图像， 直接作为后续模块的输入， 并使用插值方法将源 RGB图像分辨 率拉伸或压缩为126 6×370的RGB图像。 3.根据权利要求1所述的车辆行驶安全预警方法， 其特征在于， 所述步骤S2包括： 以步 骤S1输出的两帧图像为输入， 计算光流矢量矩阵， 输出 的结果为代表图像各像素光照条件 变化的矢量场， 存 储为2×1266×370的矩阵。 4.根据权利要求1所述的车辆行驶安全预警方法， 其特征在于， 所述步骤S2中 FastFlowNet光流预测神经网络模型的设计如下： 步骤S2.1： 头部增强池化金字塔： FastFlowNet模型使用头部增强池化金字塔进行特征 提取， 其将步骤S1层数较高的特征金字塔与骤S2层数较低的池化金字塔进行融合， 以结合 二者优势； 同时， 高层金字塔上 再添加一个卷积层， 通过计算成本强化金字塔特 征； 步骤S2.2： 中心密集扩张卷积层Center  Dense Dilated Correlation,CDDC： 不同于传 统的卷积层构 造， 模型采用中心密集扩张卷积层， 在图像中心部 分进行密集采样， 同时在大 运动区域中对网格点进行下采样， 在保持模型认知半径的前提下有效减小计算量； 在进行 立体匹配时， 模型的代价 容积Cost Volume函数构造如下： 其中， cl(X,d)表示代价容积Cost  Volume函数； l表示特征金字塔的第l层； x表示从图像 的左下角指向像素点的矢量； d表示从图像中心指向像素点的矢量； 表示图像的特征函 数； 表示经翘曲的图像的特征函数； N表示作为模型输入的特征的维数； r表示卷积的 搜索半径； 步骤S2.3： 聚合块解码器： 通过CDDC构建的紧凑的代价容积将解码器的最大特征通道 从128个减少到96个； 将三个96通道卷积改为组卷积， 每个解码器网络包含三个组数为3的 聚合块。权　利　要　求　书 1/3 页 2 CN 114898328 A 25.根据权利要求4所述的车辆行驶安全预警方法， 其特征在于， 所述步骤S3包括： 以步 骤S1获得的RGB图像作为输入， 通过MegaDepth网络进行速度预测， 对图像的各像素点， 若该 像素表示的不 为天空， 输出其相对深度， 若该像素表示天空， 则将其深度信息移除。 6.根据权利要求5所述的车辆行驶安全预警方法， 其特征在于， 所述步骤S4包括： 将步 骤S2和步骤S3的矩阵， 即光流矢量矩阵OFi,j和相对深度矩阵Di,j输入三层卷积核大小为3 × 3的卷积层， 对获得的结果OF ′和D′， 再进行特征融合计算， 特征融合计算的全过程的表达式 如下： 其中， i表示像素点的横坐标； j表示像素点的纵坐标； F ′0,i,j表示融合特征矩阵中指示 垂直方向运动的维度； F ′1,i,j表示融合特征矩阵中指示水平方向运动的维度； OF ′1,i,j表示 经过卷积层计算的修改过的光流特征矩阵； D ′i,j表示经过卷积层计算的修改过的深度特征 矩阵； 对获得的结果， 再输入三层卷积核大小为3 ×3的反卷积层， 获得特征矩阵Fi,j， 作为预 测模型的输入。 7.根据权利要求6所述的车辆行驶安全预警方法， 其特征在于， 所述步骤S5包括： 取步 骤S4的结果， 即特征矩阵F的子矩阵， 具体为： 取三部分200 ×60的二维矩阵， 对这三个子矩 阵， 其(0,0)坐 标在原矩阵中对应的坐标为(113,200)、 (513,200)、 (913,200)， 舍弃F0,i,j， 取 F1,i,j部分， 作为后续速度预测网络的输入。 8.根据权利要求1所述的车辆行驶安全预警方法， 其特征在于， 所述步骤S6包括： 将前 述步骤的输出图像输入预训练的卷积神经网络进 行预测； 速度预测模块网络输入为步骤S 5 的结果， 即3 ×200×66的矩阵； 速度预测模块网络包含归一化层1层， 卷积核大小为5 ×5， 步 长为2的卷积层3层， 卷积核大小为3 ×3的卷积层3层， 以及全连接层4层。 9.根据权利要求1所述的车辆行驶安全预警方法， 其特征在于， 所述步骤S7包括： 将此 帧及此前帧的速度信息进行分析， 若加速度过快或姿态变化幅度较大， 则提出警告； 具体 为： 将此帧图像所表征 的速度与此前三帧的速度输入一个判断模块， 若其速度模式符合危 险驾驶模式， 则输出告警信息， 最后将预测所得的速度同步上传至云端第三方平台的服务 器。 10.一种车辆行驶 安全预警系统， 其特 征在于， 包括： 模块M1： 通过车载摄像头或行车记录仪获取相邻两帧图像作为后续应用的模型输入， 对图像进行拉伸， 以符合相机参数； 模块M2： 使用修改后的FastFlowNet光流预测神经网络模型， 以相邻两帧图像为输入， 输出光流矢量矩阵， 其中各矢量指示该像素点的光照条件变化， 作为后续步骤中特征融合 模块的输入； 模块M3： 使用MegaDepth神经网络模型， 以相邻两帧图像为输入， 输出深度矩阵， 作 为后 续步骤中特征融合模块的输入， 在计算设备允许的条件下， 该模块M3能够和步模块M2同步 运行； 模块M4： 对 模块M2和模块M 3的结果进行 特征融合； 模块M5： 对模块M4的结果， 取三部分大小相同的子矩阵， 合并后作为后续步骤中实时精权　利　要　求　书 2/3 页 3 CN 114898328 A 3