(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211119943.7 (22)申请日 2022.09.15 (71)申请人 湖南大学深圳研究院 地址 518000 广东省深圳市南 山区粤海街 道高新技术产业园南区虚拟大学园 A214 (72)发明人 孙炜　范诗萌　李冲　 (74)专利代理 机构 湖南岑信知识产权代理事务 所(普通合伙) 43275 专利代理师 周杰 (51)Int.Cl. G06T 7/80(2017.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种融合梯度线索和多尺度信息的双目立 体匹配方法 (57)摘要 本发明提供一种融合梯度线索和多尺度信 息的双目立体匹配方法， 对左右图像进行多尺度 特征提取得到多尺度的左、 右卷积特征图， 并计 算左、 右梯度特征图； 将分辨率相同的左、 右卷积 特征图与左、 右梯度特征图融合， 得到多尺度的 左、 右融合特征图； 使用拼接操作在每个视差平 面上用左、 右融合特征图构建拼接代价体； 使用 组相关方法在每个视差平面上用左、 右卷积特征 图构建组相关代价体； 将相同分辨率的拼接代价 体和组相关代 价体拼接， 得到多尺度的组合代价 体； 将不同尺度下的组合代价体融合得到融合代 价体， 对融合代价体进行上采样， 得到与左、 右图 像分辨率相同的最终代价体； 采用soft  argmin 操作输出视差图。 本发明提高了弱纹理区域、 细 微结构区域的匹配精度。 权利要求书2页 说明书7页 附图2页 CN 115423882 A 2022.12.02 CN 115423882 A 1.一种融合梯度线索和多尺度信息的双目立体匹配方法， 其特 征在于， 包括如下步骤： S1:获取左、 右相机的左、 右图像； S2:构建双目立体匹配网络， 将左、 右图像作为双目立体匹配网络的输入， 分别进行多 尺度的特征提取， 得到多尺度的左、 右卷积特征图； 将左、 右卷积特征图上依次通过多层卷 积层、 非线性层、 批量归一化层， 然后计算各特征点对应的梯度， 得到多尺度的左、 右梯度特 征图； 将分辨率相同的左、 右卷积特征图与左、 右梯度特征图融合， 得到多尺度的左、 右融合 特征图； S3:使用拼接操作在每个视差平面上用左、 右融合特征图构建拼接代价体； 使用组相关 方法在每个视差平面上用左、 右卷积特征图构建组相关代价体； 将相同分辨率的拼接代价 体和组相关代价体进行拼接操作， 得到多尺度的组合代价体； S4:将不同尺度 下的组合代价体 融合得到 融合代价体， 对融合代价体进行上采样， 得到 与左、 右图像分辨 率相同的最终代价体； S5:采用soft  argmin操作， 输出视 差图。 2.根据权利要求1所述的融合梯度线索和多尺度信息的双 目立体匹配方法， 其特征在 于， 所述步骤S1具体为： 标定左、 右相机， 采用标定好的左、 右相机分别拍摄得到图像， 对图像进行畸变校准、 极 线对齐后得到分辨 率为W×H的左、 右图像。 3.根据权利要求2所述的融合梯度线索和多尺度信息的双 目立体匹配方法， 其特征在 于， 所述步骤S2具体为： S21:构建双目立体匹配网络， 将左、 右图像作为双目立体匹配网络的输入， 进行多尺度 的特征提取， 分别得到W/4 ×H/4、 W/8×H/8、 W/16×H/16分辨率的左、 右卷积特 征图； S22:将左、 右卷积特征图依次通过多层卷积层、 非线性层、 批量归一化层， 然后计算各 特征点对应的梯度， 分别得到W/4 ×H/4、 W/8×H/8、 W/16 ×H/16分辨率的左、 右梯度特征图， 其中梯度的计算过程表示 为： 表示位于特征点(x,y)处的梯度特征， r表示梯度方向； fk表示经多次卷积层、 非 线性层、 批 量归一化层操作的卷积特征图， k表示通道， N表示总通道数， ( δxr, δ yr)表示沿r方 向的邻域像素相对于特 征点(x,y)的偏移量， | ·|表示绝对值。 S23:将分辨率相同的左、 右卷积特征图和左、 右梯度特征图依次通过多层卷积层、 非线 性层、 批量归一化层进行融合， 得到W/4 ×H/4、 W/8×H/8、 W/16 ×H/16分辨率的左、 右融合特 征图。 4.根据权利要求3所述的融合梯度线索和多尺度信息的双 目立体匹配方法， 其特征在 于， 所述拼接代价体的构建过程表示 为： 式中， ||表示拼接操作符， d表示表示视 差， 与 分别表示左、 右融合特 征图； 所述组相关代价体的构建过程表示 为： 权　利　要　求　书 1/2 页 2 CN 115423882 A 2式中， g表示组编号， NC表示左、 右卷积特征图的总通道数， NG表示总的组数， 分 别表示第g组左、 右卷积特 征图， <·>表示内积 操作； 所述组合代价体的构建过程表示 为： Ccombine＝Cconcat||Cgwc； 多尺度的所述组合代价体表示为:Ccombine1、 Ccombine2、 Ccombine3， 维度分别为:[B,C1,(Dmax+ 1)/4,H/4,W/4]、 [B,C2,(Dmax+1)/8,H/8,W/8]、 [B,C3,(Dmax+1)/16,H/16,W/16]， 其中， B为批 次大小， C1、 C2、 C3为通道数， Dmax为最大视差范围。 5.根据权利要求4所述的融合梯度线索和多尺度信息的双 目立体匹配方法， 其特征在 于， 所述步骤S4具体为： S41:对组合代价体Ccombine1、 Ccombine2、 Ccombine3进行正则化； S42:对正则化后的代价体Ccombine1进行下采样， 使其分辨率为W/8 ×H/8， 然后与经过正 则化的代价体Ccombine2进行拼接操作， 并将二 者进行融合； S43:对步骤S42融合后的代价体进行下采样， 使其分辨率为W/16 ×H/16， 然后与经过正 则化的代价体Ccombine3进行拼接操作， 并将二 者进行融合； S44:将步骤S43融合后的代价体进行上采样， 使其分辨率为W/4 ×H/4， 得到融合代价体 Cfused， 维度为： [B,C2,(Dmax+1)/4,H/4,W/4]； S45:对融合代价体Cfused进行上采样， 使其分辨率为W/2 ×H/2， 然后再进行三线性上采 样， 使其分辨 率为W×H， 得到最终代价体Cfinal。 6.根据权利要求5所述的融合梯度线索和多尺度信息的双 目立体匹配方法， 其特征在 于， 采用soft  argmin操作输出的视 差图为： 式中， σ 表示沿视 差维度的softmax操作， 表示输出的视 差图。 7.根据权利要求6所述的融合梯度线索和多尺度信息的双 目立体匹配方法， 其特征在 于， 还包括如下步骤： S6:训练所述双目立体匹配网络， 在训练 阶段， 所述双目立体匹配网络输出三个层次的 视差图， 并使用不同的训练权重进 行全监督学习： 第一层由步骤S4 1中正则化后的组合代 价 体Ccombine1输出， 输出具有梯度线索的视差图， 旨在保留细节特征； 第二层由步骤S44中融合 代价体Cfused输出， 输出具有多尺度信息和梯度线索的视差图； 第三层由步骤S45中最终代价 体Cfinal输出， 输出学习具有更精细和更高频率特征的视差图； 采用平滑L1损失函数对网络 进行端到端地训练， 所述双目立体匹配网络的损失函数表示 为: 式中， L表示损失函数， λi表示第i层次输出的视差图的权重系数， d*表示视差真值， 表示L1损失函数， 定义如下： 式中， a表示 L1损失函数的输入变量； S7:采用训练好的双目立体匹配网络进行双目立体匹配。权　利　要　求　书 2/2 页 3 CN 115423882 A 3