(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111540560.2 (22)申请日 2021.12.16 (71)申请人 南京大学 地址 210046 江苏省南京市栖霞区仙林大 道163号 (72)发明人 胡雪梅　黄晨迪　岳涛　李家渠　 (74)专利代理 机构 江苏法德东恒律师事务所 32305 专利代理师 李媛媛 (51)Int.Cl. G06T 19/00(2011.01) G06N 20/00(2019.01) (54)发明名称 一种数据驱动的可去除多径 误差的TOF深度 成像方法 (57)摘要 本发明公开了一种数据驱动的可去除多径 误差的TOF深度成像方法。 其步骤如下： 针对存在 多径效应的场景进行三维建模， 对 上述场景进行 深度渲染得到深度图标签及其对应的场景参数； 以三角网格形式重新描述上述场景， 进行基于 pbrt的瞬态渲染得到 脉冲响应瞬态图； 将可学习 的调制函数与脉冲响应瞬态相卷积， 得到调制函 数对应光波照亮场景后的回波； 使用可学习的 TOF解调函数， 与上一步输出相乘积分并加上环 境光与噪声， 输入重建子网络； 训练上述网络， 用 得到的调制函数调制激光， 照亮场景后用光电探 测器测量回波， 与得到的解调函数相乘并滤波； 将电压值输入训练后的重建子网络得到深度图。 本方法增强了TOF深度成像对多径误差的鲁棒 性， 提高了成像精度。 权利要求书2页 说明书3页 附图1页 CN 115496883 A 2022.12.20 CN 115496883 A 1.一种数据驱动的可去除多径误差的TOF深度成像方法， 其特 征在于， 包括如下步骤： 步骤1， 针对存在多径效应的场景进行三维建模， 然后对上述场景进行深度渲染， 以获 得深度图标签及对应场景参数； 步骤2， 用三角网格形式重新描述步骤1的场景， 结合所述场景参数生成场景描述文件， 以进行基于pbr t的瞬态渲染得到若干帧脉冲响应瞬态图； 步骤3， 将所述若干帧脉冲响应瞬态图输入到TOF成像网络， 所述TOF成像网络包括仿真 网络和基于GAN的重建子网络， 其中仿真网络通过模拟调制解调 过程获得模拟的原始输出 数据， 重建子网络负责将所述原 始输出数据重建为深度图； 步骤4， 在仿真网络 中用多次谐波之和的形式来描述调制函数， 通过将谐波的幅度与相 位设置为可 学习参数， 从而 使得调制参数 可训练； 步骤5， 将步骤4可学习的调制函数与步骤2若干帧脉冲响应瞬态图相卷积得到调制函 数对应光波照亮场景后的反射回波， 此回波能充分体现场景的多径效应； 步骤6， 同步骤4的方式设置4个可训练的解调函数， 与步骤5的反射回波进行互相 关操 作； 步骤7， 将步骤6的结果加上环境 光以及高斯白噪声， 得到有噪声的测量图； 步骤8， 将有噪声的测量图输入所述基于GAN的重建子 网络， 先将测量图输入生成器G得 到重建结果， 再由判别器判别生成结果的真实度， 在训练中将会基于此更新生成器G的参 数； 步骤9， 所述仿真网络与基于GAN的重建子网络同时用深度学习的方法训练， 得到训练 好的调制函数、 解调函数和重建子网络； 步骤10， 使用步骤9训练得到的调制函数对激光二极管进行调制， 驱动激光二极管发射 波形与调制函数相同的激光照亮场景； 步骤11， 场景物体表面反射回的反射 光由光电探测器接收； 步骤12， 将步骤11光电探测器收集到的反射信号与步骤9训练好的解调函数相乘并进 行低通滤波， 使用模数转换器对低通滤波后输出的电压进行采集； 步骤13， 重复步骤10至步骤12， 扫描场景中的每个点， 对场景中所有的点都进行测量， 得到测量结果； 步骤14， 把步骤13得到的测量结果输入步骤9训练好的重建子网络， 得到场景的深度 图。 2.根据权利要求1所述的一种数据驱动的可去除多径误差的TOF深度成像方法， 其特征 在于， 步骤4与步骤6中的调制函数和解调函数的数 学形式为： F(t)＝Σsin(kωt+φk) 其中k表示谐波的次数， k＝1,2,3,4,5,6； ω表示基波的频率， φ表示各次谐波对应 的 相位， t为时间。 3.根据权利要求1所述的一种数据驱动的可去除多径误差的TOF深度成像方法， 其特征 在于， 步骤5中， 所述反射回波的连续形式表示 为： E(t)＝ ∫ α( τ )F(t ‑τ )dτ， 所述反射回波的离 散形式表示 为： E(t)＝Σα( τ )*F(t ‑τ )/f权　利　要　求　书 1/2 页 2 CN 115496883 A 2其中， F(t ‑τ )是强度调制光源形式， α( τ )是脉冲响应瞬态函数； f为采用的脉冲响应瞬 态函数的帧数， 这里τ ＝ kT0， k＝0， 1， 2， 3 …， T0为脉冲响应瞬态函数两帧间的间隔。权　利　要　求　书 2/2 页 3 CN 115496883 A 3