(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221042475 3.X (22)申请日 2022.04.22 (71)申请人 广东博华超高清创新中心有限公司 地址 518116 广东省深圳市龙岗区龙城街 道黄阁坑社区腾飞路9号创投大厦 3701 申请人 深圳龙岗智能视听研究院 (72)发明人 张世雄　张伟民　魏文应　赵健　 黎俊良　陶键源　安欣赏　 (74)专利代理 机构 北京京万通知识产权代理有 限公司 1 1440 专利代理师 万学堂　王跃交 (51)Int.Cl. G06T 7/246(2017.01) G06T 5/50(2006.01)G06T 3/40(2006.01) G06N 3/04(2006.01) G06K 9/62(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种融合脉冲数据和帧数据的运动图像的 超分辨提升方法 (57)摘要 一种融合脉冲数据和帧数据的运动图像的 超分辨提升方法， 包 括： S1.数据输入； S2.同步数 据： 根据时间戳对脉冲数据和帧数据进行同步， 同步的时间戳以帧数据为基准， 脉冲数据包含上 一帧到当前帧时间段的所有数据； S3.脉冲光流： 提取脉冲数据的光流特征； S4.帧数据光流： 提取 帧数据的光流特征； S5.数据矫正： 利用步骤S1获 取到的棋盘格信息数据， 通过计算后对脉冲数据 进行校正； S6.数据融合： 将步骤S5 校正好的光流 特征进行融合； S7.生成恢复： 通过步骤S6 数据融 合后的数据恢复为高帧率、 高质量的帧数据； S8. 数据输出： 输出高帧率的视频数据。 本发明方法 通过人工智能的融合方法提升传统相机的帧率， 使其能的对高速运动的目标有好呈现效果。 权利要求书2页 说明书5页 附图1页 CN 114782492 A 2022.07.22 CN 114782492 A 1.一种融合脉冲数据和帧数据的运动图像的超分辨提升方法， 其特征在于， 包括以下 步骤： S1.数据输入： 将脉冲相机和传统相机固定在同一平面上， 每次使用时都要获取动态的 矫正棋盘格信息数据， 同时将脉冲数据和帧数据输出； S2.同步数据： 根据时间戳对所述脉冲数据和所述帧数据进行同步， 同步的时间戳以所 述帧数据为基准， 所述脉冲数据包 含上一帧到当前帧时间段的所有数据； S3.脉冲光 流： 提取所述脉冲数据的光 流特征； S4.帧数据光 流： 提取所述帧数据的光 流特征； S5.数据矫正： 利用步骤S1获取到的所述棋盘格信息数据， 通过计算后对所述脉冲数据 进行校正， 使其可以映射到帧数据的坐标系中； S6.数据融合： 将步骤S5校正 好的光流特征进行融合； S7.生成恢复： 通过步骤S6数据融合后的数据恢复为高帧率、 高质量的帧数据； S8.数据输出： 输出高帧率的视频 数据。 2.根据权利要求1所述的融合脉冲数据和帧数据的运动图像的超分辨提升方法， 其特 征在于， 在步骤S2中， 同步数据包括脉冲数据和帧数据的时间对齐， 以及脉冲数据和帧数据 空间对齐。 3.根据权利要求2所述的融合脉冲数据和帧数据的运动图像的超分辨提升方法， 其特 征在于， 在步骤S2中， 所述脉冲数据和所述帧数据的时间对齐通过设置绝对时间戳来 实现， 即帧数据当前时间的数据和脉冲数据此时刻数据到上一帧时间内的所有数据为同一时刻 数据。 4.根据权利要求2所述的融合脉冲数据和帧数据的运动图像的超分辨提升方法， 其特 征在于， 在步骤S2中， 所述脉冲数据和所述帧数据空间对齐通过移动的棋盘格进 行对齐， 首 先将所述棋盘格设置成圆形， 并按照一定速度匀速旋转， 按照时间对齐的要求进行数据提 取， 时间持续1s， 将脉冲按照20 ms的时间间隔映射为图像帧， 对1s钟的数据利用棋盘格求出 两个相机的候选坐标系， 并将每个相 机的候选坐标系进行平均计算， 均值结果作为两个坐 标系的最终输出， 并在坐标系的基础上建立所述两个坐标系的映射关系。 5.根据权利要求1所述的融合脉冲数据和帧数据的运动图像的超分辨提升方法， 其特 征在于， 在步骤S3中， 采用滑动窗口的形式收集， 当脉冲相机输出脉冲信号时， 信号便在一 个矩阵窗口进 行累计， 当累计到一定数量时， 保存窗口， 重新累计， 新的累计完成时， 计算相 邻两个窗口 的L1‑光流特征， 依次类 推。 6.根据权利要求1所述的融合脉冲数据和帧数据的运动图像的超分辨提升方法， 其特 征在于， 在步骤S4中， 直接对相邻的帧数据采用L1 ‑光流法进行光 流提取。 7.根据权利要求1所述的融合脉冲数据和帧数据的运动图像的超分辨提升方法， 其特 征在于， 在步骤S 6中， 将所述帧数据和所述脉冲数据分别映射到光流特征 空间后， 光流特征 包含运动矢量信息， 在数据融合前需要采用步骤S2中的脉冲数据和帧数据进 行时间对齐和 空间对齐， 所述时间对齐将脉冲相 机时间段 的数据对应到帧相 机时间点的数据， 空间对齐 需要坐标系进行映射， 将脉冲相 机的光流特征通过两个坐标系的转换， 将坐标映射到所述 帧数据下的坐标系中， 然后， 采用直接相加的方法就可以完成 融合， 在所述帧数据的光流特 征的基础上叠加上 脉冲数据的光 流特征。权　利　要　求　书 1/2 页 2 CN 114782492 A 28.根据权利要求1所述的融合脉冲数据和帧数据的运动图像的超分辨提升方法， 其特 征在于， 在步骤S7中， 利用融合后的光流特征对原视频进 行修复， 融合后的光流特征和源视 频帧同时输入训练好的生成对抗网络中， 设定相应的输出参数， 网络通过光流特征， 对视频 帧进行生成加帧处 理， 以对所述原视频进行恢复。 9.根据权利要求1所述的融合脉冲数据和帧数据的运动图像的超分辨提升方法， 其特 征在于， 在步骤S 8中， 将步骤S7中生成的数据按照A VS3编码后输出。权　利　要　求　书 2/2 页 3 CN 114782492 A 3