(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210748535.1 (22)申请日 2022.06.28 (71)申请人 广西交科集团有限公司 地址 530000 广西壮 族自治区南宁市西乡 塘区高新 二路6号 (72)发明人 梁贞　郑旭平　曾夏明　黎璟　 覃上洲　胡津瑞　刘永龙　盘龙　 苏文琦　 (74)专利代理 机构 北京沃知思真知识产权代理 有限公司 1 1942 专利代理师 袁辰亮 (51)Int.Cl. H04N 7/18(2006.01) H04N 5/265(2006.01) H04N 5/262(2006.01)H04N 5/04(2006.01) (54)发明名称 一种基于任务切分和流水线技术的视频融 合方法 (57)摘要 本发明公开了一种基于任务切分和流水线 技术的视频融合方法， 视频拼接功能通过多个解 码线程、 一个同步线程、 一个拼接线程、 一个或多 个编码线程实现， 解码线程和编码线程可选用 CPU或GPU上的硬件编解码 模块执行编解码操作， 拼接线程使用GPU执行拼接操作， 线程之间使用 不同的帧队列进行通信， 能够充分利用CPU和GP U 的计算资源， 实现高效的实时视频拼接 。 权利要求书2页 说明书5页 附图3页 CN 115118933 A 2022.09.27 CN 115118933 A 1.一种基于任务切分和流水线技术的视频融合方法， 其特征在于， 计算拼接参数， 对M 路帧率相同的实时视频流进行实时拼接， 生成N路拼接 视频， 其中， 具体包括以下步骤： S1： 创建完成拼接工作需要的线程和队列， 包含M个调用CPU或者GPU的硬件编解码模块 进行计算的解码线程， M个解码帧队列， 1个调用CPU进行计算的同步线程， 1个同步帧队列， 1 个调用GPU进 行计算的拼接线程， N个拼接帧队列， N个调用CPU或者GPU的硬件编解码模块进 行计算的编码线程， 其中： 每个解码线程都有一个视频源和一个解码帧队列 与之对应； 每个编码线程都有一个拼接帧队列 与之对应。 S2： M个解码线程、 1个同步线程、 1个拼接线程、 N个编码线程协同工作， 生成N路拼接视 频， 直至接收到终止信号。 2.根据权利要求1所述的基于任务切分和流水线技术的视频融合方法， 其特征在于， 所 述的解码线程用于完成以下工作： 从对应的视频源拉取码流， 调用CPU或者GPU的硬件编解 码模块进 行解码， 得到带有时间戳的帧， 将帧推送至对应的解码帧队列的尾端， 此过程不断 重复下去， 直至程序终止 。 3.根据权利要求1所述的基于任务切分和流水线技术的视频融合方法， 其特征在于， 所 述的同步线程用于交替执 行帧同步和组织同步帧两项操作， 具体步骤为： 线程启动 后， 等待一段时间， 让M个解码帧队列有一些帧； 进行一次帧同步， 然后持续 不断进行组织同步帧； 为了避免长时间运行后 一组同步帧内任意两帧的时间戳差异过大， 设置固定的时间间 隔， 同步线程持续运行此间隔时间后， 检查从各解码帧队列首端 取出的M帧的时间戳最大值 与最小值的差值是否大于或等于S， 如果是， 启动一次帧 同步操作， 再进 行组织同步帧操作， 此过程不断重复下去， 直至程序终止 。 4.据权利要求3述的基于任务切分和流水线技术的视频融合方法， 其特征在于， 所述的 帧同步流程如下： 从M个解码帧队列的首端分别取出第一帧， 比较M帧对应的时间戳的大小， 选中时间戳 最大的一帧， 记录时间戳T， 保留这 一帧； 对于剩余的M ‑1个解码帧队列， 首先计算已经取出的一帧的时间戳与T的差值的绝对 值， 如果该绝对值小于S， 则 保留这一 帧， 否则继续从队列首端取帧， 计算 帧的时间戳与T的 差值的绝对值， 直到这个绝对值小于S为止， 保留这 一帧； 将这M帧按照解码帧队列的编号顺序排列， 并从这M帧的时间戳中选择第I帧(I大于等 于1小于并且等于M)的时间戳， 作为这组同步帧的时间戳， 组成一组同步 帧， 推送至同步帧 队列的尾端。 5.据权利要求4述的基于任务切分和流水线技术的视频融合方法， 其特征在于， 所述的 组织同步帧流程如下： 依次从M个解码帧队列的首端 取出一帧， 再次选择第I帧的时间戳， 作 为这组同步帧的时间戳， 推送至同步帧队列的尾端。 6.根据权利要求1所述的基于任务切分和流水线技术的视频融合方法， 其特征在于， 所 述的拼接线程用于实现以下步骤： 从同步帧队列首端 取出一组同步帧， 将M帧图片从内存拷 贝至显存， 根据预设的拼接参数， 调用GPU完成图像变形与图像融合的计算， 得到拼接后的 图片； 将该图片从显存拷贝至内存；权　利　要　求　书 1/2 页 2 CN 115118933 A 2将同步帧的时间戳与内存上的图片组合成拼接帧， 推送至N个拼接帧队列的尾端， 此过 程不断重复下去， 直至程序终止 。 7.根据权利要求1所述的基于任务切分和流水线技术的视频融合方法， 其特征在于， 所 述的编码线程用于实现以下步骤： 从拼接帧队列的首端取出一帧， 调用CPU或者GPU的硬件 编解码模块进行编码， 此 过程不断重复下去， 直至程序终止 。权　利　要　求　书 2/2 页 3 CN 115118933 A 3