(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210558780.6 (22)申请日 2022.05.20 (71)申请人 南昌航空大 学 地址 330000 江西省南昌市丰和南大道696 号 (72)发明人 王忠华　胡勇　王思恒　何矞　 廖远　刘清平　杨焱　 (74)专利代理 机构 深圳市智旭鼎浩知识产权代 理事务所(普通 合伙) 44746 专利代理师 周超 (51)Int.Cl. H04N 7/18(2006.01) H04N 7/01(2006.01) H04N 5/76(2006.01) (54)发明名称 一种FPGA与DM8148双芯架构系统及其视频 传输优化方法 (57)摘要 本发明提出了一种FPGA与DM8148双芯架构 系统及其视频传输优化方法。 该系统由型号为 EP4CGX75CF23I7的FPGA模块和异构多核媒体处 理器TMS320DM8148片上互联构成双芯架构的嵌 入式视频处理系统。 在FPGA片内， 该方法将每帧 视频划分为连续片段， 设计FIFO分段缓存并传 输。 该方法摒弃FPGA频繁触发GPMC中断读FIFO， 设计了计时睡眠唤醒读取方式， 有效减轻DM8148 负荷； 将GPMC总线地址/数据时分复用传输设计 仅需传输数据信号， 再经EDMA数据搬运， 提升 GPMC约一倍的数据吞吐量。 本发明无需FPGA 外扩 SDRAM， 降低了设计复杂 度和成本， 帧分段传输延 时更低。 权利要求书1页 说明书5页 附图4页 CN 114928722 A 2022.08.19 CN 114928722 A 1.一种FPGA与DM8148双芯架构系统， 其特征在于， 该系统包括型号为EP4CGX75CF23I7 的FPGA模块和异构多核媒体处理器TMS320DM8148； FPGA模块内设有视频采集模块和视频格 式转换模块， 分别用于视频采集和视频格式转换， FPGA模块内设有 FIFO写控制模块、 视频帧 分段缓存FIFO模块以及FIFO读控制模块， 用于视频 帧FIFO分段缓存并传输； 异构多核媒体 处理器TMS320DM8148异构了Cortex ‑A8控制主核、 C674x  DSP视频算法处理从核、 Video  M3 视频编解码从核以及VPSS  M3视频采集和输出控制从核， 用于承担视频算法处理， 视频编 码， 视频HDMI输出或网络发送； 异构多核媒体处理器TMS320DM8148的GPMC驱动软件包括视 频数据读取、 EDMA数据搬运、 外部I/O中断、 定时器、 视频每帧分段缓存、 内存映射以及异步 通知功能。 2.一种应用权利要求1所述的FPGA与DM8148双芯架构系统的视频传输优化方法， 其特 征在于， 包括以下步骤： S1、 FPGA模块的视频采集模块采集成像设备视频数据， 像素数据经视频格式转换模块 转换为16位位宽， 匹配GPMC的16位并行数据总线读取， 视频数据由FIFO写控制模块写入视 频帧分段缓存FIFO模块； S2、 FIFO首次写满时， FIFO读控制模块发送外部I/O中断信号唤醒GPMC读取FIFO视频数 据； S3、 GPMC起始读取FIFO视频数据时， GPMC驱动定时器启动计时， 定时时长为读空FIFO的 时间和再次写满 FIFO的时间之和， 该时长由FIFO读空和写满所需的时钟量乘以该时钟周期 计算获取； S4、 依据FIFO读空所需时长， GPMC动态配置并发送对应的时钟数量， 该时钟量可以将 FIFO读空， FIFO读空后， GPM C即停止读取， 进入睡眠模式， FIFO写 端依然继续写入视频 数据； S5、 等到FIFO写满时， 定时 时间到， 唤醒GPM C读取FIFO视频 数据； S6、 重复步骤S3 ‑S5， 循环进行。权　利　要　求　书 1/1 页 2 CN 114928722 A 2一种FPGA与DM8148双芯架构系统及其视频传输优化方 法 技术领域 [0001]本发明涉及一种视频数据传 输方法及系统， 特别是涉及一种FPGA与DM8148双芯架 构系统及其视频传输优化方法。 背景技术 [0002]为了实现视频处理多任务和实时性， 嵌入式视频处理逐渐由单核转变为多核处 理。 针对不同类型视频处理任务， 异构多核媒体处理器将擅长不同类型视频处理任务的核 异构集成， 实现多任务并行实时处理。 嵌入式异构多核媒体处理器， 一般由ARM核、 DSP核以 及媒体加速处理辅助核组成。 这些核 先将每一帧视频采集到内存后再读取该帧视频数据进 行处理， 因此， 系统会存在处理滞后一 帧采集的状况。 FPGA具有视频像素多级流水、 并行处 理特性， 视频数据采集和处理可以同步进 行， 不需要 先采集一帧再 处理， 视频 处理滞后采集 的延时更短。 FPGA片内设计的视频处理 时序电路模块， 受时钟控制工作， 其视频 处理的耗时 可由消耗的时钟周期数量和单个时钟周期的乘积获取， 多个任务也具备并行处理能力， 不 存在任务间的切换 处理。 然而多核处理器进 行视频处理， 软件通过指 令译码运行， 不同指 令 译码需要消耗不一样的时钟周期数， 并且处理器在多个任务间切换运行， 导致视频处理耗 时比较难以精确控制。 因此， FPGA能够精确灵活控制视频处理 时长， 满足视频 处理时间要求 确定性高的应用场景。 [0003]在实际应用中， 为了充分发挥FPGA和异构多核媒体处理器视频处理的各自优势， 提高系统视频处理的实时性， 往往将异构多核媒体处理器和FPGA两者结合， 构成双芯架构 的嵌入式视频处理片上系统。 但这种架构， 需要实现FPGA与异构多核媒体处理器间视频数 据快速交互设计。 目前， 普遍采用FPGA外扩SDRAM， 视频帧首先由FPGA写入SDRAM， 然后异构 多核媒体处理器从SDRAM读取视频帧。 由于要实现SDRAM扩展设计， 片内还需要设计SDRAM控 制器， 增加了设计复杂性和设计成本。 另外， 视频以帧为单位写入SDRAM缓存再读出的方式 传输， 导致异构多核媒体处理器视频处理滞后FPGA视频采集至少一帧的时间， 难以满足要 求视频处 理精确响应的应用场景。 发明内容 [0004]针对上述问题， 本 发明提出一种FPGA与DM8148双芯架构系统及其视频传 输优化方 法。 [0005]为了实现上述目的， 本发明采取以下技 术方案： [0006]一种FPGA与DM8148双芯架构系统 ， 其特征在于 ， 该系统包括型号为 EP4CGX75C F23I7的FPGA模块和异构多核 媒体处理器TMS32 0DM8148； FPGA模块内设有视频采 集模块和视频格式转换模块， 分别用于视频采集和 视频格式转换， FPGA模块内设有FIFO写 控制模块、 视频 帧分段缓存FIFO模块以及FIFO读控制模块， 用于视频 帧FIFO分段缓存并传 输； 异构多核媒体处理器TMS320DM8 148异构了Cortex ‑A8控制主核、 C674x  DSP视频算法处 理从核、 Video  M3视频编解码从核以及VPSS  M3视频采集和输出控制从核， 用于承担视频算说　明　书 1/5 页 3 CN 114928722 A 3