(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211078352.X (22)申请日 2022.09.05 (71)申请人 南京逸智网络空间技 术创新研究院 有限公司 地址 210012 江苏省南京市雨 花台区大周 路34号科创城B3栋第 8层及第7层702、 703室 (72)发明人 张俊华　黄可征　王鹏　袁庆丰　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 陈月菊 (51)Int.Cl. H04N 7/18(2006.01) H04N 21/44(2011.01) H04N 21/4402(2011.01)G06V 20/40(2022.01) G06V 40/10(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于海思嵌入式平台的教学录播导播 系统和方法 (57)摘要 本发明公开了一种基于海思嵌入式平台的 教学录播导播系统， 包括学生摄像头、 教师摄像 头、 视频输入模块、 视频处理子系统、 第一通道、 第二通道和第三通道、 神经网络推理引擎模块、 视频图形子系统和视频输出模块； 如果学生座位 区或者教师教学区的实时缩略图像数据中存在 目标行为对象， 视频图形子系统计算得到所有目 标框的最小公共外接矩形， 将第二通道中的学生 座位区或者教师教学区的实时图像数据的最小 公共外接矩形中的图像截取后放大至原始图像 像素， 发送至视频输出模块。 本发明具有鲁棒性 强、 适用的范围广、 检测速度快、 精度高、 安装部 署简单、 系统成本低等优点。 权利要求书3页 说明书8页 附图3页 CN 115460379 A 2022.12.09 CN 115460379 A 1.一种基于海思嵌入式平台的教学录播导播系统， 其特征在于， 所述教学录播导播系 统包括学生摄像头、 教师摄像头、 视频输入模块、 视频 处理子系统、 第一通道、 第二通道和 第 三通道、 神经网络推理引擎模块、 视频图形子系统和视频输出模块； 所述学生摄像头和教师摄像头分别获取学生座位 区和教师教学区的实时图像数据， 将 获取的学生 座位区和教师教学区的实时图像数据经视频输入 模块发送至 视频处理子系统； 所述视频处理子系统对学生座位区和教师教学区的实时图像数据进行预处理， 对预处 理后的实时图像数据进行缩放处理， 将生成的学生座位区和教师教学区的实时缩略图像数 据经第一通道发送至神经网络推理引擎模块， 将预 处理后的学生座位区和教师教学区的实 时图像数据经第二 通道和第三 通道发送至 视频图形子系统； 所述神经网络推理引擎模块对学生座位区和教师教学区的实时缩略图像数据进行处 理， 识别图像中是否存在目标行为对 象以及目标行为对 象的目标框信息， 输出识别结果至 视频图形子系统， 由视频图形子系统根据识别结果输出相应的视频图像至视频输出模块； 具体地， 如果学生座位区和教师教学区的实时缩略图像数据中均不存在目标行为对 象， 视 频图形子系统根据预设播放规则输出第三通道的学生座位区或者教师教学区的实时图像 数据至视频输出模块； 如果学生座位区或者教师教学区的实时缩略图像数据中存在目标行 为对象， 视频图形子系统计算得到所有目标框的最小公共外接矩形， 将第二通道中的学生 座位区或者教师教学区的实时图像数据的最小公共外接矩形中的图像截取后放大至原始 图像像素， 发送至 视频输出模块。 2.根据权利要求1所述的基于海思嵌入式平台的教学录播导播系统， 其特征在于， 所述 视频输出模块与显示器连接， 将接收到的图像通过显示器以显示。 3.根据权利要求1所述的基于海思嵌入式平台的教学录播导播系统， 其特征在于， 所述 教学录播导播系统还包括视频编码模块， 视频编码模块的输入端与视频图形子系统的输出 端连接， 用于将视频图形子系统的输出 结果编码后存 储至指定磁 盘。 4.根据权利要求1所述的基于海思嵌入式平台的教学录播导播系统， 其特征在于， 所述 视频输入模块包括两个物理通道， 用于分别接收学生座位区和教师教学区的实时图像数 据， 视频输入模块通过hi_mpi_vi_enable_chn、 hi_mpi_set _chn_attr媒体处理接口启用以 及配置两个物理通道， 采用hi_mpi_sys_bind媒体处理接口完成两个物理通道对视频处理 子系统的两个处理组的绑定； 视频处理子系统的两个处理组用于分别处理学生座位区和教 师教学区的实时图像数据。 5.根据权利要求1所述的基于海思嵌入式平台的教学录播导播系统， 其特征在于， 所述 视频处理子系统用于对学生座位区和教师教学区的实时图像数据进行包括去 噪、 去隔行、 裁剪、 帧率控制在内的预处 理。 6.根据权利要求1所述的基于海思嵌入式平台的教学录播导播系统， 其特征在于， 所述 神经网络推理引擎模块通过hi_mpi_svp_nnie_load_model接口加载wk模型文件， 通过hi_ mpi_vpss_ get_chn_frame接口获取输入帧， 使用hi_mpi_svp_nnie_forward接口将抓取到 的帧输入到模型文件中， 得到相应图像经过前 向推理后的结果， 再使用hi_mpi_svp_nnie_ nms、 hi_mpi_svp_nnie_filter接口完成过滤、 排序、 非极大值抑制操作， 得到画面中教师以 及特定行为学生的位置 。 7.根据权利要求6所述的基于海思嵌入式平台的教学录播导播系统， 其特征在于， 所述权　利　要　求　书 1/3 页 2 CN 115460379 A 2模型文件基于端到端的PP ‑YOLOE深度学习模型改进 得到； 所述神经网络推理引擎模块包括 依次连接的主干网络、 颈 部网络和头 部预测网络； 所述主干网络由3个堆叠的卷积层与4个CSPRepResStage所组成， 用于提取输入图像的 深层特征图； 所述颈部网络将提取的图像特征以不同的尺寸进行输出， 以检测不同尺寸的目标； 所 述颈部网络由5个CSPRepResStage 组成， 先自顶向下进行上采样， 使得底层特征图包含 更强 的目标语义信息， 再自底向上进 行下采样， 使得顶层特征图包含更强的位置信息， 最后 将两 个特征横向连接进行融合， 使得最终输出的特 征图包含强语义信息和强位置信息； 所述头部预测网络用于采用高效任务对齐Head算法来匹配颈部网络输出的不同尺寸 的图像特 征的分类和边界框回归两项任务， 生成目标边界框和预测类别 信息。 8.根据权利要求7所述的基于海思嵌入式平台的教学录播导播系统， 其特征在于， 所述 模型文件的损失函数为： 式中， α, β和γ分别是分类分支、 目标框交并比、 回归分支损失函数的权重， 介于0和1之 间； 作为正样本的真实标签， 为归一化后的值， 其最大值为每个实例中的最大IoU； lo ssVFL， lossGIoU和lossDFL作为分类分支， 边 界框IoU和回归分支的优化目标， lossVFL和lossGIoU分别 为： 式中， p是预测的IoU相关分类概率， q是目标IoU得分， 对于负样本， q为0， θ是用于平衡 正负样本的权 重， pμ是用于调制每 个样本的权 重； C是同时包 含A和B的最小边界框 。 9.根据权利要求1所述的基于海思嵌入式平台的教学录播导播系统， 其特征在于， 所述 教师摄像头固定于教室后面墙壁居中位置； 所述学生摄像头固定于教室前面墙壁居中位 置、 或黑板上 方居中位置； 所述显示器固定 于讲台上。 10.一种基于海思嵌入式平台的教学录播导播方法， 其特征在于， 所述教学录播导播方 法基于权利要求1 ‑9任一项所述的教学录播 导播系统实现； 所述教学录播 导播方法包括以下步骤： S1， 采用学生摄像头和教师摄像头分别获取学生座位区和教师教学区的实时图像数 据， 将获取的学生座位区和教师教学区的实时图像数据经视频输入模块 发送至视频 处理子 系统； S2， 对学生座位区和教师教学区的实时图像数据进行预处理， 对预处理后的实时图像 数据进行缩放处理， 将生成的学生座位区和教师教学区的实时缩略图像数据经第一通道发 送至神经网络推理引擎模块， 将预 处理后的学生座位区和教师教学区的实时图像数据经第 二通道和第三 通道发送至 视频图形子系统； S3， 对学生座位区和教师教学区的实时缩略图像数据进行处理， 识别图像中是否存在权　利　要　求　书 2/3 页 3 CN 115460379 A 3