(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211083275.7 (22)申请日 2022.09.06 (71)申请人 山东出版数字融合产业研究院有限 公司 地址 250000 山东省济南市 市中区英雄 山 路189号B座 4楼 (72)发明人 范波　 (74)专利代理 机构 济南千慧专利事务所(普通 合伙企业) 37232 专利代理师 秦嘉 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 10/82(2022.01) H04N 7/18(2006.01) (54)发明名称 一种基于边缘计算的实时视频监控方法、 设 备及存储介质 (57)摘要 本申请公开了一种基于边缘计算的实时视 频监控方法、 设备及存储介质。 方法包括： 边缘视 频采集设备采集实时视频流并传输至边缘监控 终端； 边缘监控终端对实时视频流进行处理， 以 对应的信息增强图像， 并通过预置的深度识别网 络模型的浅层识别网络， 对信息增强图像进行目 标识别， 以确定信息增强图像对应的识别中间数 据； 基于中间数据， 确定待识别物品为初始预测 物品类别的预测置信度， 并在预测置信度小于预 设阈值的情况下， 将识别中间数据上传至云服务 器中； 云服务器通过预置的深层识别网络， 对识 别中间数据进行处理， 以确定待识别物品的预设 物品类别。 本申请通过上述方法实现了结合边缘 计算对实时检测视频进行监控， 从而降低了网络 数据传输 压力。 权利要求书3页 说明书9页 附图1页 CN 115424179 A 2022.12.02 CN 115424179 A 1.一种基于边 缘计算的实时视频监控方法， 其特 征在于， 所述方法包括： 边缘视频采集设备采集实时视频流， 并将所述实时视频流传输 至边缘监控终端； 所述边缘监控终端对所述实时视频流进行预处理， 以获得待分析视频帧图像， 并通过 预设的图像信息增强算法， 对所述待分析视频帧图像进行处理， 以生成对应的信息增强 图 像； 通过所述边缘监控终端中预置的深度识别网络模型的浅层识别网络， 对所述信 息增强 图像进行目标识别， 以确定所述信息增强图像对应的识别中间数据； 其中， 所述识别中间数 据中包含预设数量个预测概率， 所述预测概率用于描述所述信息增强图像中包含的待识别 物品是某一预设物品类别的概 率； 基于所述中间数据， 确定所述待识别物品为初始预测物品类别的预测置信度， 并在所 述预测置信度小于预设阈值的情况下， 将所述识别中间数据上传至 云服务器中； 其中， 所述 初始预测物品类别为 最大预测概率对应的预设物品类别； 通过所述云服务器中预置的深度识别网络模型的深层识别网络， 对所述识别中间数据 进行处理， 以确定所述待识别物品的预设物品类别， 并在所述预设物品类别为风险类别时 进行告警。 2.根据权利要求1所述的一种基于边缘计算的实时视频监控方法， 其特征在于， 通过预 设的图像信息增强算法， 对所述待分析视频帧图像进 行处理， 以生成对应的信息增强图像， 具体包括： 获取所述待分析视频帧图像的图像RGB通道数据， 并分别计算RGB三通道对应的通道平 均值； 基于所述通道平均值， 对所述待分析视频帧图像进行去均值化计算， 以确定所述待分 析视频帧图像对应的去均值 化图像； 基于所述通道平均值与所述图像RGB通道数据， 通过预设的去均值补偿规则， 确定对应 通道的去均值补偿参数； 基于所述去均值补偿参数， 对所述去均值化图像的对应通道数据进行补偿， 以生成补 偿图像； 通过预设的图像白化算法， 对所述补偿图像进行白化处理， 以确定所述待分析视频帧 图像对应的信息增强图像。 3.根据权利要求1所述的一种基于边缘计算的实时视频监控方法， 其特征在于， 在通过 所述边缘监控终端中预置的深度识别网络模型的浅层识别网络， 对所述信息增强图像进 行 目标识别之前， 所述方法还 包括： 获取若干样本 图像， 并对所述若干样本 图像通过所述图像信息增强算法处理， 以获得 若干信息增强样本图像； 基于所述若干信息增强样本 图像， 对深度识别神经网络进行训练， 以获得收敛的深度 识别网络模型； 在所述深度识别网络模型选 定的一个网络层作为 提取输出层， 并设置提前输出节点； 基于所述提前输出节点， 将所述深度识别网络模型划分为浅层识别网络与深层识别网 络， 并将所述浅层识别网络设置于所述边缘监控终端中， 将所述深层识别网络设置于云服 务器中。权　利　要　求　书 1/3 页 2 CN 115424179 A 24.根据权利要求1所述的一种基于边缘计算的实时视频监控方法， 其特征在于， 基于所 述中间数据， 确定所述待识别物品为初始预测物品类别的预测置信度， 具体包括： 基于预设的概 率熵计算公式， 计算所述预设数量个预测概 率对应的 的概率熵； 基于所述概率熵， 通过预测置信度计算公式， 确定所述待识别物品为初始预测物品类 别的预测置信度。 5.根据权利要求4所述的一种基于边缘计算的实时视频监控方法， 其特征在于， 概率熵 计算公式， 由以下公式表示： 其中， PE为 概率熵， Pi为第i个概 率预测概 率， N等于预设数量。 6.根据权利要求3所述的一种基于边缘计算的实时视频监控方法， 其特征在于， 在基于 所述中间数据， 确定所述待识别物品为初始预测物品类别的预测置信度之后， 所述方法还 包括： 在所述预测置信度大于预设阈值的情况下， 通过所述提前输出节点， 退出所述浅层识 别网络， 并确定所述初始预测物品类别为所述待识别物品的预设物品类别。 在所述预设物品类别为 风险类别时进行告警。 7.根据权利要求1所述的一种基于边缘计算的实时视频监控方法， 其特征在于， 边缘视 频采集设备采集实时视频流， 并将所述实时视频流传输 至边缘监控终端， 具体包括： 所述边缘视频采集设备采集实时视频流， 并通过预设的视频编码算法， 对所述实时视 频流进行编码压缩； 通过预设的视频传输协议， 将编码压缩后的所述实时视频流传输至所述边缘监控终 端。 8.根据权利要求7所述的一种基于边缘计算的实时视频监控方法， 其特征在于， 所述边 缘监控终端对所述实时视频流进行 预处理， 以获得待分析视频帧图像， 具体包括： 所述边缘监控终端通过预设的视频解码算法， 对编码压缩后的所述实时视频流进行解 码； 其中， 所述视频解码算法与所述视频编码算法为对应的视频编解码算法； 将所述实时视频流对应YUV格 式的帧图像转换为RGB格 式的帧图像， 并通过预设的帧图 像抽取规则， 对所述实时视频流中的帧图像进行抽取， 以获得待分析视频帧图像。 9.一种基于边 缘计算的实时视频监控设备， 其特 征在于， 所述设备包括： 至少一个处 理器； 以及， 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少 一个处理器执行， 以使所述至少一个处 理器能够： 边缘视频采集设备采集实时视频流， 并将所述实时视频流传输 至边缘监控终端； 所述边缘监控终端对所述实时视频流进行预处理， 以获得待分析视频帧图像， 并通过 预设的图像信息增强算法， 对所述待分析视频帧图像进行处理， 以生成对应的信息增强 图 像； 通过所述边缘监控终端中预置的深度识别网络模型的浅层识别网络， 对所述信 息增强 图像进行目标识别， 以确定所述信息增强图像对应的识别中间数据； 其中， 所述识别中间数权　利　要　求　书 2/3 页 3 CN 115424179 A 3