(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210603176.0 (22)申请日 2022.05.30 (71)申请人 西安理工大 学 地址 710048 陕西省西安市金花 南路5号 (72)发明人 杨延西　关若欣　吴亚丽　史雯雯　 (74)专利代理 机构 西安通大专利代理有限责任 公司 6120 0 专利代理师 范巍 (51)Int.Cl. H04N 5/232(2006.01) H04N 7/18(2006.01) (54)发明名称 基于陀螺仪的重型装备生产场景视频监控 稳像方法及系统 (57)摘要 本发明公开了一种基于陀螺仪的重型装备 生产场景视频监控稳像方法及系统， 将陀螺仪搭 载在摄像系统上， 相机采集抖动视频序列， 陀螺 仪采集角速度数据信息， 通过陀螺仪估计摄像平 台的旋转抖动矢量并补偿； 将四叉树思想应用于 ORB算法提取特征点， 采用BEBLID算法和PROSAC 算法更高效的进行特征点描述 以及误匹配点对 剔除， 计算仿射运动模型参数来准确的估计摄像 平台的平移抖动矢量并补偿， 最后利用图像拼接 技术解决逆向补偿过程中的边缘像素点丢失问 题， 最终得到稳定、 光滑、 清晰的视频图像。 本发 明方法提高了稳像算法的速度与精度， 且不依赖 于场景图像信息， 为重型装备生产和运行中的视 觉监测与测量 提供画质清晰且稳定的视频图像 。 权利要求书2页 说明书7页 附图4页 CN 114979489 A 2022.08.30 CN 114979489 A 1.一种基于陀螺仪的重型装备生产场景视频监控稳像方法， 其特征在于， 包括以下步 骤： 步骤1、 采集视频序列以及对应的角速度数据信息； 步骤2、 根据视频序列的图像帧与对应的角速度数据信息， 计算相邻图像帧的旋转矩 阵， 根据相机内外参数矩阵计算三维世界坐标系与相 邻图像帧的像素坐标系的转换关系矩 阵， 根据旋转矩阵和关系矩阵对图像帧进行逆向补偿得到初步稳定的视频序列； 步骤3、 获取初步稳像后视频序列的特征点， 根据 特征点的坐标并结合仿射运动模型计 算相邻帧平移抖动矢量， 根据平移抖动矢量对当前图像帧进行逆向补偿得到稳像视频序 列。 2.根据权利要求1所述的一种基于陀螺仪的重型装备生产场景视频监控稳像方法， 其 特征在于， 步骤1中采用陀螺仪采集角速度数据信息及时间戳并进 行数据滤波， 采用相机采 集抖动视频序列及时间戳， 对获取到的角速度数据信息进 行插值处理使每帧视频图像对应 一组角速度数据信息 。 3.根据权利要求1所述的一种基于陀螺仪的重型装备生产场景视频监控稳像方法， 其 特征在于， 步骤2中根据角速度数据信息并结合 Rodrigues算法确定相邻图像帧的旋转矩阵 D。 4.根据权利要求3所述的一种基于陀螺仪的重型装备生产场景视频监控稳像方法， 其 特征在于， 所述逆向补偿的方法如下： Qm_final＝(KDK‑1)‑1Qm 其中， Qm为第m帧像素坐标点， K表示相机内参， D为旋转矩阵。 5.根据权利要求1所述的一种基于陀螺仪的重型装备生产场景视频监控稳像方法， 其 特征在于， 步骤3中得到最终稳定 视频图像的方法如下： S3.1、 对步骤3初步稳像后的相邻图像帧不断划分区域， 在每个子区域使用ORB算法提 取相邻图像帧的特 征点； S3.2、 根据相邻图像帧的特 征点筛选最佳特征点； S3.3、 对最佳特征点进行描述得到特征描述向量， 根据特征描述向量进行特征匹配得 到匹配的特 征点对； S3.4、 根据特征点对的坐标并结合仿射运动模型参数估计图像相邻帧的平移抖动矢量 并逆向补偿， 得到最终的稳定 视频图像。 6.根据权利要求5所述的一种基于陀螺仪的重型装备生产场景视频监控稳像方法， 其 特征在于， 步骤S3.1中采用四叉树法对初步稳像后的相邻图像帧不断划分区域。 7.根据权利要求5所述的一种基于陀螺仪的重型装备生产场景视频监控稳像方法， 其 特征在于， 步骤S3.3得到匹配的特 征点对后采用PROSAC算法删除误匹配点对。 8.根据权利要求5所述的一种基于陀螺仪的重型装备生产场景视频监控稳像方法， 其 特征在于， 步骤S3.4后还 包括以下步骤: S3.5对稳像过程中由于旋转平移造成的图像帧边缘像素点丢失， 采用图像拼接方法进 行处理。 9.根据权利要求8所述的一种基于陀螺仪的重型装备生产场景视频监控稳像方法， 其 特征在于， 所述图像拼接方法具体如下：权　利　要　求　书 1/2 页 2 CN 114979489 A 2对图像帧之间的重 叠区域引入加权平均策略， 使得相邻图像帧拼接处平 滑过渡。 10.一种权利要求1 ‑9任一项所述的一种基于陀螺仪的重型装备生产场景视频监控稳 像方法的系统， 其特 征在于， 包括， 采集模块， 用于采集视频序列以及对应的角速度数据信息； 初步稳像模块， 用于根据图像帧与对应的角速度数据信息， 计算相邻图像帧的旋转矩 阵， 根据相机内外参数矩阵计算三维世界坐标系与相 邻图像帧的像素坐标系的转换关系矩 阵， 根据旋转矩阵和关系矩阵对图像帧进行逆向补偿， 得到初步稳定的视频序列； 最终稳像模块， 用于获取初步稳像后视频序列的特征点， 根据特征点的坐标并结合仿 射运动模型计算相邻帧平移抖动矢量， 根据 平移抖动矢量对当前图像帧进 行逆向补偿得到 稳像视频序列。权　利　要　求　书 2/2 页 3 CN 114979489 A 3