(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221095790 3.3 (22)申请日 2022.08.10 (71)申请人 哈尔滨理工大 学 地址 150040 黑龙江省哈尔滨市南岗区学 府路52号 (72)发明人 孙明晓　王潇　班喜程　栾添添　 袁晓亮　李小岗　连厚鑫　谭政纲　 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/56(2022.01) G06V 10/75(2022.01) (54)发明名称 一种融合颜色和尺度特征的ORB图像匹配方 法 (57)摘要 针对传统ORB算法因忽略图像颜色信息， 对 光照变化的鲁棒性较差， 易造成误匹配的情况， 本发明公开了一种融合颜色和尺度特征的ORB图 像匹配方法。 所述方法包括： 首先使用颜色不变 量模型对彩色图像进行预处理， 求出图像的颜色 不变量， 以颜色不变量作为输入信息， 建立积分 图像， 采用盒式滤波器建立尺度空间， 使用快速 Hession矩阵检测极值点， 提取具有尺度不变性 的特征点， 然后使用rBRIEF算法得到特征描述 符， 最后采用汉明距离和改进RANSA C算法去除误 匹配点。 本发明在保证ORB算法特点的基础上， 改 善了ORB算法在颜色不同而对应灰度值相同区域 正确匹配率低的问题， 并且使算法具备尺度不变 性， 解决了特征点分布不均匀的情况， 提高了图 像发生尺度变化时匹配精度。 权利要求书3页 说明书11页 附图4页 CN 115187791 A 2022.10.14 CN 115187791 A 1.一种融合颜色和尺度特 征的ORB图像匹配方法， 其特 征在于， 包括以下步骤： S1、 使用颜色不变量模型对待匹配的前后两帧彩色图像进行预处理， 求出图像各位置 的颜色不变量； S2、 对待匹配的前后两帧彩色图像， 将计算得到的颜色不变量作为输入信息， 建立积分 图像， 采用盒式滤波器代替二阶高斯微分， 通过不断增大盒式滤波器的窗口大小构建图像 尺度空间； S3、 对图像进行高斯滤波， 构建Hession矩阵， 在尺度空间上对使用快速Hessian矩阵局 部极值来确定图像的特 征点； S4、 使用带有旋转 不变特性的rBRIEF算法提取 特征描述符； S5、 使用汉明距离剔除部分错 误匹配点对， 完成对特 征点的粗匹配； S6、 使用改进RANSAN算法进一步去除图像中的误匹配点对， 对特征点进行精匹配， 提 高 匹配精度； 所述的S1中， 根据颜色不变量模型， 对待匹配的前后两帧彩色图像进行预处理， 得到彩 色图像的颜色不变量H， 具体步骤为： 式中： E为光谱反射的成像结果， Eλ、 Eλ λ分别为物体光谱辐射模型的一阶微分和二阶微 分， λ表示波长， R∞( λ,x)表示反射 率； 彩色图像的RGB分量和(E,Eλ,Eλ λ)的关系近似为： 彩色图像的颜色不变量H为： 所述的S2中， 以颜色不变量作为输入， 采用盒式滤波器建立尺度空间， 具体步骤为： 定义图像f(x,y)， 图像上任意 一点I(x,y)， 对其进行高斯滤波， 如下式所示： L(x,y, σ )＝G(x,y, σ )*I(x,y)                      (4) 式中： σ 为尺度信息， G(x,y, σ )为固定的高斯核函数， *为高斯核函数卷积运算， I(x,y) 表示输入图像(相当于 H1(x,y)或H2(x,y))； 对高斯滤波后的图像中的每个像素进行拉普拉斯运算， 拉普拉斯运算结果用Hession 矩阵表示， 如下式所示： 式中： Lxx(x,y, σ )、 Lxy(x,y, σ )、 Lyx(x,y, σ )、 Lyy(x,y, σ )分别代表在x方向的二阶导数， 在 x和y方向依次求偏导数， 在y和x方向依次求偏导数， 在y方向求二阶导数的高斯滤波 窗口， 使用不同尺寸的盒式滤波器， 在滤波的过程中完成尺度变化， 生成图像金字塔即是尺度 空 间；权　利　要　求　书 1/3 页 2 CN 115187791 A 2所述的S3中， 构建Hession矩阵， 利用近似Hession矩阵的局部极大值计算不同尺度下 特征点的位置， 具体步骤为： 为了减小计算代价， 采用Fast ‑Hession矩阵， 把高斯二阶偏导数近似化处理， 得到盒式 滤波器估计值Dxx、 Dxy、 Dyy， 考虑到使用盒式滤波器近似可能带来的误差， 设置一个大小为 0.9的补偿系数， 进 而可求得 Fast‑Hession矩阵的近似行列式表达式， 即： Det(H)＝Dxx·Dyy‑(0.9Dxy)2                     (6) 图像特征点的尺度特征通过改变不同滤波窗口的尺寸来确定， 通过矩阵的行列式和特 征值来判别是否为极值点， 若Fast ‑Hessian矩阵的行列式值为正， 且两个特征值不同时为 正或为负， 则认定为极值 点； 所述的S4中， 使用带有旋转不变特性的rBRIEF算法提取特征描述符具体包括以下步 骤： 对于任意特征点， 在31x31邻域内位置为(xi,yi)的n对特征点集， 可以用2 ×n的矩阵来 表示： 利用特征点主方向θ和对应的旋转矩阵Rθ， 计算出Sθ来表示S： 这样就得到 了具有方向性的描述子： gn(p, θ )＝fn(p)|(xi,yi)∈Sθ (9) 式中： 为BRIEF的描述符； 所述的S5中， 使用汉明距离对特 征点粗匹配的具体步骤 包括以下内容： 将待匹配的两幅图像中选取两个二进制描述子g1、 g2， 对其进行异或运算， 计算g1、 g2之 间的汉明距离 Hdis12， 公式如下： 将Hdis12与预设定的阈值Hth进行比较， 若大于预设阈值， 则表示匹配成功， 否则匹配失 败； 所述的S6中， 在利用汉明距离粗匹配后， 使用改进RANSAN算法进一步去除图像中的误 匹配点对， 其具体步骤为： 求出前后两帧待匹配图像最近邻匹配对(Ai,Bi)、 (Aj,Bj)中特征点的匹配距 离l， 利用前 一帧图像A和后一帧图像B中匹配对与最近邻匹配对距离关系相似性来评价两点距离对应 关系， 评价 函数如下式：权　利　要　求　书 2/3 页 3 CN 115187791 A 3