(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111550469.9 (22)申请日 2021.12.17 (71)申请人 上海电力大 学 地址 200090 上海市杨 浦区平凉 路2103号 (72)发明人 刘刚　张相博　 (74)专利代理 机构 上海科盛知识产权代理有限 公司 312 25 代理人 彭瑶 (51)Int.Cl. G06T 5/50(2006.01) G06T 5/00(2006.01) G06T 5/40(2006.01) G06K 9/62(2022.01) G06N 20/00(2019.01) G06V 10/77(2022.01) (54)发明名称 一种基于非全局预增强的红外图像与可见 光图像融合方法 (57)摘要 本发明涉及一种基于非全局预增强的红外 图像与可见光图像融合方法， 在红外光背景弱能 量条件下， 考虑图像局部空间的形态学， 采用更 适合红外图像结构的模糊处理方法， 将图像分解 为目标区域， 过渡区域以及背景区域， 对背景区 域进行基于 FPDE算法的直方图增强， 通过重构得 到一幅增强图像。 针对红外光与可见光图像各特 征之间的差异设计了一种基于期望值最大算法 和主成分分析的混杂融合策略。 与现有技术相 比， 本发明具有更好的融合 性能。 权利要求书3页 说明书9页 附图1页 CN 114387195 A 2022.04.22 CN 114387195 A 1.一种基于非全局预增强的红外图像与可见光图像融合方法， 其特征在于， 包括下列 步骤： 1)基于FRFCM算法， 对红外图像进行掩膜处理， 获取红外图像的背景区域图像以及细节 图像， 并对可 见光图像进行映射 运算， 获取可见光的目标区域； 2)基于FP DE的二值化直方图对红外图像的背景区域进行增强处 理； 3)对可见光源图像和增强后的红外图像， 分别根据人类对图像局部变换敏感的视觉特 性， 建立相应的FP DE能量泛函， 将各图像分解 为高频细节区域与低频背景区域； 4)对低频的可 见光图像和低频的红外图像获取低频分量的融合结果； 5)对高频的可 见光图像和高频的红外图像获取高频分量的融合结果； 6)将获取的低频分量的融合结果与高频分量的融合结果进行重构， 获取最终的融合图 像。 2.根据权利要求1所述的基于非全局预增强的红外图像与可见光图像融合方法， 其特 征在于， 步骤1)的具体内容 为： 基于FRFCM算法， 采用无监督学习方式将红外图像分割为背景区域、 过渡区域和细节部 分三个基本区域， 将背景区域的掩膜图像与 红外源图像在像素级相乘， 得到红外图像背景 区域的提取图像， 利用红外源图像与背 景区域进 行减法运算， 获取目标区域的提取图像； 利 用原始红外的目标区域对可见光图像映射， 将红外图像的背 景区域的掩膜图像与可见光图 像在像素级相乘， 获取可见光图像背景区域的提取图像， 将其与可见光源图像相减获取目 标区域的提取图像。 3.根据权利要求1所述的基于非全局预增强的红外图像与可见光图像融合方法， 其特 征在于， 基于FP DE的二值化直方图对红外图像的背景区域进行增强处 理的具体内容 为： 采用FPDE作为引导分解 算法， 将原 始红外图像分为基础 层图像和细节层图像： IRb＝FPDE(IRoriginal) IRd＝IRoriginal‑IRb 式中， FPDE为对源图像做低通滤波的函数， IRoriginal为原始红外图像， IRb为基础层图 像， IRd为细节层图像； 按照下式对基础 层图像IRb根据门限进行直方图二 值化处理： G＝(Smax‑Smin)*β +Smin 式中， G为二值化直方图门限， Smax和Smin分别为基础层图像的直方图中的最大值与最小 值， β 为范围为0 到1的参数， 决定图像中无效像素值的比例。 4.根据权利要求1所述的基于非全局预增强的红外图像与可见光图像融合方法， 其特 征在于， 步骤4)的具体内容 为： 首先建立图像融合模型： SN(X,j)＝α(X,j)SN(F,j)+β(X,j)+ ε(X,j) 式中， X＝A或B表示红外传感器标记或可见光传感器标记； j＝(x,y)表示原图像X的像 素点位置； SN(F,j)为融合后的低频图像在j处的像素值； α(X,j)＝ ±1或0为传感器的分布 系数， 表示各个传感器的参与积极程度； ε(X,j)表示随机 噪声， 服从K项混合高斯分布的概 率密度函数：权　利　要　求　书 1/3 页 2 CN 114387195 A 2式中， λk,X(j)为K项高斯分布的权值， 用以表征分布特征倾向于某种高斯分布的程度， 为各项高斯分布的方差； 将完全观测数据Yc定义为： Yc＝{(SN(X,l),k(X,l) ):X＝AorB； l ＝1,…,L} 式中， k(X,l)表示在高斯混合分布密度函数中， 产生SN的附加随机噪声的项， 待估计参 数的综合F记为： 其边缘概率密度函数为： 式中， hc(SN(X,l),k(X,l)|F)为在参数条件F下对不完全数据Yc的边缘概率密度函数； 采用每次更新后的参数S ′N(F,l)、 α′(X)、 λ′k,X、 σ′k,X和β′(X)重复步骤1)～步骤4)， 当参数 值收敛到一个确定小的范围， 停止迭代并进行下一个窗口区域的计算； 当扫描完低频分量 所有的像素点 位置时， 获取低频分量的融合结果S ′N(F,l)。 5.根据权利要求1所述的基于非全局预增强的红外图像与可见光图像融合方法， 其特 征在于， 步骤5)中， 将高频的可见光图像与高频红外光图像进行PCA变换， 并根据向量特征 值排序依 次得到主分量， 再将 高频图像与进行直方图匹配， 通过相加得到融合后的高频图 像。 6.根据权利要求5所述的基于非全局预增强的红外图像与可见光图像融合方法， 其特 征在于， 步骤5)的具体内容 为： 从高频的可见光图像和高频的红外图像的窗口中提取像素并拼接一个维数为MN*2 的 数组X， 计算均值向量， 即数组数 学期望， 其被定义 为： 其中， K＝M ×N， 由协方差定义公式Cx＝E{(x‑mx)(x‑mx)T}可得， 对于M矢量作随机抽样， 并求其协方差矩阵得： 设ei和 λi(i＝1,2,...,N)为Cx的特征向量和对应的特征值， 其逆序排列， 使得λj≥λj+1,j ＝1,2,...n ‑1； 构造一个矩阵A， 使其第一行为C的最大特征值对应的特征向量， 最后一行为 C的最小特征值对应的特征向量； 经过主成分变换后的Y中向量的期望为0； 随后通过A和Cx 求得y的协方差矩阵：权　利　要　求　书 2/3 页 3 CN 114387195 A 3