(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111556995.6 (22)申请日 2021.12.18 (71)申请人 南京理工大 学 地址 210094 江苏省南京市孝陵卫20 0号 (72)发明人 刘芳　刘嘉　肖亮　杨劲翔　 张安迪　郜文菲　 (74)专利代理 机构 南京理工大 学专利中心 32203 代理人 陈鹏 (51)Int.Cl. G06T 7/00(2017.01) G06T 5/20(2006.01) G06N 20/00(2019.01) (54)发明名称 基于端到端RX的高光谱图像异常检测方法 (57)摘要 本发明公开了一种基于端到端RX的高光谱 图像异常检测方法， 该方法包括： 利用变分自编 码对高光谱图像的每个像素点进行特征学习； 提 取变分自编码网络的隐含层特征作为高光谱像 素的特征表 示； 估计高光谱图像中各像素点特征 表示的局部均值和局部协方差矩阵； 构建可微分 的RX异常检测算法得到异常指数； 计算可微分RX 结构的反向传播模式； 构建基于端到端RX的高光 谱异常检测网络结构； 融合变分自编码网络和端 到端RX的损失函数并训练； 输入高光谱图像在训 练好的网络并输出异常检测结果。 本发明方法具 有有效融合VAE网络隐含层特征空间和RX异常特 征信息的能力， 应用于高光谱图像异常检测任务 具有优异性能。 权利要求书3页 说明书6页 附图4页 CN 114202539 A 2022.03.18 CN 114202539 A 1.一种基于端到端RX的高光谱图下个异常检测方法， 其特 征在于， 包括以下步骤： 第一步， 利用变分自编码网络对高光谱图像中的所有像素点进行特征学习 去除冗余信 息， 即将高维的高光谱数据作为V AE的训练数据， 利用随机梯度下降法执 行VAE的训练过程； 第二步， 根据高光谱像素点在VAE隐含层的输出数据， 提取各节点的独立同分布隐含层 数据作为高光谱像素点的特 征表示； 第三步， 估计隐含层特征表示数据的局部均值和局部方差， 即在高光谱图像的隐含层 特征图上进行均值滤波和平方均值滤波； 第四步， 构建可微分的RX异常检测算法得到异常指数， 即在VAE的隐含层特征图上计算 马氏距离， 归一 化之后执 行K&I阈值分割得到阈值 参数， 进而计算每 个像素点的异常指数； 第五步， 构建基于端到端RX的高光谱异常检测网络结构， 即构建实现可微分RX的网络 模块， 将模块嵌入到V AE网络中； 第六步， 融合初步异常检测结果和端到端RX的损 失函数， 即将初步检测结果作为高光 谱图像中各像素点在端到端RX网络中的权 重系数； 第七步， 利用随机梯度下降法训练网络并输出最终的异常检测结果。 2.根据权利要求1所述的基于端到端RX的高光谱图下个异常检测方法， 其特征在于， 第 一步， 利用变分自编码网络对高光谱图像中的所有像素点进行特征学习去除冗余信息， 即 将高维的高光谱数据作为VAE的训练数据； 记列向量 为高光谱图像中的一个像素 点， 矩阵 为所有像素点 的训练样本集合， 其中B表示高光谱数据的波段数， M ×N 表示高光谱图像的大小， 即高和宽； 首先， 对高光谱数据进行归一化处理得到 然后， 将高 光谱像素点矩阵 输入到VAE网络中， 其中编码器包含一个用于捕获空间特征的3 ×3卷积 层， 两个用于捕获谱段信息的1 ×1卷积层， 其中 隐含层中每个节点的输出用[ μ1, μ2,…, μJ； σ1, σ2,…, σJ]表示， J对应着隐含层特征表示的维度； 最后， 将解码器的输出 作为高光谱像 素点x的重构数据， 通过 下面的损失函数进行训练， 具体为： 其中第一项和第二项分别对应重构误差和KL散度， σj和 μj分别表示隐含层节点 的相应 输出。 3.根据权利要求1所述的基于端到端RX的高光谱图下个异常检测方法， 其特征在于， 第 二步， 根据高光谱像素点在VAE隐含层的输出数据， 提取各节点的独立同分布隐含层数据作 为高光谱像素点的特 征表示； 具体如下： VAE的编码器和解码器分别用qφ(z|x)和pθ(x|z)表示， 其中z为隐含层的特征表示， 下标 φ和 分别表示编码器和解码器的网络参数； 高光谱像素点的高层特征表示z由隐含层节 点的输出 得到， 具体为 z＝ μ+σ⊙ε， 其中μ＝[ μ1, μ2,…, μJ]， σ ＝[σ1, σ2,…, σJ]为隐含层节点的输出， ε～N(0,I)服从J维的 标准正态分布。 4.根据权利要求1所述的基于端到端RX的高光谱图下个异常检测方法， 其特征在于， 第 三步， 估计隐含层特征表示数据的局部均值和局部方差， 即在高光谱图像的隐含层特征图权　利　要　求　书 1/3 页 2 CN 114202539 A 2上进行均值滤波和平方均值滤波； 具体如下： 将高光谱像素点的高层特 征图表示记为 Z2表示矩阵的逐 元素平方操作； 分别对Z和Z2执行窗口大小为7 ×7的均值滤波操作； 对于任意z∈Z中的每一个元素zl∈ z∈Z， 其邻域像素的相应表示分别zl(k),k＝1,2, ...,K表示， 局部均值用E[zl]表示， 局部协 方差用 局部方差用var(zl)表示， 具体 计算方法为 其中， K表示邻域像素的个数， 这里有K＝7 ×7＝49， 且局部方差用平方的局部均 值减去 局部均值的平方 得到。 5.根据权利要求1所述的基于端到端RX的高光谱图下个异常检测方法， 其特征在于， 第 四步， 构建可微分的RX异常检测算法得到异常指数， 即在隐含层特征图上计算马氏距离， 归 一化之后执行K&I阈值分割得到阈值参数， 进而计算每个像素点的异常指数； 在高光谱数据 的高层特 征图Z上应用RX检测算法， 得到可微分的RX检测算法， 具体为： 其中， dRX表示马氏距 离， 对应背景像素的局部均值， Cb对应背景像 素的协方差矩阵， 表示零均值的特 征向量。 6.根据权利要求1所述的基于端到端RX的高光谱图下个异常检测方法， 其特征在于， 第 五步， 构建基于端到端RX的高光谱异常检测网络结构， 即构建实现可微分RX的网络模块， 将 模块嵌入到V AE网络中， 具体如下： 记Mean(·； 7)为窗口大小为7 ×7的均值滤波函数； 然后， 将可微分RX检测算法用局部 均值和平方局部均值的滤波函数实现， 具体为 将均值滤波函数按照此公式嵌入到VAE网络中， 对RX检测算法的输出层做归一化并进 行K&I阈值分割， 得到阈值 参数θ， 则每 个像素点的异常指数与dRX成正比， 具体为 其中， ha表示每个像素点是异常指数； 将归一化层和异常指数层接入V AE网络， 形成端到端RX的异常检测网络 。 7.根据权利要求1所述的基于端到端RX的高光谱图下个异常检测方法， 其特征在于， 第 六步， 融合初步异常检测结果和端到端RX的损失函数， 即将初步检测结果作为高光谱图像 中各像素点在端到端RX网络中的权 重系数； 具体如下：权　利　要　求　书 2/3 页 3 CN 114202539 A 3