(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211110499.2 (22)申请日 2022.09.13 (71)申请人 中国人民解 放军国防科技大 学 地址 410073 湖南省长 沙市开福区德雅路 109号 (72)发明人 夏靖远　廖淮璋　刘永祥　杨志雄　 章涵　刘振　 (74)专利代理 机构 长沙国科天河知识产权代理 有限公司 432 25 专利代理师 邱轶 (51)Int.Cl. G06T 7/136(2017.01) G06T 7/194(2017.01) G06T 5/40(2006.01) G06T 11/00(2006.01)G06F 17/16(2006.01) (54)发明名称 基于生成网络的光学-雷达ISAR图像转换方 法及装置 (57)摘要 本申请涉及一种基于生 成网络的光学 ‑雷达 ISAR图像转换方法及装置。 所述方法包括： 通过 基于对ISAR图像的目标物理特性 分析与建模， 以 深度学习网络为主要技术手段将ISAR散射点分 布特点引入网络训练的损失函数中， 最终实现将 目标的光学图像转换至对应的ISAR图像。 其中将 ISAR原图像以及ISAR重构图像分别提取的散射 点位置矩阵相等这一约束条件加入损失函数中， 使得深度学习网络能够生成更为真实的ISAR图 像。 权利要求书2页 说明书11页 附图7页 CN 115471516 A 2022.12.13 CN 115471516 A 1.基于生成网络的光学 ‑雷达ISAR图像转换 方法， 其特 征在于， 所述方法包括： 获取图像训练集， 所述图像训练集中包括具有相同目标类别的多张ISAR原图像以及光 学图像； 将所述图像训练集中的ISA R原图像以及光学图像输入生成网络， 所述ISAR原图像由所 述生成网络中的第一生成器从ISAR图像域映射至光学图像域转化为对应的伪光学图像， 再 由第二生成器件所述伪光学图像从光学图像域映射ISAR图像域转化为对应的ISAR重构图 像， 同时， 所述光学图像由所述第二生 成器转化为伪ISAR图像， 再由所述第一生成器件将所 述伪ISAR图像转 化为光学重构图像； 分别对所述ISA R原图像以及对应ISAR重构图像的散射点进行提取， 得到ISAR原图像的 第一散射 点位置矩阵以及ISAR重构图像的第二散射 点位置矩阵； 将所述第一散射点位置矩阵以及ISAR重构图像的第二散射点位置矩阵相等作为约束 条件， 并基于增广拉格朗日算子的形式将所述约束条件作为罚函数项加入原损失函数中对 其进行重构得到最终的损失函数； 根据最终的所述损失函数对所述 生成网络进行训练， 得到训练好的生成网络； 获取待转换光学目标图像， 利用所述训练好的生成网络中的第 二生成器对所述待转换 光学目标图像进行转换， 得到对应的ISAR转换图像。 2.根据权利要求1所述的光学 ‑雷达ISAR图像转换方法， 其特征在于， 分别对所述ISAR 原图像以及对应ISAR重构图像的散射点进行提取时， 根据最大类间方差法以及网络法对 ISAR图像的散射 点进行提取。 3.根据权利要求2所述的光学 ‑雷达ISAR图像转换方法， 其特征在于， 所述根据最大类 间方差法以及网络法对ISAR图像的散射 点进行提取包括： 根据所述最大类间方差法计算出所述ISA R图像的灰度阈值， 根据该灰度阈值对ISA R图 像进行分割得到的前 景和后景分离度最高； 再根据网络法以及灰度阈值对ISAR图像的散射 点进行提取。 4.根据权利要求3所述的光学 ‑雷达ISAR图像转换方法， 其特征在于， 所述根据网络法 以及灰度阈值对ISAR图像的散射 点进行提取包括： 对所述ISAR图像划分为多个大小尺寸相同的网络； 分别在各网络 中提取幅度值大于所述灰度阈值的像素点作为散射点， 并记录各所述散 射点的对应坐标以及幅度值； 根据记录的各所述散射点的对应坐标按照原坐标的顺序进行重构得到散射点位置矩 阵。 5.根据权利要求4所述的光学 ‑雷达ISAR图像转换方法， 其特征在于， 所述生成网络采 用循环生成对抗网络， 还包括ISAR图像域的判别器以及光学图像域的判别器， 其中所述第 一生成器以及第二 生成器采用CN N结构实现， 两个所述判别器采用Patc hGAN结构实现。 6.根据权利要求5所述的光学 ‑雷达ISAR图像转换方法， 其特征在于， 所述原损失函数 为：权　利　要　求　书 1/2 页 2 CN 115471516 A 27.根据权利要求6所述的光学 ‑雷达ISAR图像转换方法， 其特征在于， 所述最终的损失 函数为： 在上式中， λscatter表示拉格朗日乘子， ρscatter表示罚函数项系数。 8.根据权利要求7所述的光学 ‑雷达ISAR图像转换方法， 其特征在于， 根据所述最终的 损失函数对所述 生成网络进行训练， 得到训练好的生成网络还 包括： 对所述最终的损失函数进行梯度计算， 根据计算结果方向修正生成网络 中的第一生成 器以及第二 生成器的参数， 直至收敛， 得到训练好的生成网络 。 9.基于生成网络的光学 ‑雷达ISAR图像转换装置， 其特 征在于， 所述装置包括： 训练集获取模块， 用于获取图像训练集， 所述图像训练集中包括具有相同目标类别的 多张ISAR原图像以及光学图像； 图像域转换模块， 用于将所述图像训练集中的ISAR原图像以及光学图像输入生成网 络， 所述ISAR原图像由所述生成网络中的第一生 成器从ISAR图像域映射至光学图像域转化 为对应的伪光学图像， 再由第二生成器件所述伪光学图像从光学图像域映射ISAR图像域转 化为对应的ISAR重构图像， 同时， 所述光学图像由所述第二生 成器转化为伪ISAR图像， 再由 所述第一 生成器件将所述伪ISAR图像转 化为光学重构图像； 散射点位置矩阵重构模块， 用于分别 对所述ISAR原图像以及对应ISA R重构图像的散射 点进行提取， 得到ISAR原图像的第一散射点位置矩阵 以及ISAR重构图像的第二散射点位置 矩阵； 损失函数重构模块， 用于将所述第一散射点位置矩阵以及ISAR重构图像的第二散射点 位置矩阵相等作为约束条件， 并基于增广拉格朗日算子的形式将所述约束 条件作为罚函数 项加入原损失函数中对其进行重构得到最终的损失函数； 网络训练模块， 用于根据最终的所述损 失函数对所述生成网络进行训练， 得到训练好 的生成网络； 光学‑雷达ISAR图像转换模块， 用于获取待转换光学目标图像， 利用所述训练好的生成 网络中的第二 生成器对所述待转换光学目标图像进行转换， 得到对应的ISAR转换图像。权　利　要　求　书 2/2 页 3 CN 115471516 A 3