(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111590826.4 (22)申请日 2021.12.23 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 冀晓宇　徐文渊　程雨诗　杨博　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 代理人 郑海峰 (51)Int.Cl. G06F 30/27(2020.01) G06N 20/00(2019.01) (54)发明名称 一种物理可实现的激光雷达3D点云对抗样 本生成方法及系统 (57)摘要 本发明公开了一种物理可实现的激光雷达 3D点云对抗样本生成方法及系统， 属于对抗机器 学习技术领域。 通过获取包含目标区域的原始 3D 点云数据， 根据激光雷达点云的物理规律建模； 在目标区域的球坐标范围内随机注入预设数量 的对抗点； 设计 “目标隐藏攻击 ”损失函数和 “目 标创建攻击 ”损失函数， 代入到云对抗样本仿真 模型中， 优化随机注入的对抗点的坐标信息， 将 点云对抗样本仿真模型的最优输出作为最终生 成的3D点 云对抗样本。 本发明利用现有的3D点 云 目标检测器的脆弱性， 创新性地对激光雷达采集 点云数据满足的物理规律进行建模， 以构造物理 可实现的面向两种不同类型的3D点云对抗样本， 为机器学习安全分析与防护提供了新的指导。 权利要求书2页 说明书6页 附图1页 CN 114282437 A 2022.04.05 CN 114282437 A 1.一种物理可实现的激光雷达 3D点云对抗样本生成方法， 其特 征在于， 包括如下步骤： 1)获取包 含目标区域的原 始3D点云数据， 所述的目标区域 为目标物体和目标场景； 2)针对步骤1)获取的原始3D点云数据， 根据激光雷达点云的物理规律建模， 得到点云 对抗样本 仿真模型； 3)根据目标区域的位置得到待注入的对抗点云数据的球坐标范围， 并在球坐标范围内 随机注入预设数量的对抗 点； 4)设计损失函数， 包括 “目标隐藏 攻击”损失函数和 “目标创建攻击 ”损失函数； 5)将“目标隐藏攻击 ”或“目标创建攻击 ”的损失函数代入到云对抗样本仿真模型中， 优 化更新步骤3)中随机注入的对抗点的坐标信息， 将点云对抗样本仿 真模型的最优输出作为 最终生成的3D点云对抗样本 。 2.根据权利要求1所述的物理可实现的激光雷达3D点云对抗样本生成方法， 其特征在 于， 所述的对抗样本 仿真模型表示 为： Y′＝f(P+Δ)≠ Y P′＝P+Δ 其中， f是3D点云目标检测器的抽象函数， P是良性的原始3D点云数据； Y是3D点云目标 检测器的良性输出， 即Y＝f(P)， 表 示为将原始3D点云数据作为3D点云目标检测器输入时得 到的输出； Δ是与P具有相同维度的噪声， Y ′是对抗性输出； P ′为3D点云目标检测器的对抗 样本。 3.根据权利要求2所述的物理可实现的激光雷达3D点云对抗样本生成方法， 其特征在 于， 所述的对抗样本 仿真模型的目标函数和约束函数为： (R′i, α′i,ω′i)∈Locexp,i∈[1,n] S.T.|α′i‑α′j|+|ω′i‑ω′j|≠0,i,j∈[1,n] 其中， 是损失函数， P ′＝{(R′i, α′i,ω′i)∣ i∈[1,n]}是对抗 点云数据， n是对抗 点的 数量， R′i、 α′i、 ω′i分别是第i个对抗点相对于激光雷达的距离、 水平角和垂直角， Locexp＝ {xa,ya,za,wa,la,ha, θa}表示添加对抗点云数据的目标区域， (xa,ya,za)是目标区域的中心 点， (wa,la,ha)是目标区域的宽 长高， θa是旋转角， 表示激光雷达指定的垂直角度范围。 4.根据权利要求3所述的物理可实现的激光雷达3D点云对抗样本生成方法， 其特征在 于， 在对随机注入的对抗点的坐标信息进行优化更新时， 仅更新对抗点云数据P ′的距离参 数R′i,i∈[1,n]。 5.根据权利要求1所述的物理可实现的激光雷达3D点云对抗样本生成方法， 其特征在 于， 所述的 “目标隐藏 攻击”的损失函数如下： 其中， B1＝{(xi,yi,zi,wi,hi,li, θi,si)∣ i∈[1,K1]}是所有与目标对象相关的检测框提 议集合， K1是检测框提议集合中所有与目标对象相关的检测框数量， bt是3D点云目标检测器 输出的最终检测框， (xi,yi,zi)是与目标对象相关的第i个检测框提议的中心坐标， (wi,hi,权　利　要　求　书 1/2 页 2 CN 114282437 A 2li)是与目标对象相关的第i个检测框 提议的宽高长， θi是与目标对象相关的第i个检测框提 议的旋转角， si是与目标对象相关 的第i个检测 框提议的置信度； b1和s1分别是相关 的边界 框提议及其置信度， I oU(.)表示交并比。 6.根据权利要求1所述的物理可实现的激光雷达3D点云对抗样本生成方法， 其特征在 于， 所述的 “目标创建攻击 ”的损失函数如下： 其中， Locexp是目标区域， B2＝{(x′i,y′i,z′i,w′i,h′i,l′i, θ′i,s′i)∣ i∈[1,K2]}是所有 与目标区域相关的检测框提议集合， K2是检测框提议集合中所有与目标区域相关的检测框 数量， (x′i,y′i,z′i)是与目标区域相关的第i个检测框提议的中心坐标， (w ′i,h′i,l′i)是与 目标区域相关的第i个检测框提议的宽高长， θ ′i是与目标区域相关的第i个检测框提议的 旋转角， s ′i是与目标区域相关的第i个检测框提议的置信度； b2和s2分别是相关的边界框提 议及其置信度， I oU(.)表示交并比。 7.一种物理可实现的激光雷达3D点云对抗样本生成系统， 其特征在于， 用于实现权利 要求1所述的3D点云对抗样本生成方法； 所述的3D点云对抗样本生成系统包括： 数据获取模块， 其用于获取包含目标区域的原始3D点云数据， 所述的目标区域为目标 物体和目标场景； 点云对抗样本仿真模型模块， 其用于针对数据获取模块获取的原始3D点云数据， 根据 激光雷达点云的物理规 律建模， 得到点云对抗样本 仿真模型； 对抗点注入模块， 其用于根据目标区域的位置得到待注入的对抗点云数据的球坐标范 围， 并在球坐标 范围内随机注入预设数量的对抗 点； 损失函数设计模块， 其用于设计损失函数， 包括 “目标隐藏攻击 ”损失函数和 “目标创建 攻击”损失函数； 优化更新模块， 其用于将损失函数设计模块得到的 “目标隐藏攻击 ”或“目标创建攻击 ” 的损失函数代入到 云对抗样本仿真模型模块中， 优化更新对抗点注入模块注入的对抗点的 坐标信息； 3D点云对抗样本输出模块， 其用于将点云对抗样本仿真模型的最优输出作为最终生成 的3D点云对抗样本并输出。权　利　要　求　书 2/2 页 3 CN 114282437 A 3