(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111652252.9 (22)申请日 2021.12.3 0 (71)申请人 上海华力微电子有限公司 地址 201315 上海市浦东 新区良腾路6号 (72)发明人 庄均珺　陈旭　王艳生　魏峥颖　 (74)专利代理 机构 上海思微知识产权代理事务 所(普通合伙) 31237 代理人 周耀君 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/40(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 利用神经网络模型对异常晶背图像进行分 类的方法及装置 (57)摘要 本发明公开了一种利用神经网络模型对异 常晶背图像进行分类的方法及装置， 该方法包括 如下步骤： 步骤S1， 从现有数据库获取大量异常 晶背图像进行标记， 构建训练集、 测试集以及验 证集； 步骤S2， 利用神经网络模型构建晶背图像 分类模型， 利用训练集中的训练样 本对所构建的 晶背图像分类模 型进行训练， 生成可快速准确识 别有异常的晶背缺陷图的晶背图像 分类模型； 步 骤S3， 获取实际线上的晶背图像， 将其输入到训 练好的晶背图像 分类模型进行分类， 输出分类结 果。 权利要求书2页 说明书6页 附图2页 CN 114332029 A 2022.04.12 CN 114332029 A 1.一种利用神经网络模型对异常晶背图像进行分类的方法， 包括如下步骤： 步骤S1， 从数据库获取异常晶背图像进行 标记， 构建训练集、 测试集以及验证集； 步骤S2， 利用神经网络模型构建晶背图像分类模型， 利用训练集中的训练样本对所构 建的晶背图像分类模型进 行训练， 生成可快速准确识别有异常的晶背缺陷图的晶背图像分 类模型； 步骤S3， 获取实际线上的晶背图像， 将其输入到训练好的晶背图像分类模型进行分类， 输出分类结果。 2.如权利要求1所述的一种利用神经网络模型对异常晶背图像进行分类的方法， 其特 征在于： 于步骤S2中， 基于Faster  RCNN网络构建所述晶背图像分类模型。 3.如权利要求2所述的一种利用神经网络模型对异常晶背图像进行分类的方法， 其特 征在于： 所构建的晶背图像分类模型包括卷积神经网络、 RPN网络、 ROIpooling层以及分类 层。 4.如权利要求3所述的一种利用神经网络模型对异常晶背图像进行分类的方法， 其特 征在于， 步骤S2进一 步包括： 步骤S200， 利用神经网络模型构建晶背图像分类模型， ； 步骤S201， 将训练集中作为训练样本的晶背图像输入到所述晶背图像分类模型， 经所 述卷积神经网络进行 特征提取， 输出每张图像的特 征图； 步骤S202， 将提取的特征图输入到RPN网络与ROI  pooling层两个分支， 其中一个分支 利用RPN网络生成Anchor  box， 对其进行裁剪过滤后 通过softmax函数判断anchors属于前 景或者后景， 同时利用边框回归修正anchor  box， 形成较精确的候选探测框， 另一个分支将 特征图输入到ROI  pooling层， 同时ROI  pooling层接收RPN层得到的候选探测框信息， 结合 两者提取候选 探测框所对应位置的特 征图； 步骤S203， 利用探测分类概率和探测边框回归对分类概率和边框回归联合训练， 最后 输出边界盒的位置及缺陷类别。 5.如权利要求4所述的一种利用神经网络模型对异常晶背图像进行分类的方法， 其特 征在于， 于步骤S1之后， 还 包括如下步骤： 对标记好的样本进行扩增。 6.如权利要求5所述的一种利用神经网络模型对异常晶背图像进行分类的方法， 其特 征在于， 对标记好的训练样本进行扩增可采用旋转、 翻转或多张图合成方式。 7.如权利要求5所述的一种利用神经网络模型对异常晶背图像进行分类的方法， 其特 征在于： 于步骤S201 中， 所述卷积神经网络采用残差网络resnet， 在残差网络resnet最后一 个block运用可变形 卷积。 8.如权利要求7所述的一种利用神经网络模型对异常晶背图像进行分类的方法， 其特 征在于： 于步骤S201中， 在进行 特征提取时还运用特 征金字塔网络FPN进行 特征融合。 9.如权利要求8所述的一种利用神经网络模型对异常晶背图像进行分类的方法， 其特 征在于： 于步骤S203中， 利用soft ‑nms算法对该些候选探测框进 行融合， 以提高候选探测框 的位置准确率。 10.一种利用神经网络模型对异常晶背图像进行分类的装置， 包括： 训练图像集生成单元， 用于从数据库获取异常晶背图像进行标记,， 构建训练集、 测试权　利　要　求　书 1/2 页 2 CN 114332029 A 2集以及验证集； 晶背图像分类模型构建及训练单元， 用于利用神经网络模型构建晶背图像分类模型， 利用训练集中的训练样本对所构建的晶背图像分类模型进 行训练， 生成可快速准确识别有 异常的晶背缺陷图的 晶背图像分类模型； 晶背图像分类单元， 用于获取实 际线上的晶背图像， 将其输入到训练好的晶背图像分 类模型进行分类， 输出分类结果。权　利　要　求　书 2/2 页 3 CN 114332029 A 3