(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111579065.2 (22)申请日 2021.12.2 2 (71)申请人 OPPO广东移动通信有限公司 地址 523860 广东省东莞 市长安镇乌沙海 滨路18号 (72)发明人 赵娟萍　 (74)专利代理 机构 广州德科知识产权代理有限 公司 44381 代理人 蔡丽妮　万振雄 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 20/00(2019.01) G06F 16/903(2019.01) (54)发明名称 神经网络架构的搜索方法及装置、 电子设 备、 存储介质 (57)摘要 本申请实施例公开了神经网络架构的搜索 方法及装置、 电子设备、 存储介质， 包括： 确定第 一节点和第二节点对应的多个算子， 并确定多个 算子分别对应的第一架构参数， 第一节点和第二 节点是从搜索空间中获取到的至少两个节点中 的任意两个节 点； 对初始损失函数进行正则化处 理， 得到目标损失函数， 并根据目标损失函数对 多个算子对应的第一架构参数进行优化， 得到多 个算子分别对应的第二架构参数； 在多个算子中 确定第二架构参数最大的算子作为第一节点和 第二节点对应的目标算子； 根据至少两个节点， 以及至少两个节点中的任意两个节点对应的目 标算子确定出子网络， 并根据多个子网络确定目 标神经网络。 实施本申请实施例， 能够提高所生 成的神经网络的性能。 权利要求书2页 说明书13页 附图5页 CN 114298271 A 2022.04.08 CN 114298271 A 1.一种神经网络架构的搜索方法， 其特 征在于， 所述方法包括： 确定第一节点和第 二节点对应的多个算子分别对应的第 一架构参数， 所述第 一节点和 第二节点是从搜索空间中获取到的至少两个节点中的任意两个节点； 对初始损 失函数进行正则化处理， 以得到目标损 失函数， 并根据所述目标损 失函数对 所述多个算子 分别对应的第一架构参数进 行优化， 以得到所述多个算子分别对应的第二架 构参数； 在所述多个算子中确定第二架构参数最大的算子作为所述第一节点和第二节点对应 的目标算子； 根据所述至少两个节点， 以及所述至少两个节点中的任意两个节点对应的目标算子确 定出子网络， 并根据多个所述子网络确定目标神经网络 。 2.根据权利要求1所述的方法， 其特征在于， 所述对初始损 失函数进行正则化处理， 以 得到目标损失函数， 包括： 根据所述多个算子分别对应的第 一架构参数确定正则化项， 并根据所述正则化项对所 述初始损失函数进行正则化处 理， 以得到目标损失函数。 3.根据权利要求2所述的方法， 其特征在于， 所述根据所述正则化项对所述初始损失函 数进行正则化处 理， 以得到目标损失函数， 包括： 计算所述 正则化项和所述 正则化项对应的权 重系数的第一乘积； 根据所述第一乘积和所述初始损失函数确定目标损失函数。 4.根据权利要求1所述的方法， 其特征在于， 所述确定第 一节点和第 二节点对应的多个 算子分别对应的第一架构参数， 包括： 从搜索空间中获取至少两个节点； 根据归一化函数对第 一节点和第 二节点对应的多个算子进行松弛化处理， 以得到所述 第一节点和第二节点对应的多个算子分别对应的第一架构参数。 5.根据权利要求 4所述的方法， 其特 征在于， 所述归一 化函数包括sigmo id函数。 6.根据权利要求1所述的方法， 其特征在于， 所述根据多个所述子网络确定目标神经网 络， 包括： 获取待填充的网络框架， 并利用多个所述子网络对所述待填充的网络框架进行填充， 以得到目标神经网络 。 7.根据权利要求6所述的方法， 其特征在于， 所述网络框架包括U型网络框架； 所述利用 多个所述子网络对所述待填充的网络 框架进行填充， 以得到目标神经网络， 包括： 根据所述U型网络框架的框架信息， 获取目标数量的所述子网络作为下采样层， 以及获 取目标数量的所述子网络作为上采样层， 所述框架信息包括所述U型网络框架需要填充的 上采样层和下采样层分别对应的目标 数量； 利用所述目标数量的下采样层和所述目标数量的上采样层， 对所述U型网络框架进行 填充， 以得到目标神经网络 。 8.根据权利要求7所述的方法， 其特征在于， 所述利用所述目标数量的下采样层和所述 目标数量的上采样层， 对所述U型网络 框架进行填充， 以得到目标神经网络， 包括： 利用所述目标数量的下采样层和所述目标数量的上采样层， 对所述U型网络框架进行 填充， 已得到过渡神经网络；权　利　要　求　书 1/2 页 2 CN 114298271 A 2获取图像处理算子， 并将所述图像处理算子与 所述过渡神经网络 中的目标上采样层连 接， 以得到目标神经网络， 所述图像处理算子用于对图像进 行图像超分辨处理， 所述目标上 采样层是 所述过渡神经网络中排列在最后的上采样层。 9.根据权利要求1～8任一项所述的方法， 其特征在于， 在所述根据多个所述子网络确 定目标神经网络之后， 所述方法还 包括： 利用训练数据集对所述目标神经网络进行训练， 并利用验证数据集对训练好的目标神 经网络的输出结果进行验证， 以得到所述 目标神经网络的验证指标， 所述验证指标用于指 示训练好的目标神经网络的输出 结果的准确率； 若所述验证指标满足指标要求， 则确定所述目标神经网络训练完毕。 10.一种神经网络架构的搜索装置， 其特 征在于， 所述装置包括： 第一确定单元， 用于确定第 一节点和第 二节点对应的多个算子分别对应的第 一架构参 数， 所述第一节点和第二节点是从搜索空间中获取到的至少两个节点中的任意两个节点； 优化单元， 用于对初始损失函数进行正则化处理， 以得到目标损失函数， 并根据 所述目 标损失函数对所述多个算子 分别对应的第一架构参数进行优化， 以得到所述多个算子 分别 对应的第二架构参数； 第二确定单元， 用于在所述多个算子 中确定第 二架构参数最大的算子作为所述第 一节 点和第二节点对应的目标算子； 第三确定单元， 用于根据所述至少两个节点， 以及所述至少两个节点中的任意两个节 点对应的目标算子确定出子网络， 并根据多个所述子网络确定目标神经网络 。 11.一种电子设备， 其特征在于， 包括存储有可执行程序代码的存储器， 以及与所述存 储器耦合的处理器； 其中， 所述处理器调用所述存储器中存储的所述可执行程序 代码， 执行 如权利要求1～ 9任一项所述的方法。 12.一种计算机可读存储介质， 其存储有计算机程序， 其特征在于， 所述计算机程序被 处理器执行时实现如权利要求1～ 9任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114298271 A 3