(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111620457.9 (22)申请日 2021.12.27 (71)申请人 西安交通大 学 地址 710049 陕西省西安市咸宁西路28号 (72)发明人 沈超　张笑宇　蔺琛皓　 (74)专利代理 机构 西安通大专利代理有限责任 公司 6120 0 代理人 李鹏威 (51)Int.Cl. G06N 20/00(2019.01) (54)发明名称 基于反馈的机器学习模型搜索方法、 系统、 设备及介质 (57)摘要 本发明属于机器学习领域， 公开了一种基于 反馈的机器学习模型搜索方法、 系统、 设备及介 质， 包括获取初始机器学习模型参数， 并根据初 始机器学习模 型参数构建初始机器学习模型； 通 过预设的训练数据集训练初始机器学习模型， 得 到初始机器学习模型的训练反馈数据和训练得 分； 确定当前最优机器学习模型， 获取当前最优 机器学习模 型的训练反馈数据， 并根据当前最优 机器学习模 型的训练反馈数据， 得到当前最优机 器学习模型的搜索操作； 判断是否满足预设的终 止条件， 不满足时根据当前最优机器学习模型和 搜索操作， 修改当前最优机器学习模 型并作为初 始机器学习模 型重复上述步骤； 满足时输出当前 最优机器学习模 型， 极大的提升了机器学习模型 搜索效率。 权利要求书2页 说明书9页 附图3页 CN 114254764 A 2022.03.29 CN 114254764 A 1.一种基于反馈的机器学习模型搜索方法， 其特 征在于， 包括以下步骤： S1： 获取初始机器学习模型参数， 并根据初始机器学习模型参数构建初始机器学习模 型； S2： 通过预设的训练数据集训练初始机器学习模型， 得到初始机器学习模型的训练反 馈数据和训练得分； S3： 当存在当前最优机器学习模型时， 获取当前最优机器学习模型的训练得分， 并将当 前最优机器学习模型更新为当前最优机器学习模型和初始机器学习模型中训练得分较高 者； 否则， 将初始机器学习模型作为当前最优机器学习模型； S4： 获取当前最优机器学习模型的训练反馈数据， 并根据当前最优机器学习模型的训 练反馈数据， 得到当前最优机器学习模型的搜索操作； S5： 判断是否满足预设的终止条件， 当不满足终止条件时， 根据当前最优机器学习模型 和当前最优机器学习模型的搜索操作， 修改当前最优机器学习模型并作为初始机器学习模 型返回S2； 当满足 终止条件时， 输出当前最优机器学习模型。 2.根据权利要求1所述的基于反馈的机器学习 模型搜索方法， 其特征在于， 所述初始机 器学习模 型参数包括架构信息、 超参数信息以及训练信息， 其中， 架构信息包括网络结构以 及网络层关系， 超参数信息包括初始化器和激活函数， 训练信息包括优化器和学习率。 3.根据权利要求1所述的基于反馈的机器学习 模型搜索方法， 其特征在于， 所述预设的 训练数据集 为图像数据集或文本数据集。 4.根据权利要求1所述的基于反馈的机器学习 模型搜索方法， 其特征在于， 所述训练得 分为初始机器学习模型在训练中最高的准确 率， 所述搜索操作包括改变模型架构、 改变模 型超参数以及改变模型训练配置， 所述预设的终止条件为搜索操作次数达到预设搜索操作 次数阈值， 或搜索时间达 到预设搜索时间阈值。 5.根据权利要求1所述的基于反馈的机器学习 模型搜索方法， 其特征在于， 所述训练反 馈数据包括架构信息、 准确率、 各层 梯度以及参数权 重。 6.根据权利要求5所述的基于反馈的机器学习 模型搜索方法， 其特征在于， 所述根据当 前最优机器学习模型的训练反馈数据得到当前最优机器学习模型的搜索操作的具体方法 为： 根据当前最优机器学习模型的架构信 息、 准确率、 各层梯度以及参数权重， 确定当前最 优机器学习模型的架构类型、 收敛类型、 梯度类型以及权 重类型； 根据当前最优机器学习模型的架构类型、 收敛类型、 梯度类型以及权重类型， 得到当前 最优机器学习模型 的条件组合， 获取该条件组合下预设的搜索操作， 作为当前最优机器学 习模型的搜索操作。 7.根据权利要求6所述的基于反馈的机器学习 模型搜索方法， 其特征在于， 所述根据当 前最优机器学习模型的架构信息、 准确率、 各层梯度以及参数权重， 确定 当前最优机器学习 模型的架构类型、 收敛类型、 梯度类型以及权 重类型的具体方法为： 当当前最优机器学习模型的架构信息为Resnet架构时， 当前最优机器学习模型的架构 类型为Resnet架构； 当当前最优机器学习模型的架构信息为Xception架构时， 当前最优机 器学习模型的架构类型为Xception架构； 当当前最优机器学习模型的架构信息为 Efficient架构时， 当前最优机器学习模型的架构类型为Efficient架构； 否则， 当前最优机权　利　要　求　书 1/2 页 2 CN 114254764 A 2器学习模型的架构类型为 其他架构； 当当前最优机器学习模型的准确率在相邻两次训练中最大改进未超过预设第一阈值 时， 当前最优机器学习模型的收敛类型为缓慢收敛； 否则， 当前最优机器学习模 型的收敛类 型为正常收敛； 当当前最优机器学习 模型的各层梯度从输出层向输入层逐层递增， 且递增量超过预设 第二阈值时， 当前最优机器学习模型 的梯度类型为爆炸梯度； 当当前最优机器学习模型 的 各层梯度从输出层向输入层逐层递减， 且递减量超过预设第三阈值时， 当前最优机器学习 模型的梯度类型为消失梯度； 当当前最优机器学习模型的各层梯度中包含超过一定比例的 零值， 且激活函数为ReLU激活函数时， 当前最优机器学习模型的梯度类型为死亡梯度； 否 则， 当前最优机器学习模型的梯度类型为 正常梯度； 当当前最优机器学习模型的参数权重中存在NaN数值时， 当前最优机器学习模型的权 重类型为 NaN权重； 否则， 当前最优机器学习模型的权 重类型为 正常权重。 8.一种基于反馈的机器学习模型搜索系统， 其特 征在于， 包括： 获取模块， 用于获取初始机器学习模型参数， 并根据初始机器学习模型参数构建初始 机器学习模型； 训练模块， 用于通过预设的训练数据集训练初始机器学习模型， 得到初始机器学习模 型的训练反馈数据和训练得分； 更新模块， 用于当存在当前最优机器学习模型时， 获取当前最优机器学习模型的训练 得分， 并将当前最优机器学习模型更新为当前最优机器学习模型和初始机器学习模型中训 练得分较高者； 否则， 将初始机器学习模型作为当前最优机器学习模型； 操作确定模块， 用于获取当前最优机器学习模型的训练反馈数据， 并根据当前最优机 器学习模型的训练反馈数据， 得到当前最优机器学习模型的搜索操作； 输出模块， 用于判断是否满足预设的终止条件， 当不满足终止条件时， 根据当前最优机 器学习模型和当前最优机器学习模型的搜索操作， 修改当前最优机器学习模型并作为初始 机器学习模型发送至训练模块； 当满足 终止条件时， 输出当前最优机器学习模型。 9.一种计算机设备， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器 上运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求 1至 7任一项所述基于反馈的机器学习模型搜索方法的步骤。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处理器执行时实现如权利要求 1至7任一项 所述基于反馈的机器学习 模型搜索方法的步骤。权　利　要　求　书 2/2 页 3 CN 114254764 A 3