(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111608136.7 (22)申请日 2021.12.24 (71)申请人 凌云光技术股份有限公司 地址 100094 北京市海淀区翠湖南环路13 号院7号楼7层701室 (72)发明人 杨济铭　刘辉　夏炎　刘红　 安登奎　戴志强　姚毅　杨艺　 (74)专利代理 机构 北京弘权知识产权代理有限 公司 11363 代理人 逯长明　许伟群 (51)Int.Cl. G06N 20/00(2019.01) (54)发明名称 一种深度学习模型的评估方法 (57)摘要 本申请提供一种深度学习模 型的评估 方法， 解决使用大量数据时评估 过程耗时的技术问题。 评估方法包括： 确定深度学习模型和测试集， 将 测试集输入深度学习模型， 用以完成模型评估并 生成评估结果； 根据一次过滤参数过滤评估结 果， 获得满足第一预设条件的评估结果， 记作基 础结果； 计算基础结果对应的混淆矩阵， 获得新 的评估结果， 记作技术结果； 根据二次过滤参数 过滤基础结果和技术结果， 获得满足第二预设条 件的评估结果， 记作过滤结果； 计算过滤结果对 应的混淆矩阵， 用以展示评估结果。 本申请通过 对基础结果和技术结果进行二次过滤， 得到过滤 结果， 进而根据过滤结果计算混淆矩阵， 从而实 现评估结果的快速过滤， 以及在 展示评估结果时 更加简洁直观。 权利要求书2页 说明书5页 附图4页 CN 114330745 A 2022.04.12 CN 114330745 A 1.一种深度学习模型的评估方法， 其特 征在于， 包括： 确定深度学习模型和测试集， 将所述测试集输入所述深度学习模型， 用以完成模型评 估并生成评估结果； 根据一次过滤参数过滤所述评估结果， 获得满足第一预设条件的评估结果， 记作基础 结果； 计算所述基础结果对应的混淆矩阵， 获得新的评估结果， 记作技 术结果； 根据二次过滤参数过滤所述基础结果和所述技术结果， 获得满足第 二预设条件的评估 结果， 记作过 滤结果； 计算所述过 滤结果对应的混淆矩阵， 用以展示评估结果。 2.根据权利要求1所述的深度 学习模型的评估方法， 其特征在于， 所述一 次过滤参数包 括多个参数值； 根据所述多个参数值中的每个参数值分别过滤所述评估结果， 获得满足第 一预设条件 的评估结果； 其中所述多个参数值包括第一参数值、 第二参数值以及第三参数值； 根据第一 参数值过滤所述评估 结果， 获得满足第一预设条件的评估结果， 记作第一评估结果； 根据第 二参数值过滤所述评估结果， 获得满足第二预设条件的评估结果， 记作第二评估 结果； 根据 第三参数值过 滤所述评估结果， 获得满足第三预设条件的评估结果， 记作第三评估结果； 将第一评估结果、 第二评估结果以及第三评估结果记作基础结果。 3.根据权利要求1所述的深度 学习模型的评估方法， 其特征在于， 所述获得满足第 二预 设条件的评估结果的步骤， 包括： 将不满足所述第二预设条件的评估结果标识为无效， 记作无效结果。 4.根据权利要求3所述的深度学习模型的评估方法， 其特 征在于， 还 包括： 根据三次过滤参数过滤所述过滤结果和所述无效结果， 获得满足第 三预设条件的评估 结果， 记作再 滤结果； 计算所述再 滤结果对应的混淆矩阵， 用以展示评估结果。 5.根据权利要求1所述的深度 学习模型的评估方法， 其特征在于， 所述根据一 次过滤参 数过滤所述评估结果获得满足第一预设条件的评估结果的步骤， 包括： 判断所述评估结果是否满足所述第一预设条件； 若满足所述第一预设条件， 则保存评估结果； 若不满足所述第一预设条件， 则 删除评估结果； 判断是否还有评估结果需要过 滤； 若无评估结果需要过 滤， 则根据保存的评估结果 生成基础结果。 6.根据权利要求3所述的深度 学习模型的评估方法， 其特征在于， 所述根据二 次过滤参 数过滤所述基础结果和所述 技术结果获得满足第二预设条件的评估结果的步骤， 包括： 判断所述基础结果是否满足过 滤条件； 若所述基础结果满足过 滤条件， 则标记基础结果 为有效； 若所述基础结果 不满足过 滤条件， 则标记基础结果 为无效； 判断是否还有基础数据需要过 滤； 若没有基础数据需要过 滤， 则生成过 滤结果。 7.根据权利要求1所述的深度学习模型的评估方法， 其特 征在于， 还 包括：权　利　要　求　书 1/2 页 2 CN 114330745 A 2获取过滤数据； 判断过滤结果是否有效； 若过滤结果有效， 则以第一预设方式显示； 若过滤结果无效， 则以第二预设方式显示； 判断是否还有过 滤数据需要显示； 若没有过 滤数据需要显示， 则显示混淆矩阵。 8.一种深度学习模型的评估系统， 其特 征在于， 所述系统被 配置为： 确定深度学习模型和测试集， 将所述测试集输入所述深度学习模型， 用以完成模型评 估并生成评估结果； 根据一次过滤参数过滤所述评估结果， 获得满足第一预设条件的评估结果， 记作基础 结果； 计算所述基础结果对应的混淆矩阵， 获得新的评估结果， 记作技 术结果； 根据二次过滤参数过滤所述基础结果和所述技术结果， 获得满足第 二预设条件的评估 结果， 记作过 滤结果； 计算所述过 滤结果对应的混淆矩阵， 用以展示评估结果。 9.一种计算机， 其特征在于， 应用上述权利要求1 ‑7任一一项所述的深度 学习模型的评 估方法。 10.一种终端设备， 其特征在于， 应用上述权利要求1 ‑7任一一项所述的深度学习模型 的评估方法。权　利　要　求　书 2/2 页 3 CN 114330745 A 3