(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111526828.7 (22)申请日 2021.12.14 (71)申请人 浙江大华 技术股份有限公司 地址 310053 浙江省杭州市滨江区滨安路 1187号 (72)发明人 王超运　殷俊　潘华东　孙鹤　 (74)专利代理 机构 北京同达信恒知识产权代理 有限公司 1 1291 专利代理师 张洁 (51)Int.Cl. G06K 9/62(2022.01) G06N 20/00(2019.01) (54)发明名称 一种数据清洗方法、 装置及系统 (57)摘要 本申请提供一种数据清洗方法、 装置及系 统， 用于解决现有技术存在的标注的样本数据准 确性较低以及分布不一致的技术问题， 所述方法 包括： 基于第一样本数据集对第一预设模型进行 模型训练， 得到第一样本数据集中的每个样本数 据的训练信息； 基于训练信息对第一样本数据集 进行至少一次数据清洗操作， 得到目标样本数据 集； 其中， 数据清洗操作包括： 基于训练信息删除 第一样本数据集中目标比例的样 本数据， 得到第 二样本数据集； 基于第二样本数据集对第一预设 模型重新进行模型训练， 得到第二预设模型， 并 基于测试数据集对第二预设模型进行模型测试， 得到测试参数； 响应于测试参数等于预设指标， 则将第二样本数据集确定为目标样本数据集。 权利要求书2页 说明书11页 附图3页 CN 114638278 A 2022.06.17 CN 114638278 A 1.一种数据清洗方法， 其特 征在于， 包括： 基于第一样本数据集对第 一预设模型进行模型训练， 得到所述第 一样本数据集中的每 个样本数据的训练信息； 其中， 所述训练信息用于指示对应的样本数据的预测值与标注值 之间的相似程度， 所述预测值是基于所述第一预设模型对所述对应的样本数据进 行处理得 到的； 基于所述训练信 息对所述第 一样本数据集进行至少一 次数据清洗操作， 得到目标样本 数据集； 其中， 所述数据清洗操作包括： 基于所述训练信 息删除所述第 一样本数据集中目标比例的样本数据， 得到第 二样本数 据集； 基于所述第二样本数据集对所述第一预设模型重新进行模型训练， 得到第二预设模 型， 并基于测试 数据集对第二预设模型进行模型测试， 得到测试参数； 响应于所述测试参数等于预设指标， 则将所述第 二样本数据集确定为所述目标样本数 据集。 2.如权利要求1所述的方法， 其特 征在于， 还 包括： 响应于所述测试参数不等于预设指标， 则重新选择所述目标比例， 并触发下一次所述 数据清洗操作。 3.如权利要求1或2所述的方法， 其特征在于， 基于第一样本数据集对第一预设模型进 行模型训练， 得到所述第一样本数据集中的每 个样本数据的训练信息， 包括： 基于所述第 一样本数据集对所述第 一预设模型进行模型训练， 得到所述第 一样本数据 集中的每个样本数据在每个训练时期的第一概率和第二概率； 其中， 所述第一概率为所述 任一样本数据的预测值为标注值的概率， 所述第二概率为所述预测值不为所述标注值的最 大概率； 获取所述第 一概率与 所述第二概率之间的差值， 将所述每个训练时期的所述差值之和 的均值作为对应的样本数据的训练信息 。 4.如权利要求2所述的方法， 其特征在于， 基于所述训练信 息删除所述第 一样本数据集 中目标比例的样本数据， 得到第二样本数据集之前， 还 包括： 获取预设比例集， 对所述预设比例集中的比例进行从小到大排序， 选择第一比例作为 所述目标比例； 其中， 所述第一比例为在所述预设比例集中排序最中间的比例。 5.如权利要求4所述的方法， 其特征在于， 基于所述训练信 息删除所述第 一样本数据集 中目标比例的样本数据， 得到第二样本数据集， 包括： 基于所述训练信息指示的相似程度的大小按序删除所述第一样本数据集中所述目标 比例的样本数据， 得到所述第二样本数据集。 6.如权利要求5所述的方法， 其特征在于， 基于所述训练信 息指示的相似程度的大小按 序删除所述第一样本数据集中所述目标比例的样本数据， 得到所述第二样本数据集， 包括： 基于所述训练信息指示的相似程度的大小分别对所述第一样本数据集中的负样本数 据和正样本数据进行从小到大排序； 分别从所述排序最大的负样本数据和所述排序最小的正样本数据开始按序删除所述 目标比例的负 样本数据和正样本数据， 得到所述第二样本数据集。 7.如权利要求6所述的方法， 其特征在于， 响应于所述测试参数不等于预设指标， 则重权　利　要　求　书 1/2 页 2 CN 114638278 A 2新选择目标比例， 包括： 响应于所述测试参数不等于预设指标， 对所述预设比例集中的比例进行分组， 得到第 一子预设比例集和第二子预设比例集； 其中， 所述第一子预设比例集中的比例的排序低于 所述第二子预设比例集中的比例的排序； 若所述测试参数大于所述预设指标， 则 重新选择第 二比例作为所述目标比例； 其中， 所 述第二比例为在所述第一子预设比例集中排序最中间的比例； 若所述测试参数小于所述预设指标， 则 重新选择第 三比例作为所述目标比例； 其中， 所 述第三比例为在所述第二子预设比例集中排序最中间的比例。 8.一种数据清洗装置， 其特 征在于， 包括： 训练模块， 用于基于第一样本数据集对第一预设模型进行模型训练， 得到所述第一样 本数据集中的每个样本数据的训练信息； 其中， 所述训练信息用于指示对应的样本数据的 预测值与标注值之 间的相似程度， 所述预测值是基于所述第一预设模型对 所述对应的样本 数据进行处 理得到的； 清洗模块， 用于基于所述训练信息对所述第一样本数据集进行至少一次数据清洗操 作， 得到目标样本数据集； 其中， 所述数据清洗操作包括： 基于所述训练信 息删除所述第 一样本数据集中目标比例的样本数据， 得到第 二样本数 据集； 基于所述第二样本数据集对所述第一预设模型重新进行模型训练， 得到第二预设模 型， 并基于测试 数据集对第二预设模型进行模型测试， 得到测试参数； 响应于所述测试参数等于预设指标， 则将所述第 二样本数据集确定为所述目标样本数 据集。 9.一种数据清洗系统， 其特 征在于， 包括： 存储器， 用于存 储程序指令； 处理器， 用于调用所述存储器中存储的程序指令， 按照获得的程序指令执行权利要求 1‑7任一项所述的方法包括的步骤。 10.一种存储介质， 其特征在于， 所述存储介质存储有计算机可执行指令， 所述计算机 可执行指令用于使计算机执 行权利要求1 ‑7任一项所述的方法包括的步骤。权　利　要　求　书 2/2 页 3 CN 114638278 A 3