(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111551720.3 (22)申请日 2021.12.17 (71)申请人 上海高德威智能交通系统有限公司 地址 201821 上海市嘉定区云谷路59 9弄6 号620室J 1452 (72)发明人 曹桂梅　程战战　钮毅　 (74)专利代理 机构 北京博思佳知识产权代理有 限公司 1 1415 代理人 王茹 (51)Int.Cl. G06K 9/62(2022.01) G06N 20/00(2019.01) (54)发明名称 一种数据处 理方法、 装置及设备 (57)摘要 本申请提供一种数据处理方法、 装置及设 备， 包括： 将基础数据集和新增数据集中的有标 签数据输入 给基础模型得到预测标签； 基于预测 标签和实际标签确定第一损失值； 将基础辅助集 中伪标签数据输入给基础模型得到第一基础向 量， 将基础辅助集中伪标签数据输入 给第一教师 模型得到第二基础向量， 基于第一基础向量和第 二基础向量确定第二损失值； 将新增辅助集中伪 标签数据输入 给基础模型得到第一新增向量， 将 新增辅助集中伪标签数据输入给第二教师模型 得到第二新增向量， 基于第一新增向量和第二新 增向量确定第三损失值； 基于第一损失值、 第二 损失值和第三损失值对基础模型进行训练， 得到 目标模型。 通过本申请的技术方案， 保证目标模 型在旧任务上的性能。 权利要求书4页 说明书19页 附图3页 CN 114298179 A 2022.04.08 CN 114298179 A 1.一种数据处 理方法， 其特 征在于， 所述方法包括： 获取待训练的基础模型； 获取旧任务对应的第 一教师模型、 基础数据集和基础辅助集， 所述基础数据集包括有标签数据， 所述基础辅助集包括伪标签数据； 获取增 量任务对应的 第二教师模型、 新增数据集和新增辅助集， 所述新增数据集包括有标签数据， 所述新增辅助 集包括伪标签数据； 将所述基础数据集和所述新增数据集中的有标签数据输入给所述基础模型， 得到所述 有标签数据对应的预测标签； 基于所述有标签数据对应的预测标签和所述有标签数据对应 的实际标签确定第一损失值； 将所述基础辅助集中的伪标签数据输入给基础模型得到第 一基础向量， 将所述基础辅 助集中的伪标签数据输入给第一教师模型得到第二基础向量， 基于所述第一基础向量和所 述第二基础向量确定第二损失值； 将所述新增辅助集中的伪标签数据输入给基础模型得到第 一新增向量， 将所述新增辅 助集中的伪标签数据输入给第二教师模型得到第二新增向量， 基于所述第一新增向量和所 述第二新增向量确定第三损失值； 基于所述第一损 失值、 所述第二损 失值和所述第三损 失值确定目标损 失值， 基于所述 目标损失值对所述基础模型进行训练， 得到已训练的目标模型； 其中， 所述目标模型用于对待处 理数据进行 数据处理。 2.根据权利要求1所述的方法， 其特 征在于， 所述获取旧任务对应的基础辅助集， 包括： 将无标签数据集中的无标签数据输入给所述基础模型， 得到所述无标签数据对应的伪 标签数据， 所述伪标签数据包括预测伪标签及预测概 率值； 针对所述基础模型支持的每种标签， 基于各伪标签数据中的预测伪标签确定与该标签 对应的伪标签数据； 基于与该标签对应的伪标签数据中的预测概率值， 选取预测概率值大 的N1个伪标签数据作为基础辅助集中的伪标签数据。 3.根据权利要求1所述的方法， 其特 征在于， 所述获取增量任务对应的第二教师模型， 包括： 将所述基础数据集中的有标签数据输入给所述基础模型， 得到有标签数据对应的预测 标签及预测概率值； 基于各有标签数据对应的预测标签及预测概率值确定第一置信度损失 值； 将所述基础辅助集中的伪标签数据输入给所述基础模型， 得到伪标签数据对应的预测 标签及预测概率值； 基于各伪标签数据对应的预测标签及预测概率值确定第二置信度损失 值； 将新增数据集中的有标签数据输入给所述基础模型， 得到有标签数据对应的预测标 签； 基于各有标签数据对应的预测标签及实际标签确定任务损失值； 基于所述第 一置信度损失值、 所述第 二置信度损失值和所述任务损失值对所述基础模 型进行训练， 得到已训练的第二教师模型。 4.根据权利要求1或者3所述的方法， 其特 征在于， 所述获取增量任务对应的新增辅助集， 包括： 将无标签数据集中的无标签数据输入给所述第 二教师模型， 得到所述无标签数据对应 的伪标签数据， 所述伪标签数据包括预测伪标签及预测概 率值；权　利　要　求　书 1/4 页 2 CN 114298179 A 2针对所述第 二教师模型支持的每种标签， 基于各伪标签数据中的预测伪标签确定与 该 标签对应的伪标签数据； 基于与该标签对应的伪标签数据中的预测概率值， 选取预测概率 值大的N2个伪标签数据作为 新增辅助集中的伪标签数据。 5.根据权利要求1所述的方法， 其特征在于， 所述基础模型、 所述第一教师模型和所述 第二教师模型均包括M个网络层， 所述M个网络层中存在目标网络层， 且所述目标网络层是 所述M个网络层中的至少一个网络层； 所述第一基础向量是 所述基础模型的目标网络层输出的特 征向量； 所述第二基础向量是 所述第一教师模型的目标网络层输出的特 征向量； 所述第一 新增向量是 所述基础模型的目标网络层输出的特 征向量； 所述第二 新增向量是 所述第二教师模型的目标网络层输出的特 征向量。 6.根据权利要求1所述的方法， 其特征在于， 所述基于所述第一损 失值、 所述第二损 失 值和所述第三损失值确定目标损失值， 包括： 基于所述第一损失值、 所述第二损失值和所述 第三损失值之间的和值， 确定所述目标损失值。 7.根据权利要求1所述的方法， 其特 征在于， 所述将所述基础数据集中的有标签数据输入给所述基础模型， 包括： 从所述基础数据 集中选取第一数量个有标签数据， 对选取 的各有标签数据进行数据增广， 并将数据增广后 的有标签数据输入给 所述基础模型； 所述将所述新增数据集中的有标签数据输入给所述基础模型， 包括： 从所述新增数据 集中选取第二数量个有标签数据， 对选取 的各有标签数据进行数据增广， 并将数据增广后 的有标签数据输入给 所述基础模型； 所述将所述基础辅助集中的伪标签数据输入给基础模型， 将所述基础辅助集中的伪标 签数据输入给第一教师模型， 包括： 从所述基础辅助集中选取第三数量个伪标签数据， 对选 取的各伪标签数据进行数据增广， 并将数据增广后的伪标签数据输入给基础模型， 将数据 增广后的伪标签数据输入给第一教师模型； 所述将所述新增辅助集中的伪标签数据输入给基础模型， 将所述新增辅助集中的伪标 签数据输入给第二教师模型， 包括： 从所述新增辅助集中选取第四数量个伪标签数据， 对选 取的各伪标签数据进行数据增广， 并将数据增广后的伪标签数据输入给基础模型， 将数据 增广后的伪标签数据输入给第二教师模型； 其中， 第一数量、 第二数量、 第三数量和第四数量之间满足预设数量比例。 8.一种数据处 理装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取待训练的基础模型； 获取旧任务对应的第一教师模型、 基础数据集 和基础辅助集， 所述基础数据集包括有标签数据， 所述基础辅助集包括伪标签数据； 获取增 量任务对应的第二教师模型、 新增数据集和新增辅助集， 所述新增数据集包括有标签数据， 所述新增辅助集包括伪标签数据； 确定模块， 用于将所述基础数据集和所述新增数据集中的有标签数据输入给基础模 型， 得到有标签数据对应的预测标签； 基于有标签数据对应的预测标签和有标签数据对应 的实际标签确定第一损失值； 将所述基础辅助集中的伪标签数据输入给基础模型得到第一 基础向量， 将所述基础辅助集中的伪标签数据输入给第一教师模型得到第二基础向量， 基 于所述第一基础向量和所述第二基础向量确定第二损失值； 将所述新增辅助集中的伪标签权　利　要　求　书 2/4 页 3 CN 114298179 A 3