(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211509841.6 (22)申请日 2022.11.29 (71)申请人 支付宝 （杭州） 信息技 术有限公司 地址 310000 浙江省杭州市西湖区西溪路 556号8层B段801-1 1 (72)发明人 王维强　林金镇　应缜哲　薛兰青　 (74)专利代理 机构 北京博思佳知识产权代理有 限公司 1 1415 专利代理师 李威 (51)Int.Cl. G06F 40/194(2020.01) G06F 40/289(2020.01) G06F 40/30(2020.01) (54)发明名称 一种模型训练和业务处理的方法、 装置、 存 储介质及设备 (57)摘要 本说明书公开了一种模型训练和业务处理 的方法、 装置、 存储介质及设备。 该模型训练的方 法包括， 获取历史对话， 从历史对话中确定目标 语句， 将历史对话输入待训练的特征提取模型 中， 以使特征提取模型根据历史对话中除目标语 句外的其他语句， 确定目标语句对应的语句特 征， 作为第一特征， 以及， 根据目标语句， 确定目 标语句对应的语句特征， 作为第二特征， 以最小 化第一特征与第二特征之间的偏 差为优化目标， 对特征提取模型进行训练， 其中， 训练后的特征 提取模型用于确定输入的每个对话语句对应的 语句特征， 并将输出的语句特征进行发送， 以使 接收端根据接收到的语句特 征进行业 务处理。 权利要求书2页 说明书12页 附图5页 CN 115545002 A 2022.12.30 CN 115545002 A 1.一种模型训练的方法， 包括： 获取历史对话； 从所述历史对话中确定目标语句； 将所述历史对话输入待训练 的特征提取模型中， 以使所述特征提取模型根据 所述历史 对话中除所述目标语句外的其他语句， 确定所述目标语句对应的语句特征， 作为第一特征， 以及， 根据所述目标语句， 确定所述目标语句对应的语句特 征， 作为第二特 征； 以最小化所述第一特征与 所述第二特征之间的偏差为优化目标， 对所述特征提取模型 进行训练， 其中， 训练后的所述特征提取模型用于确定输入的每个对话语句对应的语句特 征， 并将输出的语句特 征进行发送， 以使接收端根据接收到的语句特 征进行业 务处理。 2.如权利要求1所述的方法， 将所述历史对话输入所述特征提取模型之前， 所述方法还 包括： 将所述历史对话中的目标语句替换为指定 字符， 得到替换后对话； 将所述历史对话输入待训练 的特征提取模型中， 以使所述特征提取模型根据 所述历史 对话中除所述目标语句外的其他语句， 确定所述目标语句对应的语句特征， 作为第一特征， 具体包括： 将所述替换后对话输入所述特征提取模型中， 以使所述特征提取模型根据所述替换后 对话中所述指定字符对应位置 以外的其他语句， 确定所述指定字符对应位置处的语句特 征， 作为所述第一特 征。 3.如权利要求1所述的方法， 从所述历史对话中确定目标语句， 具体包括： 根据所述历史对话中包含的每个语句对应的被选取的概率， 在所述历史对话中选取出 所述目标语句。 4.如权利要求1所述的方法， 从所述历史对话中确定目标语句， 具体包括： 若确定需要从所述历史对话中确定出至少两个目标语句， 则从在语序 上互不相邻的各 语句中确定所述目标语句。 5.如权利要求1所述的方法， 以最小化所述第一特征与所述第二特征之间的偏差为优 化目标， 对所述特 征提取模型进行训练， 具体包括： 确定所述第一特 征与所述第二特 征之间的相似度； 以最大化所述相似度为优化目标， 对所述特 征提取模型进行训练。 6.如权利要求2所述的方法， 以最小化所述第一特征与所述第二特征之间的偏差为优 化目标， 对所述特 征提取模型进行训练之前， 所述方法还 包括： 将所述替换后对话输入所述特征提取模型中， 根据 所述替换后对话中所述指定字符对 应位置以外的其 他语句， 还原所述语句标记对应位置处的语句， 作为预测语句； 以最小化所述第一特征与 所述第二特征之间的偏差为优化目标， 对所述特征提取模型 进行训练， 具体包括： 以最小化所述第一特征与所述第二特征之间的偏差， 以及， 最小化所述预测语句与所 述目标语句之间的偏差为优化目标， 对所述特 征提取模型进行训练。 7.一种业 务处理的方法， 包括： 获取业务对话； 将所述业务对话输入到预先训练的特征提取模型中， 以使所述特征提取模型针对所述权　利　要　求　书 1/2 页 2 CN 115545002 A 2业务对话中包含的每个对话语句， 根据所述业务对话中除该对话语句 外的其他语句， 确定 该对话语句对应的语句特征， 其中， 所述特征提取模型是通过上述权利要求 1~6任一项所述 的模型训练的方法训练得到的； 根据所述 业务对话中包 含的每个对话语句对应的语句特 征， 进行业 务处理。 8.一种模型训练的装置， 包括： 获取模块， 获取历史对话； 确定模块， 从所述历史对话中确定目标语句； 输入模块， 将所述历史对话输入待训练的特征提取模型中， 以使所述特征提取模型根 据所述历史对话中除所述 目标语句 外的其他语句， 确定所述 目标语句对应的语句特征， 作 为第一特 征， 以及， 根据所述目标语句， 确定所述目标语句对应的语句特 征， 作为第二特 征； 训练模块， 以最小化所述第一特征与所述第二特征之间的偏差为优化目标， 对所述特 征提取模型进行训练， 其中， 训练后的所述特征提取模型用于确定输入的每个对话语句对 应的语句特征， 并将输出 的语句特征进行发送， 以使接 收端根据接 收到的语句特征进行业 务处理。 9.一种业 务处理的装置， 包括： 获取模块， 获取业 务对话； 输入模块， 将所述业务对话输入到预先训练的特征提取模型中， 以使所述特征提取模 型针对所述业务对话中包含的每个对话语句， 根据所述业务对话中除该对话语句外的其他 语句， 确定该对话语句 对应的语句特征， 其中， 所述特征提取模型是通过上述权利要求1~6 任一项所述的模型训练的方法训练得到的； 处理模块， 根据所述 业务对话中包 含的每个对话语句对应的语句特 征， 进行业 务处理。 10.一种计算机可读存储介质， 所述存储介质存储有计算机程序， 所述计算机程序被处 理器执行时实现上述权利要求1~7任一项所述的方法。 11.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 所述处 理器执行所述程序时实现上述权利要求1~7任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115545002 A 3