(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111619887.9 (22)申请日 2021.12.27 (71)申请人 中国建设银行股份有限公司 地址 100033 北京市西城区金融大街25号 (72)发明人 袁锐　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 代理人 张丽娜 (51)Int.Cl. G06N 5/04(2006.01) G06F 9/54(2006.01) G06N 20/00(2019.01) (54)发明名称 推理服务方法、 系统、 存 储介质和电子设备 (57)摘要 本发明公开了推理服务方法、 系统、 存储介 质和电子设备， 可以通过主程序单元获得用户输 入的原始待预测数据； 主程序单元将原始待预测 数据拆分成多个数据块； 主程序单元将多个数据 块分别发送至相应的消息队列容器， 以使得各相 应的消息队列容器所连接的N个任务执行容器根 据预先建立的预测模型对所述消息队列容器中 的数据块进行预测， 从而得到相应的预测结果， 其中， 一个所述数据块对应一个所述消息队列容 器， 每个所述数据块在相应的所述消息队列容器 中的排序均相同。 由此可 以看出， 本发明在面对 大量推理需求时， 可 以并发多个任务执行容器， 且每个任务执行容器只需针对一个数据块进行 预测， 效率较高， 响应较快、 可以及时返回预测结 果。 权利要求书2页 说明书8页 附图2页 CN 114282673 A 2022.04.05 CN 114282673 A 1.一种推理服务方法， 其特征在于， 应用于一种推理服务系统， 所述推理服务系统包括 主程序单元、 M个消息队列容器和M ×N个任务执行容器， 其中， 每个所述消息队列容器均与N 个所述任务执行容器通信连接， 不同的所述消息队列容器连接的所述任务执行容器不同， 所述N和所述M为大于1的整数； 所述推理服 务方法包括： 所述主程序单 元获得用户输入的原 始待预测数据； 所述主程序单 元将所述原 始待预测数据拆分成多个数据块； 所述主程序单元将所述多个数据块分别发送至相应的所述消息队列容器， 以使得各相 应的所述消息队列容器所连接的N个所述任务执行容器根据预先建立的预测模型对所述消 息队列容器中的数据块进 行预测， 从而得到相应的预测结果， 其中， 一个所述数据块对应一 个所述消息队列容器， 每 个所述数据块在相应的所述消息队列容器中的排序均相同。 2.根据权利要求1所述的方法， 其特征在于， 在所述主程序 单元获得用户输入的原始待 预测数据之后， 所述方法还 包括： 所述主程序单元判断所述原始待预测数据是否具备预设特征组中的全部特征， 其中， 所述预设特 征组中的各 所述特征为所述预测模型进行 预测所需要的特 征； 若是， 则执 行所述将所述原 始待预测数据拆分成多个数据块的步骤； 若不是， 则发出相应的报错告警， 并结束本次预测过程。 3.根据权利要求1所述的方法， 其特征在于， 所述主程序 单元将所述原始待预测数据拆 分成多个数据块， 包括： 所述主程序单 元将所述原 始待预测数据拆分成M个所述数据块。 4.根据权利要求3所述的方法， 其特征在于， 所述主程序 单元将所述多个数据块分别发 送至相应的所述消息队列容器， 以使得各相应的所述消息队列容器所连接的N个所述任务 执行容器根据预先建立的预测模型对所述消息队列容器中的数据块进 行预测， 从而得到相 应的预测结果， 包括： 将N个所述数据块分别随机发送至相应的N个所述消息队列容器， 以使得各相应的所述 消息队列容器所连接的N个所述任务执行容器根据预先建立的预测模型对 所述消息队列容 器中的数据块进行 预测， 从而得到相应的预测结果。 5.根据权利要求4所述的方法， 其特征在于， 所述将N个所述数据块分别随机发送至相 应的N个所述消息队列容器， 以使得各相应的所述消息队列容器所连接的N个所述任务执行 容器根据预先建立的预测模型对所述消息队列容器中的数据块进 行预测， 从而得到相应的 预测结果， 包括： 将N个所述数据块分别随机发送至相应的N个所述消息队列容器， 以使得各相应的所述 消息队列容器所 连接的N个所述任务执 行容器分别均执 行方式一； 所述方式一包括： N个所述任务执行容器并行读取所述预测模型的模型文件和运行环 境文件， 从而加载所述预测模型； 从所述消息队列容器获取相应的所述数据块并输入至所 述预测模型， 从而获得 所述预测模型针对所述数据块输出的数据块预测结果。 6.根据权利要求5所述的方法， 其特 征在于， 所述方式一还 包括： 各所述任务执 行容器均将得到的所述数据块预测结果存 储至存储单元。 7.根据权利要求6所述的方法， 其特 征在于， 所述方法还 包括：权　利　要　求　书 1/2 页 2 CN 114282673 A 2所述主程序单元根据 各所述任务执行容器得到的所述数据块预测结果， 确定针对所述 原始待预测数据的预测结果。 8.一种推理服务系统， 其特征在于， 包括： 主程序单元、 M个消息队列容器和M ×N个任务 执行容器， 其中， 每个所述消息队列容器均与N个所述任务执行容器通信连接， 不同的所述 消息队列容器连接的所述任务执 行容器不同， 所述 N和所述M为大于1的整数； 所述主程序单 元包括： 原 始数据单 元、 数据拆分单 元和数据发送单 元； 所述原始数据单 元， 用于获得用户输入的原 始待预测数据； 所述数据拆分单 元， 用于将所述原 始待预测数据拆分成多个数据块； 所述数据发送单元， 用于将所述多个数据块分别发送至相应的所述消息队列容器， 以 使得各相应的所述消息队列容器所连接的N个所述任务执行容器分别根据预先建立的预测 模型， 以对相应的所述数据块进行预测， 从而得到相应的预测结果， 其中， 每个所述数据块 在相应的所述消息队列容器中的排序均相同。 9.一种计算机可读存储介质， 其上存储有程序， 其特征在于， 所述程序被处理器执行时 实现如权利要求1至7中任一项所述的推理服 务方法。 10.一种电子设备， 其特征在于， 所述电子设备包括至少一个处理器、 以及与所述处理 器连接的至少一个存储器、 总线； 其中， 所述处理器、 所述存储器通过所述总线完成相互间 的通信； 所述处理器用于调用所述存储器中的程序指令， 以执行如权利要求1至7中任一项 所述的推理服 务方法。权　利　要　求　书 2/2 页 3 CN 114282673 A 3