(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111615183.4 (22)申请日 2021.12.27 (71)申请人 杭州趣链科技有限公司 地址 310000 浙江省杭州市西湖区文三路 199号13幢南楼5 01室 (72)发明人 尚璇　张延楠　汪小益　谭锦志　 匡立中　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 代理人 张萍 (51)Int.Cl. G06Q 40/02(2012.01) G06K 9/62(2022.01) G06N 20/00(2019.01) (54)发明名称 基于强化学习的区块链时空子图洗钱检测 方法及装置 (57)摘要 本发明提供了一种基于强化学习的区块链 时空子图洗钱检测方法及装置， 包括： 获取交易 数据， 并将交易数据按照预设的时间间隔进行划 分， 得到交易时序网络； 基于交易时序网络， 采用 强化学习算法， 得到异常洗钱结构图； 确定异常 洗钱结构图对应的洗钱交易类型。 本发明可以减 轻人工识别洗钱 行为的成本投入， 同时解决难以 挖掘潜在洗钱结构的问题。 权利要求书2页 说明书8页 附图4页 CN 114255122 A 2022.03.29 CN 114255122 A 1.一种基于强化学习的区块链时空子图洗钱检测方法， 其特 征在于， 包括： 获取交易数据， 并将所述交易数据按照预设的时间 间隔进行划分， 得到交易时序网络； 基于所述交易时序网络， 采用强化学习算法， 得到异常洗钱结构图； 确定所述异常洗钱结构图对应的洗钱交易类型。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述交易时序网络， 采用强化学 习算法， 得到异常洗钱结构图的步骤之前， 所述方法还 包括： 初始化智能体的状态、 预设动作、 转移概 率以及奖励函数。 3.根据权利要求2所述的方法， 其特征在于， 所述交易时序网络包括多个时间片； 所述 基于所述交易时序网络， 采用强化学习算法， 得到异常洗钱结构图的步骤， 包括： 基于所述智能体的状态和所述转移概率， 在不同时间片内执行所述预设动作， 得到状 态结构图； 将所述状态结构图输入到预 先确定的Q ‑network中进行 学习， 得到损失函数； 在所述损失函数满足预设条件时， 将所述状态结构图确定为异常洗钱结构图。 4.根据权利要求3所述的方法， 其特征在于， 所述将所述状态结构图输入到预先确定的 Q‑network中进行 学习， 得到损失函数的步骤， 包括： 将所述状态结构图输入到预先确定的Q ‑network中进行学习， 得到所述状态结构图的 动作价值函数； 基于所述智能体的奖励函数， 确定预 先设定的目标异常洗钱结构图的动作价 值函数； 计算所述预先设定的目标异常洗钱结构图的动作价值函数和所述状态结构图的动作 价值函数之间的均方误差， 得到损失函数。 5.根据权利要求3所述的方法， 其特 征在于， 所述方法还 包括： 基于所述损失函数对所述智能体的奖励函数进行 更新。 6.一种基于强化学习的区块链时空子图洗钱检测装置， 其特 征在于， 包括： 时间划分模块， 用于获取交易数据， 并将所述交易数据按照预设的时间间隔进行划分， 得到交易时序网络； 强化学习模块， 用于基于所述交易时序网络， 采用强化学习算法， 得到异常洗钱结构 图； 检测模块， 用于确定所述异常洗钱结构图对应的洗钱交易类型。 7.根据权利要求6所述的装置， 其特征在于， 所述装置还包括： 初始化模块， 用于初始化 智能体的状态、 预设动作、 转移概 率以及奖励函数。 8.根据权利要求7所述的装置， 其特征在于， 所述交易时序网络包括多个时间片； 所述 强化学习模块还用于基于所述智能体的状态和所述转移 概率， 在不同时间片内执行所述预 设动作， 得到状态结构图； 将所述状态结构图输入到预 先确定的Q ‑network中进行 学习， 得到损失函数； 在所述损失函数满足预设条件时， 将所述状态结构图确定为异常洗钱结构图。 9.一种电子设备， 其特征在于， 包括处理器和存储器， 所述存储器存储有能够被所述处 理器执行 的计算机可执行指令， 所述处理器执行所述计算机可执行指令以实现权利要求1 至5任一项所述的方法的步骤。 10.一种计算机可读存储介质， 所述计算机可读存储介质上存储有计算机程序， 其特征权　利　要　求　书 1/2 页 2 CN 114255122 A 2在于， 所述计算机程序被处 理器运行时执 行上述权利要求1至 5任一项所述的方法的步骤。权　利　要　求　书 2/2 页 3 CN 114255122 A 3