(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111560295.4 (22)申请日 2021.12.20 (71)申请人 电子科技大 学长三角研究院 （衢州） 地址 310000 浙江省衢州市柯 城区芹江东 路288号1幢18楼 (72)发明人 袁国慧　肖剑　王卓然　刘冉　 张博翾　闫一默　何劲辉　 (74)专利代理 机构 成都正煜知识产权代理事务 所(普通合伙) 51312 代理人 袁宇霞 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/277(2017.01) G06T 7/73(2017.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06N 20/00(2019.01) (54)发明名称 基于机器学习的精子跟踪与自动提取方法 (57)摘要 本发明属于精子监测与自动提取的技术领 域， 提供了一种基于机器学习的精子跟踪与自动 提取方法。 目的在于解决目前主要的精子监测方 法普遍存在监测精度较低， 监测速度慢， 不利于 精子多目标实时追踪的问题。 主要方案包括， 获 取精子样本 的实时图像数据； 通过YOLO ‑V4、 KCF 跟踪器、 Kalman滤波器实现多精子跟踪； 根据跟 踪结果计算精子的速度， 并根据速度确定目标精 子； 使用YOL O‑V4检测提取针在图像中的位置； 根 据提取针的位置以及精子的跟踪位置构造提取 针控制器的观测状态； 将观测状态输入DDPG深度 强化学习模型中的actor网络中， 得到控制量。 将 actor网络输出控制量输入提取针控制器中， 并 将控制量转换成控制器可执行的控制信号。 控制 器根据控制信号执 行控制量对应的行为。 权利要求书2页 说明书8页 附图2页 CN 114241006 A 2022.03.25 CN 114241006 A 1.一种基于 机器学习的精子跟踪与自动提取 方法， 其特 征在于， 包括以下步骤： 步骤1、 利用电子显微镜获取精子样本的实时图像数据， 并将图像传输至计算机， 传输 频率为20FPS； 步骤2、 在计算平台上， 利用已训练的目标检测网络对观测的精子图像进行检测， 得到 精子的位置； 步骤3、 利用步骤2中得到的精子位置数据更新KCF跟踪器； 步骤4、 对于步骤2漏检的精子， 通过 KCF算法得到漏检精子的估计位置； 步骤5、 使用Kalman滤波器对步骤4中得到的精子的估计位置进行矫 正； 步骤6、 利用步骤5中得到的矫 正后的精子位置数据更新漏检精子的KCF跟踪器； 步骤7、 基于精子跟踪器的每一帧位置信息计算精子的相邻帧期间在图像上产生的位 移， 从而得到精子运动的速度； 步骤8、 计算观测 10秒内精子的平均运动速度， 选取速度最大的精子作为提取的目标， 目标精子的跟踪位置用xk表示； 步骤9、 使用已训练的目标检测网络检测精 子提取针在当前图像中的位置， 用Gk表示， 每 4帧检测一次； 步骤10、 利用当前检测的提取针位置Gk、 精子位置xk以及上一次检测的精子位置xk‑1构 造观测状态sk＝(Gk,xk‑1,xk)； 步骤11、 将观测状态sk输入已训练的深度强化学习网络模型中， 神经网络模型输 出精子 提取针的控制量u＝(u1,u2,u3)； 步骤12、 将控制量u传输到提取针控制器中， 控制器根据u1,u2,u3三个控制量分别控制3 个步进电机， 实现对提取针的x、 y、 z三个方向进行调整； 步骤13、 若提取针运动至目标精子可提取范围， 则控制提取针执行提取操作， 若提取到 目标精子， 则控制结束； 若提取针未到达目标精子的可提取范围内或提取针在执行提取操 作后未提取到目标精子， 则跳转至步骤1。 2.根据权利要求1所述的一种基于机器学习的精子跟踪与自动 提取方法， 其特征在于， 步骤1获取精子样本的实时图像数据以后， 将图像样本集进 行分类， 部 分样本为训练集与验 证集训练目标检测网络， 目标检测网络采用YOLO ‑V4网络模型； 部分样本为测试集， 使用训 练后的YOLO ‑V4网络模型测试。 3.根据权利要求1所述的一种基于机器学习的精子跟踪与自动 提取方法， 其特征在于， 步骤11中深度强化学习模型的训练方法， 包括以下步骤： 步骤11.1、 基于步骤8、 步骤9、 步骤10， 计算初始观测状态s0， 基于初始观测状态s0， 使用 创建的BP神经网络计算得到初始行为a； 步骤11.2、 提取针控制器执 行行为a， 完成对提取针的位置调整； 步骤11.3、 计算目标精子的最 新观测状态sk； 步骤11.4、 根据回报函数计算行为回报值rk； 步骤11.5、 将元组(sk‑1,sk,a,rk)存入样本池中； 步骤11.6、 更新sk‑1， sk‑1＝sk， 并通过BP神经网络计算 新状态的行为a； 步骤11.7、 提取针运动到可提取 范围， 则执 行提取操作； 步骤11.8、 从样本池中随机取固定大小的样本用于训练神经网络；权　利　要　求　书 1/2 页 2 CN 114241006 A 2步骤11.9、 若提取针的控制次数超过 预设次数， 则转至步骤1 1.10， 否则转至步骤1 1.2； 步骤11.10、 训练回合数未达到预设的次数， 则转到步骤11.1， 否则结束训练， 保存训练 的神经网络模型。 4.根据权利要求3所述的深度强化学习模型的训练方法， 其特征在于， 步骤11.4中回报 函数： 式中， cpe为常数， fe为提取成功标志位， 当提取成功fe置为true， 否则置为false； dε为可 提取范围阈值； 为第k次控制时， 提取针与目标精子的距离， 由下式计算： xk为精子位置， Gk,为当前检测的提取针位置 。 5.根据权利要求1所述的一种基于机器学习的精子跟踪与自动 提取方法， 其特征在于， 步骤12中， 三个控制量u1,u2与u3表示为ui,， 且ui的值在区间( ‑1， 1)内， 将ui转换成步进电机 的控制脉冲数， 转换 方法由如下： 式中， npulse为脉冲数， θs为步级角， 表示1个脉冲产生的步进电机的步进角度,当npulse为 正时， 步进电机顺时针转动， 当npulse为负时， 步进电机逆时针转动。权　利　要　求　书 2/2 页 3 CN 114241006 A 3