(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211059408.7 (22)申请日 2022.08.31 (71)申请人 南京邮电大 学 地址 210003 江苏省南京市 鼓楼区新模范 马路66号 (72)发明人 王晨昕　成孝刚　宋丽敏　朱世远　 朱家祥　胡斐　张艳彬　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 邓东旭 (51)Int.Cl. B25J 9/16(2006.01) B25J 15/08(2006.01) B25J 19/02(2006.01) G06V 20/00(2022.01)G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/00(2006.01) (54)发明名称 一种面向SFX微流自动化制备的器皿抓取方 法 (57)摘要 本发明公开了机械臂控制技术领域的一种 面向SFX微流自动化制备的器皿抓取方法， 包括： 接收语音信号后进行预处理； 解析预处理后的语 音信号， 确定所指 的目标试剂信息； 根据目标试 剂信息进行相机重定位， 得到目标试剂的三维坐 标； 通过粒子群优化深度神经网络对机械臂的角 度进行矫正； 根据目标试剂的三维坐标， 利用训 练好的深度卷积神经网络模型控制机械臂循环 抓取操作 将化学试剂区的SFX反应所需目标试剂 的器皿抓取至微流实验平台。 本发 明设计合理且 成本低， 克服了现有技术的诸多不足， 具有良好 的鲁棒性。 权利要求书2页 说明书8页 附图2页 CN 115464640 A 2022.12.13 CN 115464640 A 1.一种面向SF X微流自动化制备的器皿 抓取方法， 其特 征是， 包括： 接收语音信号后进行 预处理； 解析预处理后的语音信号， 确定所指的目标 试剂信息； 根据目标 试剂信息进行相机 重定位， 得到目标 试剂的三维坐标； 通过粒子群优化深度神经网络对机 械臂的角度进行矫 正； 根据目标试剂的三维坐标， 利用训练好的深度卷积神经网络模型控制机械臂循环抓取 操作将化学 试剂区的SF X反应所需目标 试剂的器皿 抓取至微 流实验平台。 2.根据权利要求1所述的面向SFX微流自动化制备的器皿抓取方法， 其特征是， 接收语 音信号后进行预处理， 包括： 对时序序列Xm(n)后傅里叶变换为频域波形， 得到语音信号能 量， 再采用Mel滤波器进行Hm(k)滤波， 最后计算离 散余弦变化倒谱的MFC C特征参数。 3.根据权利要求1所述的面向SFX微流自动化制备的器皿抓取方法， 其特征是， 解析预 处理后的语音信号， 确定所指的目标试剂信息， 包括： 通过对语音信号的分析计算得到语音 特征信息， 在得到语音输入后和语音库中的语音数字特征信息进行比对， 确定语音命令所 指的物体信息， 将物体信息与终端数据库中的药品信息进行匹配， 比对成功则进行相 机重 定位， 比对失败则返回错 误提示并重新匹配。 4.根据权利要求1所述的面向SFX微流自动化制备的器皿抓取方法， 其特征是， 根据目 标试剂信息进行相机 重定位， 包括： 对相机进行离线标定， 以两个摄像机为基准点， 确定一个旋转矩阵与一个平移矩阵， 从 而将机械臂所使用的世界坐标系进行平 移和转换 得到双目相机坐标系； 分层空间分区， 在3D室内场景进行分层空间分区， 以构建决策树， 然后， 决策树中的每 个分割节点 不仅执行硬数据分区选择， 实际上还执 行了一个物理意 义上的3D几何区域； 建立神经路由函数， 给定从2D视觉观察中采样的输入点， 分割节点需要确定要去的世 界空间中哪个分割的子区域， 采用一种实现为深度分类网络的神经路由函数， 用于学习拆 分策略； 构建离群点剔除模块， 处理潜在的动态输入点， 将这些点视为离群值， 并在决策树的分 层路由过程中拒绝它 们； 根据相机参数通过物 理与像素转换得到图像的像素坐标系， 从而计算出目标试剂在图 像物理坐标系中的实际坐标值。 5.根据权利要求1所述的面向SFX微流自动化制备的器皿抓取方法， 其特征是， 通过粒 子群优化深度神经网络对机 械臂的角度进行矫 正， 包括： 样本采集， 输入样本是不 准确的三维坐标值， 输出样本是期望的三维坐标值； 初始化， 对中间多个神经 元的权值跟阈值进行 赋值； 将训练样本 输入到网络中， 通过传递 函数计算出网络的实际输出； 根据目标输出和实际输出求得一般化 误差； 根据一般化误差对中间多个神经元的权值跟阈值进行矫正， 直至神经网络的全局误差 小于设定的误差； 粒子群优化的误差函数； 通过广义回归神经网络GRN N进行求逆解， 从而求出 各个电机的角度。 6.根据权利要求1所述的面向SFX微流自动化制备的器皿抓取方法， 其特征是， 所述深权　利　要　求　书 1/2 页 2 CN 115464640 A 2度卷积神经网络模型通过如下步骤训练： 收集不同规格的容器样本， 并做好试剂标签分类； 生成容器样本均值文件； 建立深度卷积神经网络； 使用参数文件进行深度卷积神经网络参数调节操作。 7.根据权利要求6所述的面向SFX微流自动化制备的器皿抓取方法， 其特征是， 建立深 度卷积神经网络， 具体包括如下步骤： 修改输出神经元的个数， 将来自最底层的数据类型ImageData类型转换成LMDB格式， 然 后进行网络初始化； 剪切图片并设置好顶层图片维数， 通过卷积层对相机采集的图片进行特征提取， 不同 层的局部特征通过神经网络连接后输出图像整体的图像特征， 每张采集数据与其权重相乘 后加上偏置因子就可以得到网络中间层的输出 结果； 通过降采样层对卷积层的输出进行平均池化， 降低输出数据的维数， 进行全连接， 训练 后可以得到不同参数 下的输出 数据； 反向计算遍历所有数据， 再根据顶层的梯度数据计算出偏置梯度， 根据底层数据和顶 层的数据梯度相乘计算出权重的梯度， 然后顶层数据梯度与权重相乘得到底层的数据梯 度。 8.根据权利 要求1所述的面向SFX微流自动化制备的器皿抓取方法， 其特征是， 所述SFX 反应所需目标试剂的器皿抓取至微流实验平台后， 运行化学反应的决策脚本， 调用将机械 臂运动至微流反应器控制终端界面处， 相机摄录界面同时进 行OCR检查， 所述机械臂触控进 行微流反应器初始 化参数的设置， 待反应器正在预热时根据决策脚本进 行管道与瓶塞的物 理位移操作， 使刚抓取 的化学试剂顺利连接至反应器泵， 预热成功后进行反应的安全性检 查， 所述服务器终端判断满足反应条件后开始后续的SF X的制备过程。权　利　要　求　书 2/2 页 3 CN 115464640 A 3