(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111606527.5 (22)申请日 2021.12.26 (71)申请人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 张军　李欣怡　宋爱国　陈柳辰　 胡水　 (74)专利代理 机构 南京众联专利代理有限公司 32206 代理人 蒋昱 (51)Int.Cl. G06N 20/00(2019.01) G09B 9/00(2006.01) (54)发明名称 一种基于虚实结合的装配操作数据集构建 系统及方法 (57)摘要 本发明提出了一种基于虚实结合的装配操 作数据集构建系统及方法， 包括 真实装配操作装 置、 虚拟装配操作装置、 操作零件集， 以及虚实结 合装配操作数据集构建方法； 所述的真实装配操 作装置包括依次连接的六自由度机械臂、 手柄、 六维力传感器和机械手爪； 所述的虚拟装配操作 装置包括七自由度力反馈手控器、 虚拟机械臂、 虚拟六维力传感器和虚拟机械手爪； 所述的虚实 结合装配操作数据集构建方法包括真实操作与 虚拟操作的空间位姿和操作力映射方法， 以及操 作位置、 姿态、 力和 力矩数据集生成方法。 本发明 基于虚实结合的装配操作数据集构建系统及方 法， 可以为机器人模仿学习人手的精密感知、 灵 活决策和准确控制， 快速采集高质量、 大样本的 学习数据集。 权利要求书2页 说明书7页 附图9页 CN 114282685 A 2022.04.05 CN 114282685 A 1.一种基于虚实结合的装配操作 数据集构建系统， 包括真实装配操作装置(1)、 虚拟装 配操作装置(2)和操作零件集(3)， 其特 征在于， 所述的真实装配操作装置(1) 和虚拟装配操作装置(2)均独立安装； 所述的操作零件集(3)由真实操作零件集和虚拟 操作零件集组成； 所述的真实装配操作装置(1)包括六自由度机械臂(1 ‑1)、 手柄(1 ‑2)、 六维力传感器 (1‑3)和机械手爪(1 ‑4)； 所述的六自由度机械臂(1 ‑1)水平固定在安装平台上； 所述手柄 (1‑2)安装在六自由度机械臂(1 ‑1)的末端法兰(1 ‑1‑3)上， 并与其同轴； 所述六维力传感器 (1‑3)的固定端安装在手柄(1 ‑2)末端安装法兰上， 并与其同轴； 所述机械手爪(1 ‑4)安装在 六维力传感器(1 ‑3)加载端(1 ‑3‑2)， 并与其同轴； 所述的虚拟装配操作装置(2)包括七自由度力反馈手控器(2 ‑1)、 曲面屏(2 ‑2)、 虚拟机 械臂(2‑3)、 虚拟六维力传感器(2 ‑4)和虚拟机械手爪(2 ‑5)； 所述七自由度力反馈手控器 (2‑1)包括支撑架(2 ‑1‑1)、 连接架(2 ‑1‑2)、 三维平动机构(2 ‑1‑3)、 操作端(2 ‑1‑4)、 三维转 动机构(2 ‑1‑5)、 手控手柄(2 ‑1‑6)和开关量 驱动电机； 所述支撑架(2 ‑1‑1)固定在安装平台 上； 所述连接架(2 ‑1‑2)固定在支撑架(2 ‑1‑1)上方， 用于连接三维平动机构(2 ‑1‑3)； 所述 三维平动机构(2 ‑1‑3)包括上下运动驱动电机(2 ‑1‑3‑1)、 左右运动驱动电机(2 ‑1‑3‑2)和 前后运动驱动电机(2 ‑1‑3‑3)， 所述三维转动机构(2 ‑1‑5)包括横滚转动驱动电机(2 ‑1‑5‑ 1)、 俯仰转动驱动电机(2 ‑1‑5‑2)和偏航转动驱动电机(2 ‑1‑5‑3)； 所述操作端(2 ‑1‑4)位姿 对应虚拟机械臂(2 ‑3)末端位姿， 并装有一个手控手柄， 用于在装配过程中改变操作端位 姿， 所述的开关量驱动电机用于手指运动的开关量的检测； 所述曲面屏(2 ‑2)水平居中固定 在手控器支架上， 屏幕正对操作者； 在虚拟装配场景中， 所述虚拟机械臂的运动学建模及动 力学参数设置与真实机械臂保持一致， 并且底部固定在虚拟安装平台上； 所述虚拟六维力 传感器(2 ‑4)固定端安装在虚拟机械臂(2 ‑3)末端； 所述的虚拟机械手爪(2 ‑5)固定在虚拟 六维力传感器(2 ‑4)的加载端。 2.根据权利要求1所述的一种基于虚实结合的装配操作数据集构建系统， 其特 征在于： 所述真实操作零件集和虚拟操作零件集均包括不同形状的物体以及具体装配操作对 象， 分别用于真实装配操作和虚拟装配操作； 其中虚拟操作零件集和真实操作零件集形状 保持一致， 可供开展拖拽、 拔插、 旋拧操作的数据集构建。 3.根据权利要求2所述的一种基于虚实结合的装配操作数据集构建系统， 其特 征在于： 所述不同形状的物体包括球体、 长方体、 立方体和圆柱体， 所述具体装配操作对象包括 螺栓‑螺母和油枪 ‑油孔。 4.根据权利要求1 ‑3任意一项所述的基于虚实结合的装配操作数据集构建系统的方 法， 其特征在于： 包括以下步骤： A.准备装配： 在人员部署好所述真实装配操作装置、 虚拟装配操作装置， 按装配操作任 务实际配置操作零件集， 并且操作者就位后， 手动输入装配模式， 所述数据集构建系统根据 所选装配模式进入真实装配或虚拟装配流程， 输入真实装配模式则模式标记mode＝ 1， 输入 虚拟装配模式则模式标记mode＝0。 对于所述真实装配操作装置， 所述六自由度机械臂的底 座与实验平台水平固定， 处于零力拖拽模式下， 操作者能较为轻松 地控制所述手柄移动； 对 于所述虚拟装配操作装置， 所述七自由度力 反馈手控器支撑架与实验平台水平固定， 所述权　利　要　求　书 1/2 页 2 CN 114282685 A 2曲面屏的屏幕正对操作者； 所述操作零件集按照旋拧、 拔插、 拖拽等操作的任务实际需求配 置， 并用操作类型 标记operati on的不同取值 来标识。 B.真实装配： 若准备装配时手动输入的为真实装配模式， 则根据所述六自由度机械臂 结构及力学信息通过拉格朗日方程进行动力学建模， 得到六自由度机械臂的动力学模型， 读取所述六维力传感器数据， 根据受力波动判断装配操作是否开始， 开始则对状态标记 stater置1， 记录当前周期所述六维力传感器数据(Fxr,Fyr,Fzr, τxr, τyr, τzr)、 机械臂各关 节角度数据ωir(i＝1,2, …,6)， 基于关节角度数据ωir(i＝1,2, …,6)正向运动学求解末 端位姿(xr,yr,zr, αr, βr,γr)并记录， 机械臂末端位姿随操作者的装配操作改变， 关节随之 运动， 由操作者判断本采样周期内装配是否完成， 完成则状态标记 stater变为2并记录装配 总时长Tr， 计算建立时间轴序列tr， 否则进入下一周期的力、 位数据处 理流程。 C.虚拟装配： 若准备装配时手动输入的为虚拟装配模式， 根据所述七自由度力反馈手 控器结构进行运动学建模， 得到所述七自由度力反馈手控器运动学模型， 读取光电编码器 数据， 根据关节角度偏移量判断装配操作是否开始， 若偏移量超过设定阈值则认为装配操 作开始， 对状态标记statev置1， 暂存当前周期光电编码器数据， 根据运动学模型求解所述 操作端位姿； 虚拟装配场景中对所述虚拟机械臂进行动力学建模， 得到虚拟机械臂的动力 学模型， 根据虚拟装配场景交互情况， 物理引擎求解当前周期虚拟机械臂末端力并反 映到 所述虚拟六维力传感器采样数据， 通过设定的空间映射关系， 将所述操作端位姿作为暂态 位姿映射到虚拟装配场景， 所述虚拟机械臂根据逆运动学解算结果， 调整 各关节角度， 从而 使所述末端虚拟机械手爪坐标系变化到当前 暂态位姿， 记录当前虚拟机械臂末端位姿(xv, yv,zv, αv, βv,γv)， 运动学逆求解虚拟机械臂关节角度及当前周期偏移量， 记录当前虚拟六 维力传感器数据(Fxv,Fyv,Fzv, τxv, τyv, τzv)、 虚拟机械臂各关节角度数据ωiv(i＝1,2, …, 6)； 曲面屏中可见虚拟机械臂末端虚拟机械手爪对七自由度力反馈手控器操作端的随动情 况， 由操作者判断本采样周期内装配是否完成， 完成则状态标记 statev变为2并记录装配总 时长Tv， 计算建立时间轴序列tv， 否则进入下一周期的力、 位数据处 理流程。 D.结束装配： 结束装配， 装配过程中的真实、 虚拟两类装配模式下的装配操作数据均以 列向量组形式存储， 以模式标记序列mode值和下标r、 v进 行区分。 向量组顺序为采样时间序 列t、 六维力(Fx,Fy,Fz, τx, τy, τz)序列、 末端位姿(x,y,z, α, β,γ)序列、 各关节角度ωi(i ＝1,2,…,6)序列、 状态标记state序列、 模式标记mode序列、 操作类型 标记operati on序列。权　利　要　求　书 2/2 页 3 CN 114282685 A 3