(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210430787.X (22)申请日 2022.04.22 (71)申请人 西安电子科技大 学 地址 710126 陕西省西安市长安区西安电 子科技大 学南校区 (72)发明人 闫正杰　谢涌　付照棋　孟天宇　 王浩林　张鹏　 (74)专利代理 机构 北京博识智 信专利代理事务 所(普通合伙) 16067 专利代理师 刘巍 (51)Int.Cl. G06F 3/01(2006.01) G06V 40/20(2022.01) G06K 9/00(2022.01) G06V 10/82(2022.01)G06V 10/80(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) A61B 5/11(2006.01) (54)发明名称 一种手势识别装置、 手势识别方法及手势识 别系统 (57)摘要 本发明公开了一种手势识别装置、 手势识别 方法及手势识别系统， 手势识别装置采用纸为基 底的传感器， 同时将基底做成纸弹簧结构， 利用 纸通过折叠、 压印等工艺制备微纳结构用于传感 器的敏感单元， 降低了传感器的制作成本， 提高 了传感器的环保等级且易回收， 同时微纳结构及 褶皱的存在促使传感器的灵敏度得到大幅度提 高； 手势识别中采用深度残差网络解决CNN模型 训练难的问题， 通过批量标准化进行加速训练， 利用传感器获取手指运动信息和角度变化， 同时 与RGB网络摄像头视觉数据融合， 可较快速有效 率地判断手势。 权利要求书1页 说明书5页 附图6页 CN 114816059 A 2022.07.29 CN 114816059 A 1.一种手势识别装置， 其特征在于： 包括设置于手指位置对应的至少一个传感器， 所述 传感器用于识别运动手指相对于其 他手指的运动信息和角度变化信息； 所述传感器包括包括基底、 导电层以及导线， 所述基底材料为纸且折叠成弹簧形状， 所 述导电层形成在所述基底上， 通过导线与外 部测量仪器或电路连接 。 2.根据权利要求1所述的一种手势识别装置， 其特征在于： 所述基底上设有用于塑封的 石墨层。 3.根据权利要求1所述的一种手势识别装置， 其特征在于： 所述导电层通过粘贴、 打印 工艺制备。 4.一种手势 识别方法， 其特 征在于： 包括以下步骤： 1)利用手势图片集建立不同手势的数据库， 分别建立储存图片信 息图片数组以及储存 标签信息的标签数组； 2)建立CN N模型， 计算机通过训练集计算梯度下降进行拟合模型； 3)收集配戴在用户的手指上传感器的运动信息和角度变化信息； 4)将运动信息和角度变化信息 输入模型并判断用户手势所 执行的操作。 5.根据权利要求4所述的一种手势识别方法， 其特征在于： 所述步骤3中拟合模型包括 以下步骤： 1)在深度残差网络中提出了残差结构， 并搭建超深的网络结构； 2)通过批量标准 化进行加速训练。 6.根据权利要求4所述的一种手势识别方法， 其特征在于： 所述步骤5输入模型前， 包括 以下步骤： 将每根手指上 的传感器通过数据选择器后进行降维处理， 把高维的数据映射到 低维的空间， 并且保持数据在高维空间的局部结构。 7.根据权利要求4所述的一种手势识别方法， 其特征在于： 所述步骤4中包括与RGB网络 摄像头视觉数据融合： 1)集成来自传感器与RGB网络摄 像头的不同信息源的矢量 化特征； 2)使用基于注意力的融合机制融合 不同信息源的矢量 化特征来优化模型； 3)使用双线程池化来进一步提高模型性能， 将视觉特征向量与文本特征向量融合， 通 过计算其外积来创建联合表示空间的输出向量。 8.根据权利要求7所述的一种手势识别方法， 其特征在于： 传感器与RGB网络摄像头信 息集成方法采用级联或加权总和。 9.一种手势 识别系统， 其特 征在于： 包括传感器以及处 理器； 所述传感器至少设有一个且设于手指位置， 用于识别运动手指相对于其他手指的运动 信息和角度变化信息； 所述处理器与传感器电性连接， 获取传感器的检测检测数据并判断用户手势。 10.根据权利要求9所述的一种手势识别方法， 其特征在于： 还包括取像装置， 用于获取 不同手势产生的影 像， 并将影 像数据发送给处 理器。权　利　要　求　书 1/1 页 2 CN 114816059 A 2一种手势识别装 置、 手势识别方 法及手势识别系统 技术领域 [0001]本发明涉及手势识别技术领域， 具体是指一种手势识别装置、 手势识别方法及手 势识别系统。 背景技术 [0002]手势识别技术可提供良好的人机互动性， 并提高操作便利性， 已受到业界广泛的 重视。 目前能够识别手势的镜头可区分为远距离镜头与近距离镜头两种， 远距离镜头可设 置于使用者前方而与使用者面对面， 如设置于电视或游戏机， 而近距离镜头可设置于使用 者身上的穿戴装置。 两种距离的镜头虽然都可以识别手势， 但距离与位置不同， 能取得的手 势信息与使用习惯当然不同， 导 致这两种距离会有不同的手势。 [0003]随着虚拟现实(Virtu alReality， VR)装置或增强现实(AugmentedReality， AR)装 置的开发， 近距离镜头可装设于VR装置或AR装置上。 VR装置或AR装置均可利用手势来进行 操作， 而目前多以特定的手势来取代特定的功能， 达到如快捷键一般的效果。 举例来说， 拇 指与食指捏取(Pinch)的手势为使用者很自然就可实现的手势， 其可用来指示VR装置或AR 装置进行 特定操作。 [0004]目前通过光学设备来完成手势识别的技术方案识别一个手势通常需要10秒钟， 这 种速度很难满足电子 设备与计算机之间的人机交互。 所以， 一种手势识别装置、 手势识别方 法及手势 识别系统成为人们亟 待解决的问题。 发明内容 [0005]本发明要解决的技术问题是提供一种能够按照预定义手势识别的手势识别装置、 手势识别方法及手势 识别系统 [0006]为解决上述技术问题， 本发明提供的技术方案为一种手势识别装置， 包括设置于 手指位置对应的至少一个传感器， 所述传感器用于识别运动手指相对于其他手指的运动信 息和角度变化信息； [0007]所述传感器包括包括基底、 导电层以及导线， 所述基底材料为纸且折叠成弹簧形 状， 所述导电层形成在所述基底上， 通过导线与外 部测量仪器或电路连接 。 [0008]作为改进， 所述 纸基上设有用于塑封的石墨层。 [0009]作为改进， 所述 导电层通过粘贴、 打印工艺制备。 [0010]一种手势 识别方法， 包括以下步骤： [0011]1)利用手势图片集建立不同手势的数据库， 分别建立储存图片信息图片数组以及 储存标签信息的标签数组； [0012]2)建立CN N模型， 计算机通过训练集计算梯度下降进行拟合模型； [0013]3)收集配戴在用户的手指上传感器的运动信息和角度变化信息； [0014]4)将运动信息和角度变化信息 输入模型并判断用户手势所 执行的操作。 [0015]作为改进， 所述 步骤3中拟合模型包括以下步骤：说　明　书 1/5 页 3 CN 114816059 A 3