(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211023677.8 (22)申请日 2022.08.23 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 郑音飞　罗泽熠　段会龙　 (74)专利代理 机构 北京高沃 律师事务所 1 1569 专利代理师 韩雪梅 (51)Int.Cl. G06V 40/18(2022.01) G06V 10/44(2022.01) G06V 10/54(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 一种融合深度信息的手部静脉识别方法及 装置 (57)摘要 本发明公开了一种融合深度信息的手部静 脉识别方法及装置， 涉及静脉识别技术领域。 方 法包括： 采集目标图像组； 目标图像组包括两幅 具有视差的手部静脉图像； 对两幅手部静脉图像 分别进行预处理， 得到两幅静脉纹理图像； 将两 幅静脉纹理图像进行匹配， 得到一幅深度图像； 将深度图像与两幅静脉纹理图像进行叠加， 得到 一幅待识别三通道图像； 将待识别三通道图像输 入至特征参数提取模型中进行特征参数提取， 得 到待识别特征参数； 计算待识别特征参数与各样 本数据组对应的样本特征参数之间的目标欧式 距离； 根据各目标欧氏距离的大小确定目标图像 组对应的个体。 本发明能够提高静脉识别的可靠 性， 避免静脉识别装置 被破解。 权利要求书3页 说明书10页 附图3页 CN 115359549 A 2022.11.18 CN 115359549 A 1.一种融合深度信息的手部静脉识别方法， 其特 征在于， 所述方法包括： 采集目标图像组； 所述目标图像组包括两幅具有视 差的手部静脉图像； 对两幅所述手部静脉图像分别进行 预处理， 得到两幅静脉纹 理图像； 将两幅所述静脉纹 理图像进行匹配， 得到一幅深度图像； 将所述深度图像与两幅所述静脉纹 理图像进行叠加， 得到一幅待识别三 通道图像； 将所述待识别三通道图像输入至特征参数提取模型中进行特征参数提取， 得到待识别 特征参数； 所述特征参数提取模型是利用样本数据集对孪生胶囊网络进行训练得到的； 所 述样本数据集包括多个样本数据 组， 不同样本数据 组对应不同个体； 一个所述样本数据 组 包括多幅取自同一个 体的样本三 通道图像； 计算所述待识别特征参数与各所述样本数据组对应的样本特征参数之间的目标欧式 距离； 一个所述样本特征参数是将所述样本数据集中的一幅样本三通道图像输入至所述特 征参数提取模型中进行 特征参数提取 得到的； 根据各所述目标欧氏距离确定所述目标图像组对应的个 体。 2.根据权利要求1所述的融合深度信 息的手部静脉识别方法， 其特征在于， 所述特征参 数提取模型的确定方法包括： 获取样本数据集； 将所述样本数据集中的样本三通道图像分别输入至孪生胶囊网络中进行特征参数提 取， 得到对应的样本特 征参数； 以相同个体的样本三通道图像对应的样本特征参数的欧式距离小于第 一设定值， 不同 个体的样本三通道图像对应的样本特征参数的欧氏距离大于第二设定值为目标， 对所述孪 生胶囊网络进 行训练， 得到训练好的孪生胶 囊网络； 其中， 所述第一设定值小于所述第二设 定值； 将所述训练好的孪生胶囊网络确定为所述特 征参数提取模型。 3.根据权利要求1所述的融合深度信 息的手部静脉识别方法， 其特征在于， 所述对两幅 所述手部静脉图像分别进行 预处理， 得到两幅静脉纹 理图像， 具体包括： 对两幅所述手部静脉图像分别进行图像数据转换处 理， 得到两幅灰度图像； 对两幅所述灰度图像分别进行感兴趣区域 提取处理， 得到两幅感兴趣区域图像； 对两幅所述感兴趣区域图像分别进行 滤波去噪处理， 得到两幅滤波后图像； 对两幅所述滤波后图像分别进行归一 化处理， 得到两幅归一 化图像； 对两幅所述归一 化图像分别进行图像增强处 理， 得到两幅增强图像； 对两幅所述增强图像分别进行静脉分割处 理， 得到两幅静脉纹 理图像。 4.根据权利要求3所述的融合深度信 息的手部静脉识别方法， 其特征在于， 所述对两幅 所述增强图像分别进行静脉分割处 理， 得到两幅静脉纹 理图像， 具体包括： 采用最大曲率算法分别从两幅所述增强图像中提取手部静脉的中心点， 得到两幅静脉 中心点图像； 将每幅所述静脉中心点图像中的所有手部静脉的中心点进行连接， 得到两幅静脉连接 图像； 对两幅所述静脉 连接图像分别进行二 值化处理， 得到两幅静脉纹 理图像。 5.根据权利要求2所述的融合深度信 息的手部静脉识别方法， 其特征在于， 所述将所述权　利　要　求　书 1/3 页 2 CN 115359549 A 2样本数据集中的样本三通道图像分别输入至孪生胶 囊网络中进行特征参数提取， 得到对应 的样本特 征参数， 具体包括： 对每幅所述样本三 通道图像分别进行 卷积运算， 得到对应的卷积结果； 对每个所述卷积结果分别进行胶囊切分， 得到对应的多个胶囊； 对每个所述胶囊分别进行一次非线性变换， 得到对应的变换 结果； 将每个所述变换 结果分别与权 重矩阵相乘， 得到对应的向量结果； 对每个所述向量结果分别进行聚类， 并将每一类的聚类中心分别作为 一个特征向量； 根据多个所述特 征向量分别确定每幅所述样本三 通道图像对应的特 征矩阵； 根据每个所述特 征矩阵分别计算每幅所述样本三 通道图像对应的样本特 征参数。 6.根据权利要求1所述的融合深度信 息的手部静脉识别方法， 其特征在于， 所述计算所 述待识别特征参数与各所述样本数据组对应的样本特征参数之 间的目标欧式距离， 具体包 括： 计算所述待识别特征参数与 所有样本特征参数之间的欧式距离， 得到多个样本欧式距 离； 对相同样本数据组的各 所述样本欧式距离计算平均值， 得到多个目标欧式距离 。 7.根据权利要求1所述的融合深度信 息的手部静脉识别方法， 其特征在于， 所述根据 各 所述目标欧氏距离确定所述目标图像组对应的个 体， 具体包括： 比较各所述目标欧式距离的大小， 确定最小欧式距离； 比较所述 最小欧式距离与设定阈值的大小； 若所述最小欧式距离大于或等于设定阈值， 则确定所述目标图像组不属于所述样本数 据集对应的个 体； 若所述最小欧式距离小于设定阈值， 则确定所述目标图像组属于所述样本数据集对应 的个体， 并确定所述目标图像组对应的个 体为所述 最小欧式距离对应的个 体。 8.一种融合深度信 息的手部静脉识别装置， 其特征在于， 所述装置采用如权利要求1 ‑7 中任意一项所述的方法实现， 所述装置包括： 静脉采集设备， 用于采集目标图像组； 所述目标图像组包括两幅具有视差的手部静脉 图像； 上位机， 与所述静脉采集设备 连接； 所述上位机包括： 静脉分割模块， 用于对两幅所述手部静脉图像分别进行预处理， 得到两幅静脉纹理图 像； 图像匹配模块， 用于将两幅所述静脉纹 理图像进行匹配， 得到一幅深度图像； 图像叠加模块， 用于将所述深度图像与两幅所述静脉纹理图像进行叠加， 得到一幅待 识别三通道图像； 特征参数提取模块， 用于将所述待识别三通道图像输入至特征参数提取模型中进行特 征参数提取， 得到待识别特 征参数； 目标欧式距离计算模块， 用于计算所述待识别特征参数与各所述样本数据组对应的样 本特征参数之间的目标欧式距离； 类别确定模块， 用于根据各 所述目标欧氏距离确定所述目标图像组对应的个 体。 9.根据权利要求8所述的融合深度信 息的手部静脉识别装置， 其特征在于， 所述静脉采权　利　要　求　书 2/3 页 3 CN 115359549 A 3