(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210469762.0 (22)申请日 2022.04.30 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市下沙高教园区 (72)发明人 李竹　杨家玉　刘圆圆　陆康　 林宏伟　陈锟剑　陈冲　 (74)专利代理 机构 浙江永鼎律师事务所 3 3233 专利代理师 陆永强 (51)Int.Cl. G06V 30/19(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于连续卷积SPP网络的手写笔迹识别 系统 (57)摘要 本发明公开了一种基于连续卷积SPP网络的 手写笔迹识别系统， 输入 单元、 预处理单元、 智能 识别单元和输出单元依次连接， 所述用户端的输 出与输入单元连接， 输出单元的输出与云端和用 户端连接， 云端还与预处理单元和 智能识别单元 连接； 输入单元的输入为手绘图像数据； 所述预 处理单元进行平滑去噪、 二值化和裁剪； 所述智 能识别单元对连续卷积SPP网络模型进行预训 练、 分析和模型投票， 得到识别结果； 所述输 出单 元将识别结果分别发送给用户端和云端。 本发明 除了可以提取螺旋线笔迹震颤特征， 也可以同时 提取螺旋线匝间距变化和形状特征， 同时对多种 类型震颤 手绘图进行分类 。 权利要求书2页 说明书5页 附图2页 CN 115035536 A 2022.09.09 CN 115035536 A 1.一种基于连续卷积SPP网络的手写笔迹识别系统， 其特征在于， 包括输入单元、 预处 理单元、 智能识别单 元、 输出单元、 用户端和云端， 其中， 所述输入单元、 预处理单元、 智能识别单元和输出单元依次连接， 所述用户端的输出与 输入单元连接， 输出单元 的输出与云端和用户端连接， 云端还与预处理单元和智能识别单 元连接； 所述输入单元的输入为手绘图像数据； 所述预处理单元进行平滑去噪、 二值化和裁剪； 所述智能识别 单元对连续卷积SPP网络模型进行预训练、 分析和模型投票， 得到识别结果； 所述输出 单元将识别结果分别发送给用户端和云端。 2.根据权利要求1所述的系统， 其特征在于， 所述输入单元将手绘图像数据处理为阿基 米德螺旋线图像。 3.根据权利要求1所述的系统， 其特征在于， 所述预处理单元包括滤波模块、 二值化模 块和分区模块， 其中， 滤波模块对图像进 行平滑去噪， 二值化模块根据笔迹的色彩范围将滤 波后的图像进行二 值化， 分区模块裁 剪原螺旋线图像为左上、 左下、 右上和右下四部分。 4.根据权利要求3所述的系统， 其特 征在于， 所述 二值化模块的二 值公式为： 式中， F代表原图像， Ni(F)代表更新后的图像， Ri(F)、 Gi(F)、 Bi(F)分别代表F中第 i个像 素的红、 绿、 蓝三 通道的值。 5.根据权利要求1所述的系统， 其特征在于， 所述连续卷积SPP网络模型包括输入层、 连 续卷积层、 池化层、 S PP空间金字塔池化层和全连接层。 6.根据权利要求5所述的系统， 其特征在于， 所述智能识别单元将 获取的阿基米德螺旋 线图像进行 标注， 不同的种类使用数字 0， 1， 2，…， n作为标签； 将标注好的图像按照一定的比例分为训练集、 验证集和 测试集； 搭建连续卷积S PP网络模型； 将带标签的训练集和验证集放进输入端， 进行多尺寸训练后得到输出结果， 根据各局 部特征训练不同的模型； 通过损失函数计算Loss值， 反向传播更新网络权重， 损失函数采用交叉熵损失函数， 其 计算公式为： H(p， q)＝ ‑∑ipilog2qi 其中， p代表图像的真实值， 即原标签的概率分布， q代表模型预测值， 即预测的标签概 率分布； 根据训练集大小调整迭代次数 epoch， 重复训练直至模型收敛。 7.根据权利要求1所述的系统， 其特征在于， 所述连续卷积SPP网络模型包括输入层、 2 个连续卷积模块、 SPP空间金字塔池化层和全连接层， 其中， 2个连续卷积模块包括模块A和 模块B， 模块A最后一层为最大池化层； 在 模块A中， 设置i层连续的卷积层， i的取值大小根据 手绘图像的复杂程度改变， 在模块B中， 搭建固定的三层连续卷积结构， 模块B后连接SPP空 间金字塔池化层， SPP空间金字塔池化层由三个尺寸分别为4 ×4、 2×2、 1×1的并行池化层权　利　要　求　书 1/2 页 2 CN 115035536 A 2组成， 将来自前一层的图像延展为固定长度的全连接层输入； 无论输入的图像尺寸为多大， 全连接层的运 算过程不变， 卷积层和池化层核均采用ReLU激活函数。 8.根据权利要求7所述的系统， 其特征在于， 所述智能识别单元对连续卷积SPP网络模 型的训练包括： S301： 数据库 中的带标签数据随机按8∶1∶1的比例划分为训练集、 验证集和测试集， 网 络输入层缩放训练集到多个尺 寸： 180×180、 224×224、 360×360， 单位为像素， 当原始图像 小于统一大小时， 使用双线性插值法放大图像， 公式为： P(x， y)＝P(x1， y1)(1‑x)(1‑y)+P(x2， y1)x(1‑y)+P(x1， y2)(1‑x)y+P(x2， y2)xy 式中， (x1， y1)、 (x2， y1)、 (x1， y2)和(x2， y2)代表需要插值的点最近邻的四个点， P(x， y)代 表在像素坐标系中横坐标为x、 纵坐标为y的点的像素值； S302： 训练集的多尺寸图像输入网络， 得到对应的输出结果。 根据交叉熵损失函数计算 损失值， 针对多分类的公式为： 式中， M代表类别总数； N代表一个训练批次的样本数； p(xij)表示该类别和样本i类别是 否相同， 相同为1， 不同为0； q(xij)表示对于观测样本i属于类别j的预测概 率； S303： 初始化学习率lr＝0.00001， 训练过程中使用反向传播进行参数更新， 使用Adam 算法对模型进行优化， 根据以下三种情况进行反向传播 算法的计算： 1)当前层为全连接层， δi， l＝(Wl+1)Tδi， l+1⊙σ′(zi， l) 2)当前层为卷积层， δi， l＝ δi， l+1*rot180(Wl+1)⊙σ′(zi， l) 3)当前层为池化层， δi， l＝upsample( δi， l+1)⊙σ′(zi， l) 反向传播计算中， δi， l代表第1层的梯度， δi， l+1代表1+1层的梯度， Wl+1代表第l+1层的权 重， zi， l为第l层的第i张图片的中间输出 结果， ReLU激活函数用 σ(z)表示； S304： 取epoch＝2000为基准， 根据训练集的扩大增 加epoch， 重复训练直至模型收敛。 9.根据权利要求8所述的系统， 其特征在于， 所述智能识别单元中对输入手绘图像的判 别概率不同， 取其中每 个种类输出的最高概 率为判别结果。 10.根据权利要求1所述的系统， 其特征在于， 所述智能识别单元将每个模型投票的结 果、 可视化特 征分析和最终的判别结论 通过输出 单元发送至用户端。权　利　要　求　书 2/2 页 3 CN 115035536 A 3