(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210379947.2 (22)申请日 2022.04.12 (71)申请人 广东工业大 学 地址 510090 广东省广州市番禺区大 学城 外环西路10 0号 (72)发明人 朱贤瑛　项颖　张文慧　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 专利代理师 彭东梅 (51)Int.Cl. G06V 20/59(2022.01) G06V 40/18(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G08B 7/06(2006.01) G08B 21/06(2006.01) (54)发明名称 一种基于视觉特征、 方向盘操作检测并主动 干预的制止疲劳驾驶方法 (57)摘要 本发明公开一种基于视觉特征、 方向盘操作 检测并主动干预的制止疲劳驾驶方法。 其包括采 集驾驶员的面部状态和方向盘转动信息， 使用 SSD卷积网络模型对驾驶员的眼睛状态进行识 别， 再通过识别到的面部特征和方向盘转动信 息， 预估驾驶员当前的疲劳状态。 若判断驾驶员 进入疲劳状态， 则汽车进入疲劳干预模式， 以降 低疲劳驾驶带来的风险。 本发明采用SSD卷积网 络模型实现驾驶员面部信息的提取和识别， 通过 汽车CAN总线采集方向盘转动信息， 为疲劳检测 模型增加视觉特征和驾驶行为特征作为输入因 素； 因此具有较高的识别准确率和抗客观环境干 扰的能力。 本发 明同时通过特殊的汽 车疲劳干预 驾驶模式， 达 到缩短驾驶员疲劳时间段的目的。 权利要求书2页 说明书6页 附图3页 CN 114973212 A 2022.08.30 CN 114973212 A 1.基于视觉特征、 方向盘操作检测并主动干预的制止疲劳驾驶方法， 其特征在于： 采集 驾驶员的面部状态和方向盘转动信息， 使用SSD卷积网络模型对驾驶员的眼睛和嘴巴状态 进行识别， 再通过识别到的面部特征和方向盘转动信息， 预估驾驶员当前的疲劳状态； 若判 断驾驶员进入疲劳状态， 则汽车进入疲劳干预模式， 以降低疲劳驾驶带来的风险。 2.根据权利要求1所述的方法， 其特 征在于： 具体包括以下步骤： S1.将适用于人眼状态标定的数据集FDDB， 载入可视化标注工具LabelImg， 对数据 集中 图片中的人眼状态进行切分、 标注， 保存， 并将其按照3:1随机分配成训练集、 测试集数据； S2.根据数据集规模和输出要求构建SSD神经网络模型， 应用S1中的训练数据集进行训 练进一步应用测试 数据集对此模型进行测试检验； S3.通过汽车驾驶侧A柱上的摄像头采集驾驶员图像， 并输入至步骤S2中的SSD神经网 络模型， 得到人眼状态检测结果； S4.采用汽车CAN总线中的方向盘转角信息和转角速度信息， 计算并输出E时间窗内方 向盘转角幅值标准差和零速百分比值； S5.将通过步骤S3中的SSD神经网络模型处理的输出值和步骤S4中的输出值， 输入至D ‑ S证据融合模型中， 输出 结果以信任概 率形式表达， 作为判断司机疲劳驾驶的依据； S6.将通过步骤S5中的D ‑S证据融合模型的输出值进行评估， 评定驾驶员当前状态， 若 得到确定值， 则汽车进入疲劳干预模式， 且根据疲劳程度， 进行不同深度的干预动作。 3.根据权利要求2所述的方法， 其特征在于： 步骤S1中所述训练和测试数据集的要求 是： 包含清醒状态和疲劳状态数据量占比为1:1； 包含特殊工况如面部遮挡、 脱离检测视野 等数据。 4.根据权利 要求2所述的方法， 其特征在于： 步骤S2中所述构建SSD神经网络模型是:针 对于步骤S2得到的数据集规模构建多个卷积层， 具体步骤如下： 通过迁移学习方法， 将 VGG16卷积网络模型结构修 改后作为SSD预训练模型： 网络训练输入图像大小为300 ×300， 将池化层由2 ×2调整为3 ×3， 同时把两个全连接层改为3 ×3卷积层和1 ×1卷积层， 再添加 四个卷积层用以生成不同尺度的特 征图。 5.根据权利要求2所述的方法， 其特征在于： 步骤S2中所述训练SSD神经网络模型是将 步骤S1中的训练数据集放入构建好的SSD神经网络模型中进行训练， 通过梯度下降法不断 调整权重和偏 置， 使loss函数最 终波动在误差允许范围[1.1 ‑2.6]内， 此时即生 成了适宜的 SSD神经网络模型。 6.根据权利要求2所述的方法， 其特征在于： 步骤S2中所述测试是将测试数据集放入生 成的SSD神经网络模型中进行检测， 检验测试效果； 若测试得到的误差， 在训练误差周围波 动， 即测试效果良好； 反 之， 则进一 步调整SSD神经网络模型的结构或参数。 7.根据权利要求2所述的方法， 其特征在于： 步骤S4中采集方向盘转动信息是通过汽车 OBD接口连接CAN总线， 100ms抓取一次总线上的CAN报文， 并计算1s内转向角度的零速百分 比和标准差： 其中， N为样本中采样点数， SAi为方向盘转角， SAm的计算公式如下：权　利　要　求　书 1/2 页 2 CN 114973212 A 28.根据权利要求2所述的方法， 其特征在于： 步骤S5中所述D ‑S证据融合模型是将步骤 S3和步骤S4中的输出值分别定为样 本证据1和样 本证据2， 给样本证据1和2设置基本概率函 数m1、 m2， 再通过如下Dempster组合 规则， 得到融合之后的疲劳概 率函数 其中， K是归一化常数， 取值范围(0,1)。 9.据权利要求8所述的方 法， 其特征在于： 所述疲劳概率函 数 即为综合眼部 状态和转向盘转动参数的结果判定是否疲劳的参数， 其中， K是归一化常数， 取值范围(0,1) 10.根据权利要求2所述的方法， 其特征在于： 步骤S6中车载疲劳监测模块判断驾驶员 为轻度疲劳， 在CAN总线发出进入轻度疲劳干预指令， 整车各模块收到指令后， 均进入该模 式： 空调自动降低温度、 增大风量， 调节车内空气环境； 仪表点亮报警图标， 并持续闪烁； 多 媒体进行语音报警； 判断为重度疲劳， 疲劳监测模块在CAN总线发出进入轻度疲劳干预指 令， 整车各模块收到指令后： 自适应巡航模块结合当前路况和周围车况， 自适应降低车速； 地图自动导 航最近的停车位或休息区。权　利　要　求　书 2/2 页 3 CN 114973212 A 3