(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210995332.2 (22)申请日 2022.08.19 (71)申请人 中国民航大 学 地址 300300 天津市东 丽区津北公路2898 号 (72)发明人 王瑞祥　钟航宇　贾岚浩　苏士豪　 隋潇童　郭晓睿　马龙　裴昕　 (74)专利代理 机构 合肥昕华汇联专利代理事务 所(普通合伙) 34176 专利代理师 祁娜 (51)Int.Cl. G06V 20/59(2022.01) G06V 40/16(2022.01) G06V 40/18(2022.01) G06V 10/30(2022.01)G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/55(2017.01) (54)发明名称 基于光度立体视觉三维重建的人脸疲劳分 析方法 (57)摘要 本发明公开了基于光度立体视觉三维重建 的人脸疲 劳分析方法， 包括以下步骤： 步骤一、 采 集多幅被测人二维面部图像； 步骤二、 将被测人 二维面部图像合成被测人面部的三维精细特征 图像； 步骤三、 确定被测人二维面部图像中眼睛 的位置， 并将黑眼圈部分分离 出来； 步骤四、 提取 彩色人脸图像中斑点的二维坐标， 并用二维坐标 找到对应的面部三维精细特征矩阵Z； 步骤五、 去 除眼部灰度图像过暗和过亮的区域， 再使用 Frangi滤波得到红色的眼部血丝图像； 步骤六、 预测被测人的工作时间。 本发明本发 明使用每个 被测人不同时间的疲劳特征和工作时间数据训 练BP神经网络， 降低了因被测人体质不同， 导致 疲劳特征和工作时间的对应关系也不同的可能 性。 权利要求书1页 说明书6页 附图5页 CN 115331208 A 2022.11.11 CN 115331208 A 1.基于光度立体视 觉三维重建的人脸 疲劳分析方法， 其特 征在于， 包括以下步骤： 步骤一、 采集多幅被测人二维面部图像； 步骤二、 将被测人二维面部图像合成被测人面部的三维精细特 征图像； 步骤三、 确定被测人二维面部图像中眼睛的位置， 并将黑眼圈部分 分离出来； 步骤四、 提取彩色人脸图像中斑点的二维坐标， 并用二维坐标找到对应的面部三维精 细特征矩阵Z； 步骤五、 去除眼部灰度图像过暗和过亮 的区域， 再使用Frangi滤波得到红色的眼部血 丝图像； 步骤六、 预测被测人的工作时间。 2.根据权利要求1所述的基于光度立体视觉三维重建的人脸疲劳分析方法， 其特征在 于： 所述步骤一中的采集多幅被测人二维面部图像， 为在不同LED灯源照射作用下拍摄到 的。 3.根据权利要求1所述的基于光度立体视觉三维重建的人脸疲劳分析方法， 其特征在 于： 所述步骤二中的三维精细特征图像为通过光度立体视觉算法将 被测人的多幅二 维面部 图像合成所 得。 4.根据权利要求1所述的基于光度立体视觉三维重建的人脸疲劳分析方法， 其特征在 于： 所述步骤三中， 使用Adaboost分类算法和带积分图的Haar ‑like特征找到拍摄得到的被 测人二维面部图像中眼睛的位置， 并使用聚类算法将黑眼圈部分分离出来， 计算并储存黑 眼圈区域和非黑眼圈区域中心点处的灰度差值C1。 5.根据权利要求4所述的基于光度立体视觉三维重建的人脸疲劳分析方法， 其特征在 于： 所述步骤四中， 使用高斯拉普拉斯算子提取彩色人脸图像中斑点的二 维坐标， 并用二 维 坐标找到对应的面部三 维精细特征矩阵Z， 使用奇异 值分解的方法得到量化的噪声信息， 若 噪声信息大于设定值， 则可判定该斑点 为面部缺陷， 记数量 为N。 6.根据权利要求5所述的基于光度立体视觉三维重建的人脸疲劳分析方法， 其特征在 于： 所述步骤五中， 采用阈值法去除眼部灰度图像过暗和过亮的区域， 再使用Frangi滤波得 到红色的眼部血丝图像， 与眼睛的大小相比较得到比值C3。 7.根据权利要求6所述的基于光度立体视觉三维重建的人脸疲劳分析方法， 其特征在 于： 所述步骤六中， 将C1、 N、 C3代入预设的经验公式或将C1、 N、 C3输入已经训练好的BP神经 网 络模型可预测被测人的工作时间。权　利　要　求　书 1/1 页 2 CN 115331208 A 2基于光度立 体视觉三维重建的 人脸疲劳分析方 法 技术领域 [0001]本发明涉及人脸疲劳度分析技术领域， 具体为基于光度立体视觉三维重建的人脸 疲劳分析方法。 背景技术 [0002]光度立体视觉(Photometric  Stereo)技术是一种被动式的单一视角测量方法， 基 于不同方向的光源条件下被测物体图像的阴影信息、 亮度信息和反射信息， 从而重建被测 物体的面部三 维精细特征。 因光度立体视觉具有重 建精度高、 价格低廉等优势， 因此已被广 泛引用于医学治疗、 文物保护、 游戏开发及人脸重 建等领域。 光度立体视觉技术可以重 建出 被测物体的面部三维精细特 征， 因此可以为疲劳分析问题的求 解提供更多的信息 。 [0003]疲劳风险的预测问题的求解方法一般是分析被测人的面部视频信息来检测被测 人的疲劳状态， 该方法已被广泛应用于实时检测驾驶员 在驾驶过程中的疲劳情况。 因为驾 驶员在处于疲劳状态时其面部会出现可视化的疲劳特征如瞳孔大小和视线方向的变化、 头 部位姿和 面部表情的变化、 眨眼睛和打 哈欠等人脸五官运动的时序信息变化等， 所以通过 视频监测如上视觉特征可以分辨出驾驶员驾驶时的疲劳状态。 但这样的方法需要摄像装置 实时检测驾驶员脸部疲劳特征， 既容易受室外环 境中复杂光照的影响而 无法提取到驾驶员 面部的疲劳特 征信息， 又 无法预测驾驶员的疲劳情况， 有一定的局限性。 发明内容 [0004]本发明的目的在于提供基于光度立体视觉三维重建的人脸疲劳分析方法， 以解决 上述背景技 术中提出的问题。 [0005]为实现上述目的， 本发明提供如下技术方案： 基于光度立体视觉三维重建的人脸 疲劳分析方法， 包括以下步骤： [0006]步骤一、 采集多幅被测人二维面部图像； [0007]步骤二、 将被测人二维面部图像合成被测人面部的三维精细特 征图像； [0008]步骤三、 确定被测人二维面部图像中眼睛的位置， 并将黑眼圈部分 分离出来； [0009]步骤四、 提取彩色人脸图像中斑点的二维坐标， 并用二维坐标找到对应的面部三 维精细特 征矩阵Z； [0010]步骤五、 去除眼部灰度图像过暗和 过亮的区域， 再使用Frangi滤波得到红色的眼 部血丝图像； [0011]步骤六、 预测被测人的工作时间。 [0012]优选的， 所述步骤一中的采集多幅被测人二维面部图像， 为在不同LED灯 源照射作 用下拍摄到的。 [0013]优选的， 所述步骤二中的三维精细特征图像为通过光度立体视觉算法将被测人的 多幅二维面部图像合成所 得。 [0014]优选的， 所述步骤三中， 使用Adaboost分类算法和带积分图的Haar ‑like特征找到说　明　书 1/6 页 3 CN 115331208 A 3