(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211272435.2 (22)申请日 2022.10.18 (71)申请人 兰州未来 新影文化科技 集团有限责 任公司 地址 730300 甘肃省兰州市兰州新区综合 保税区综合 服务楼B区121号 (72)发明人 杜华　王语堂　岳宗　赵朋飞　 (74)专利代理 机构 北京东方芊悦知识产权代理 事务所(普通 合伙) 11591 专利代理师 陈益奇 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/25(2022.01) G06V 10/44(2022.01) G06V 10/54(2022.01)G06V 10/77(2022.01) G06V 10/80(2022.01) G06V 40/18(2022.01) (54)发明名称 一种眼部图像生成系统及方法 (57)摘要 本发明属于换脸和数字人生成技术领域， 具 体为一种眼部图像生成系统及方法， 包括： 图像 预处理模块； 眼部特征点检测模块； 眼部区域提 取模块； 眼部区域变换模块； 眼球检测模块； 眼球 生成模块； 眼部融合模块； 眼部区域生成模块。 本 发明提出一种眼部图像生 成的系统及方法， 通过 眼部生理特征， 对眼部区域进行精细划分， 将眼 部区域分为不同子区域进行生 成， 提高眼部区域 生成的真实性和自然程度， 使 其能够适用于换脸 和数字人生成等应用领域。 可以实现真实人眼任 意视线方向的眼球图像生 成， 无需大量的数据和 计算即可实现眼球区域的生成； 对眼部不同区 域， 分区域处理， 并对眼部重要的眼球特征特别 做了处理， 能够使眼部整体效果真实。 权利要求书2页 说明书5页 附图1页 CN 115497147 A 2022.12.20 CN 115497147 A 1.一种眼部图像生成系统， 其特 征在于， 包括： 图像预处理模块， 用于获得第一眼部 图像和第二眼部 图像， 并对所述第一眼部 图像和 所述第二眼部图像进行 预处理后得到第三眼部图像和第四眼部图像； 眼部特征点检测模块， 用于对所述第三眼部图像和所述第四眼部图像进行特征点检 测， 提取所述第三眼部图像和所述第四眼部图像的眼部特 征点集； 眼部区域提取模块， 用于根据 所述第三眼部图像的眼部特征点集和所述第四眼部图像 的眼部特 征点集生成第三眼部区域图像和第四眼部区域图像； 眼部区域变换模块， 用于将所述第四眼部区域图像和所述第四眼部图像的眼部特征点 集变换到所述第一眼部图像坐标 空间中， 生成第五眼部变换图像和第五眼部变换图像的眼 部特征点集； 眼球检测模块， 用于提取所述第五眼部变换图像和所述第 一眼部图像的眼球区域及眼 球边界特 征点； 眼球生成模块， 用于根据所述第五眼部变换图像的眼球区域和所述眼球边界特征点生 成第五眼部变换图像的眼球区域； 眼部融合模块， 用于将第 一眼部图像的眼部区域和第五眼部变换图像的眼部区域进行 融合， 得到第六眼部融合图像； 眼部区域生成模块， 用于将第六眼球融合图像和第 一眼部图像进行纹理融合和边界处 理， 生成第七眼部生成图像。 2.根据权利要求1所述的一种 眼部图像生成系统， 其特征在于， 所述眼部区域提取模 块， 根据所述眼部特征点集确定眼部边界候选区域， 并利用图像处理方法确定眼部边界区 域。 3.根据权利要求1所述的一种 眼部图像生成系统， 其特征在于， 所述眼部区域提取模 块， 根据眼部特征点的不同物理含义， 确定眼部候选边界， 并根据图像的灰度特征和几何特 征优化候选边界。 4.根据权利要求1所述的一种 眼部图像生成系统， 其特征在于， 所述眼部区域变换模 块， 根据所述第三人脸图像和第四人脸图像的眼部特征点集和眼部边界区域， 将第四眼部 区域图像及所述第四眼部区域图像的眼部特 征点变换到所述第一眼部图像。 5.根据权利要求1所述的一种 眼部图像生成系统， 其特征在于， 所述眼部区域变换模 块， 基于特征点间的匹配关系进 行变换， 根据眼部区域的特征， 采用整体变换或根据特征点 进行分块变换。 6.根据权利要求1所述的一种眼部 图像生成系统， 其特征在于， 所述眼球检测模块， 将 所述第五眼部变换图像和所述第一眼部图像进行眼球区域检测， 根据眼部特征点集和图像 处理方法确定眼球准确边界区域和边界点。 7.根据权利要求1所述的一种眼部 图像生成系统， 其特征在于， 所述眼球检测模块， 利 用图像灰度信息、 图像几何信息或深度学习方法结合确定眼球的边界点。 8.根据权利要求2所述的一种眼部 图像生成系统， 其特征在于， 所述眼球生成模块， 利 用所述眼球边界点进行圆拟合， 对所述第五眼部变换图像眼球部分缺失像素进行像素插 值， 生成所述第五眼部变换图像的眼球区域。 9.一种眼部图像生成方法， 其特 征在于， 包括如下步骤：权　利　要　求　书 1/2 页 2 CN 115497147 A 21)获取第 一眼部图像和第 二眼部图像， 并对所述第 一眼部图像和所述第 二眼部图像进 行图像预处 理， 得到第三眼部图像和第四眼部图像； 2)分别对所述第三眼部图像和所述第四眼部图像进行眼部特征点检测， 获得所述第三 眼部图像和所述第四眼部图像的眼部特 征点集； 3)分别提取所述第三眼部图像和所述第四眼部图像的眼部区域， 形成第 三眼部区域图 像和第四眼部区域图像； 4)将所述第四眼部图像的眼部特征点集变换到所述第 一眼部图像坐标空间， 形成第五 眼部特征点集； 将所述第四眼部区域图像变换到所述第一眼部图像坐标空间， 形成第 五眼 部变换图像； 5)对所述第五眼部变换图像和所述第一眼部图像进行眼球区域检测， 得到所述第五眼 部变换图像和所述第一眼部图像的眼球区域及其 边界特征点； 6)根据所述第五眼部变换图像和所述第一眼部图像的眼球区域及其边界特征点， 生成 第五眼部变换图像的眼球区域； 7)将所述第五眼部变换图像生成的眼球区域和非眼球区域和第一眼部 图像进行图像 融合， 得到第六眼部融合图像； 8)将所述第六眼部 融合图像和所述第一眼部图像进行图像融合和边界处理， 得到所述 第七眼部生成图像。 10.根据权利要求9所述的一种眼部图像生成方法， 其特征在于， 所述图像预处理， 包括 图像画质增强， 图像分辨率增强， 人眼贴图正投影操作， 所述眼部特征点包括眼部内外轮廓 特征点、 眼球特征点、 瞳孔特征点、 视线追踪点， 视线追踪点是人眼视线方向的一种特征表 达， 利用视线追踪的特 征点描述人眼的视线方向信息 。权　利　要　求　书 2/2 页 3 CN 115497147 A 3