(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210262232.9 (22)申请日 2022.03.16 (71)申请人 深圳数联天下智能科技有限公司 地址 518000 广东省深圳市南 山区粤海街 道高新区社区高新南七道20号深圳国 家工程实验室大楼B16 01 (72)发明人 陈仿雄　 (74)专利代理 机构 深圳市六加知识产权代理有 限公司 4 4372 专利代理师 孟丽平 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 训练试衣模 型的方法、 生 成试衣图像的方法 及相关装置 (57)摘要 本申请实施例涉及图像处理技术领域， 公开 了一种训练试衣模型的方法、 生成试衣图像的方 法及相关装置， 试衣网络包括衣服编码网络、 身 份编码网络和试衣图像生 成网络， 对训练集中衣 服图像中的衣服进行变形， 对训练集中真实试衣 图像进行掩模遮挡处理， 得到掩模图像。 采用衣 服编码网络对变形后的衣服图像进行特征提取 得到衣服特征编码， 采用身份编码网络对该掩模 图像进行特征提取， 得到身份特征图。 将衣服特 征编码和身份特征图输入试衣图像生成网络融 合， 得到预测试衣图像， 根据训练集中真实试衣 图像和预测试衣图像的差异， 对 试衣网络进行迭 代训练直至收敛， 得到试衣模型。 通过上述方式， 试衣模型能够使得试穿衣服和用户结合贴切， 试 衣效果真实自然。 权利要求书2页 说明书15页 附图8页 CN 114724004 A 2022.07.08 CN 114724004 A 1.一种训练试衣模型的方法， 其特征在于， 试衣 网络包括衣服编码网络、 身份编码网络 和试衣图像生成网络； 所述方法包括： 获取训练集， 所述训练集包括多个训练数据， 所述训练数据包括衣服图像和真实试衣 图像， 所述真实试衣图像包括模特穿有所述衣服图像中对应衣服的图像； 对所述衣服图像中的衣服按所述真实试衣图像中模特人体结构进行变形， 得到变形后 的衣服图像； 对所述真实试衣图像在所述衣服对应的区域进行掩 模遮挡处理， 得到掩 模图像； 采用所述衣服编码网络对所述变形后的衣服图像进行特征提取， 得到衣服特征编码， 以及， 采用所述身份编码网络对所述掩 模图像进行 特征提取， 得到身份特 征图； 将所述衣服特征编码和所述身份特征图输入所述试衣图像生成网络进行融合， 得到预 测试衣图像； 根据所述训练集中各所述真实试衣图像和各所述预测试衣图像的差异， 对所述试衣 网 络进行迭代训练， 直到所述试衣网络收敛， 得到所述试衣 模型。 2.根据权利要求1所述的方法， 其特征在于， 所述对所述衣服图像中的衣服按所述真实 试衣图像中模特 人体结构进行变形， 得到变形后的衣服图像， 包括： 采用衣服关键点检测算法对所述衣服图像进行关键点检测， 获取衣服关键点信息； 采用人体关键点检测算法对所述真实试衣图像进行关键点检测， 获取人体关键点信 息； 计算所述衣服关键点信息和所述人体关键点信息之间的仿射变化矩阵； 将所述衣服图像中的衣服像素按所述仿射变化矩阵进行仿射变化， 得到所述变形后的 衣服图像。 3.根据权利要求1所述的方法， 其特征在于， 所述对所述真实试衣图像在所述衣服对应 的区域进行掩 模遮挡处理， 得到掩 模图像， 包括： 采用人体解析算法对所述真实试衣图像进行部位 解析， 得到人体解析图； 根据所述人体解析图和所述衣服图像中衣服的类别， 确定掩 模矩阵； 将所述真实试衣图像和所述掩 模矩阵对应位置相乘， 得到所述掩 模图像。 4.根据权利要求1 ‑3任意一项所述的方法， 其特征在于， 所述试衣网络还包括纹理编码 网络， 在所述将所述衣服特征编码和所述身份特征图输入所述试衣图像生成网络进行融 合， 得到预测试衣图像之前， 还 包括： 采用所述纹理编码网络对所述衣服图像进行纹理特征提取， 得到至少一个纹理特征 图； 所述将所述衣服特征编码和所述身份特征图输入所述试衣图像生成网络进行融合， 得 到预测试衣图像， 包括： 将所述衣服特征编码、 所述身份特征图和所述至少一个纹理特征图输入所述试衣图像 生成网络进行融合， 得到所述预测试衣图像。 5.根据权利要求1 ‑3任意一项所述的方法， 其特征在于， 所述根据 所述训练集中各所述 真实试衣图像和各所述预测试衣图像的差异， 对所述试衣网络进行迭代训练， 直到所述试 衣网络收敛， 得到所述试衣 模型， 包括：权　利　要　求　书 1/2 页 2 CN 114724004 A 2采用损失函数计算所述训练集中各所述真实试衣图像和各所述预测试衣图像的差异， 其中， 所述损失函数包括所述真实试衣图像和所述预测试衣图像之间的对抗损失、 重构损 失和感知损失， 以及， 所述真实试衣图像对应的掩模图像和所述预测试衣图像对应的掩模 图像之间的掩 模损失； 根据所述差异， 对所述试衣 网络进行迭代训练， 直到所述试衣网络收敛， 得到所述试衣 模型。 6.根据权利要求5所述的方法， 其特 征在于， 所述损失函数包括： 其中， 为所述对抗损失， 为所述重构损失， 为所述感知损失， 为所 述掩模损失， α 为所述重构损失的权重， β 为所述 感知损失的权重， δ为所述掩模损失的权重， I为所述真实试衣图像， I ′为所述预测试衣图像， 为由所述真实试衣图像提取得到的 特征图， 为由所述预测试衣图像提取得到的特征图， P为所述 的个数或所述 的个数， MI为所述真实试衣图像对应的掩模图像， MI′为所述预测试衣图像对应的掩 模图像。 7.根据权利要求1所述的方法， 其特征在于， 在所述对所述真实试衣图像进行身份特征 提取， 得到身份特 征图之前， 还 包括： 对所述真实试衣图像进行填充处 理， 以使所述真实试衣图像的分辨 率满足预设比例。 8.一种生成试衣图像的方法， 其特 征在于， 包括： 获取待试衣服图像和用户图像； 对所述待试衣服图像中的衣服按所述用户图像中用户人体结构进行变形， 得到变形后 的待试衣服图像； 对所述用户图像在所述待试衣服对应的区域进行掩模遮挡处理， 得到用户的掩模图 像； 将所述变形后的待试衣服图像和所述用户的掩模图像输入试衣模型， 生成所述试衣图 像， 其中， 所述试衣 模型采用如权利要求1 ‑7中任意一项训练试衣 模型的方法训练得到 。 9.一种计算机设备， 其特 征在于， 包括： 至少一个处 理器， 以及 与所述至少一个处 理器通信连接的存 储器， 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处 理器执行， 以使所述至少一个处 理器能够执 行权利要求1 ‑8任一项所述的方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机可 执行指令， 所述计算机可执行指令用于使计算机设备执行如权利要求1 ‑8任一项所述的方 法。权　利　要　求　书 2/2 页 3 CN 114724004 A 3