(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111545040.0 (22)申请日 2021.12.16 (71)申请人 阿里巴巴 （中国） 有限公司 地址 310052 浙江省杭州市滨江区长河街 道网商路69 9号4号楼5楼5 08室 (72)发明人 王云峰　陈志文　 (74)专利代理 机构 北京太合九思知识产权代理 有限公司 1 1610 代理人 刘戈　柴艳波 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/40(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06N 20/00(2019.01) (54)发明名称 图像处理方法、 虚拟形象处理方法、 图像处 理系统及设备 (57)摘要 本申请实施例提供一种图像处理方法、 虚拟 形象处理方法、 图像处理系统及设备。 本申请实 施例的技术方案在识别第一图像中第一对象的 动作、 并确定第二图像中第二对象的特征点信息 后， 根据第一对象的动作信息及第二对象的特征 点信息， 对第二图像进行第二对象所属类型对应 的图像处理， 以得到第二对象具有对应动作的目 标图像。 可见， 在本实施例中不同类型的对象， 其 对应的图像处理方式会不同， 这样 便可基于第一 对象的动作驱动各种类型的第二对象做出相应 动作， 适用范围更广。 另外， 本申请实施例中确定 第二图像中第二对象的特征点信息的过程可预 先执行， 即离线执行； 在线处理时再调用； 整个方 案可在客户端上运行， 对客户端的硬性性能要求 不高， 效率高。 权利要求书3页 说明书15页 附图9页 CN 114333051 A 2022.04.12 CN 114333051 A 1.一种图像处 理方法， 其特 征在于， 包括： 获取第一图像； 识别所述第一图像中第一对象的动作， 得到动作信息； 确定第二图像、 所述第二图像中的第二对象、 所述第二对象所属类型及所述第二对象 的特征点信息； 根据所述动作信 息及所述第 二对象的特征点信 息， 对所述第 二图像进行第 二对象所属 类型对应的图像处 理， 以得到第二对象具有对应动作的目标图像。 2.根据权利要求1所述的方法， 其特征在于， 确定第 二图像中第 二对象所属类型及所述 第二对象的特 征点信息， 包括： 对所述第二图像进行图像识别， 以识别所述第二对象所属类型； 所述第二对象所属类型为具有肢体的第 一类型时， 确定所述第 二对象的关节点并获取 关节点信息； 其中， 所述特 征点信息包括所述关节点信息； 所述第二对象所属类型为无肢体的第二类型时， 确定第一锚点并获取第一锚点信息， 其中， 所述特征点信息包括所述第一锚点信息， 所述第一锚点用于定位所述第二对 象上构 建肢体的位置 。 3.根据权利要求2所述的方法， 其特 征在于， 还 包括： 所述第二对象所属类型为具有肢体的第一类型时， 对所述第二对象的像素点进行采 样， 得到采样点信息； 其中， 所述特 征点信息还 包括采样点信息 。 4.根据权利要求2所述的方法， 其特 征在于， 还 包括： 所述第二对象所属类型为无肢体的第二类型时， 判定所述第二对象是否 头身分离； 所述第二对象头身分离时， 确定第二锚点并获取第二锚点信息； 其中， 所述特征点信息还包括所述第二锚点信息， 所述第二锚点用于定位所述第二对 象的头部与躯干的连接位置 。 5.根据权利要求1至4中任一项所述的方法， 其特征在于， 识别所述第一图像中第一对 象的动作， 得到动作信息， 包括： 对所述第一图像进行图像数据轻量 化处理， 以降低所述第一图像的图像数据量； 将处理后的所述第 一图像的图像数据输入姿态估计模型， 执行所述姿态估计模型输出 反映姿态的关键点热度图及关键点关系信息； 基于所述关键点热度图， 计算所述第一图像中第一对象的关键点 位置； 根据所述关键点关系信息， 对所述关键点 位置进行优化； 其中， 所述动作信息包括优化后的所述关键点 位置。 6.根据权利要求5所述的方法， 其特征在于， 所述第一图像为视频中的一帧图像， 以及 所述方法还 包括： 获取所述视频中所述第一图像之前的历史帧图像； 根据所述历史帧图像中关键点 位置， 对所述动作信息进行平 滑处理。 7.根据权利要求1至4中任一项所述的方法， 其特征在于， 根据所述动作信息及所述第 二对象的特征点信息， 对所述第二图像进行所述第二对 象所属类型对应的图像处理， 以得 到所述第二对象具有对应动作的目标图像， 包括：权　利　要　求　书 1/3 页 2 CN 114333051 A 2所述第二对象所属类型为具有肢体的第 一类型时， 根据 所述动作信 息及所述第 二对象 的特征点信息， 计算所述第二对 象依据所述动作信息变换后的特征点信息； 按照计算出 的 特征点信息， 对所述第二图像中第二对 象的像素点进行调整， 以得到所述第二对 象具有对 应动作的目标图像； 所述第二对象所属类型为无肢体的第二类型时， 依据所述第二对象的特征点信息， 在 所述第二图像上确定肢体构建位置； 基于所述动作信息， 对所述第二图像中第二对 象的像 素点进行调整， 并在所述第二图像上 的所述肢体构建位置处构建所述第二对 象的肢体， 以 得到所述第二对象具有对应动作的目标图像。 8.一种图像处 理方法， 其特 征在于， 包括： 响应于用户的操作， 确定第一图像； 识别所述第一图像中第一对象的动作， 得到动作信息； 获取第二图像、 预标定的所述第 二图像中第 二对象的特征点信 息及所述第 二对象所属 类型； 根据所述动作信 息及所述第 二对象的特征点信 息， 对所述第 二图像进行所述第 二对象 所属类型对应的图像处 理， 以得到所述第二对象具有对应动作的目标图像； 显示所述目标图像。 9.根据权利要求8所述的方法， 其特征在于， 获取第二图像、 预标定的所述第二图像中 第二对象的特 征点信息及所述第二对象所属类型， 包括： 响应于用户的图像选择操作， 确定选出的所述第 二图像及所述第 二图像中所述第 二对 象所属类型； 针对所述第二图像向服 务端发送请求； 接收所述 服务端反馈的预 标定的所述第二图像中第二对象的特 征点信息 。 10.一种图像处 理方法， 其特 征在于， 响应于用户的操作， 获取第一视频； 识别所述第一视频的图像帧中第一对象的动作， 得到图像帧的动作信息； 确定第二对象的图像、 所述第二对象所属类型及所述第二对象的特 征点信息； 根据所述第 一视频的图像帧的动作信 息及所述第 二对象的特征点信 息， 对所述第 二对 象的图像进行所述第二对象所属类型对应的图像处理， 以得到所述图像帧对应的第二对象 图像帧； 按照所述第一视频中图像帧的顺序， 播放连续图像帧分别对应的第二对象图像帧， 以 展示所述第二对象具有对应连续动作的第二视频。 11.一种虚拟形象处 理方法， 其特 征包括： 获取用户图像； 识别所述用户图像中用户动作， 得到动作信息； 确定虚拟形象、 所述虚拟形象的特 征点信息及所述虚拟形象所属类型； 根据所述动作信 息及所述虚拟形 象的特征点信 息， 利用所述虚拟形 象所属类型对应的 驱动算法驱动所述虚拟形象动作， 以得到所述虚拟形象具有对应动作的目标图像。 12.一种图像处 理系统， 其特 征在于， 包括： 服务端， 用于预 标定第二图像中第二对象的特 征点信息；权　利　要　求　书 2/3 页 3 CN 114333051 A 3