(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210934770.8 (22)申请日 2022.08.04 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518057 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 王赟豪　余亭浩　陈少华　刘浩　 侯昊迪　 (74)专利代理 机构 北京三高永信知识产权代理 有限责任公司 1 1138 专利代理师 祝亚男 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/46(2022.01)G06V 10/44(2022.01) G06V 10/42(2022.01) (54)发明名称 内容识别方法、 装置、 设备、 存储介质及计算 机程序产品 (57)摘要 本申请公开了一种内容识别方法、 装置、 设 备、 存储介质及计算机程序产品， 涉及机器学习 领域。 该方法包括： 获取待识别图像， 待识别图像 中包括目标识别内容， 目标识别内容中包括目标 关键点； 提取待识别图像中与目标识别内容对应 的内容特征表 示； 对内容特征表 示进行特征下采 样， 得到候选局部特征表示； 将对目标关键点提 取得到的关键点特征表示和候选局部特征表示 进行特征拼接， 得到局部特征表示； 基于全局特 征表示和局部特征表示对待识别图像中的目标 识别内容进行识别， 得到内容识别结果。 也 即， 通 过特征拼接的方式得到局部特征表 示， 并结合局 部特征表示和全局特征表示对目标识别内容进 行识别， 提高 内容识别的准确度。 权利要求书3页 说明书18页 附图8页 CN 115272768 A 2022.11.01 CN 115272768 A 1.一种内容识别方法， 其特 征在于， 所述方法包括： 获取待识别图像， 所述待识别图像中包括目标识别内容， 所述目标识别内容在所述待 识别图像中对应目标关键点， 所述目标关键点是基于所述待识别图像中像素点分布规律提 取得到的关键点； 提取所述待识别图像中与所述目标识别内容对应的内容特 征表示； 对所述内容特征表示进行池化处理， 得到全局特征表示； 以及， 对所述内容特征表示进 行特征下采样， 得到候选局部特 征表示； 将对所述目标关键点提取得到的关键点特征表示和所述候选局部特征表示进行特征 拼接， 得到局部特 征表示； 基于所述全局特征表示和所述局部特征表示对所述待识别图像中的所述目标识别 内 容进行识别， 得到内容识别结果， 所述内容识别结果用于指示所述 目标识别内容对应的类 别。 2.根据权利要求1所述的方法， 其特征在于， 所述对所述内容特征表示进行特征下采 样， 得到候选局部特 征表示， 包括： 对所述内容特 征表示进行稀疏采样， 得到稀疏采样结果； 对所述稀疏采样结果进行池化处 理， 得到所述 候选局部特 征表示。 3.根据权利要求2所述的方法， 其特征在于， 所述池化处理包括平均池化处理、 最大池 化处理或者广义均值池化处 理中任意 一种。 4.根据权利要求2所述的方法， 其特征在于， 所述对所述稀疏采样结果进行池化处理， 得到所述 候选局部特 征表示， 包括： 对所述稀疏采样结果进行平均池化处 理， 得到第一局部特 征表示； 对所述稀疏采样结果进行最大池化处 理， 得到第二局部特 征表示； 对所述稀疏采样结果进行广义均值池化处 理， 得到第三局部特 征表示； 将所述第一局部特征表示、 所述第 二局部特征表示和所述第 三局部特征表示进行特征 拼接， 得到所述 候选局部特 征表示。 5.根据权利要求1至4任一所述的方法， 其特征在于， 所述将对所述目标关键点提取得 到的关键点特 征表示和所述 候选局部特 征表示进行 特征拼接， 得到局部特 征表示， 包括： 通过关键点 提取算法提取与所述目标关键点对应的关键点特 征表示； 将所述候选局部特征表示和所述关键点特征表示进行特征拼接， 得到所述局部特征表 示。 6.根据权利要求1至4任一所述的方法， 其特征在于， 所述对所述内容特征表示进行池 化处理， 得到全局特 征表示， 包括： 对所述内容特 征表示进行广义均值池化处 理， 得到所述全局特 征表示。 7.根据权利要求1至4任一所述的方法， 其特征在于， 所述对所述内容特征表示进行池 化处理， 得到全局特 征表示， 包括： 对所述内容特 征表示进行平均池化处 理， 得到第一全局特 征表示； 对所述内容特 征表示进行最大池化处 理， 得到第二全局特 征表示； 对所述内容特 征表示进行广义均值池化处 理， 得到第三全局特 征表示； 将所述第一全局特征表示、 所述第 二全局特征表示和所述第 三全局特征表示进行特征权　利　要　求　书 1/3 页 2 CN 115272768 A 2拼接， 得到所述全局特 征表示。 8.根据权利要求1至4任一所述的方法， 其特征在于， 所述提取所述待识别图像中与所 述目标识别内容对应的内容特 征表示， 包括： 将所述待识别图像输入内容识别模型， 输出得到候选特征表示， 其中， 所述内容识别模 型用于对所述待识别图像进行深层特 征提取； 从所述候选特征表示中确定与所述目标识别内容对应的内容特 征表示。 9.根据权利要求8所述的方法， 其特征在于， 所述从所述候选特征表示中确定与所述目 标识别内容对应的内容特 征表示， 包括： 对所述待识别图像进行显著性检测， 确定所述待识别图像中与 所述目标识别内容对应 的目标区域； 基于所述目标区域对所述 候选特征表示进行区域分析， 得到所述内容特 征表示。 10.根据权利要求1至4任一所述的方法， 其特征在于， 所述基于所述全局特征表示和所 述局部特征表示对所述待识别图像中的所述 目标识别内容进行识别， 得到内容识别结果， 包括： 获取内容类别库， 所述内容类别库中包括预 先设定的n个 类别的集 合， n为正整数； 将所述全局特征表示与所述内容类别库中的n个类别分别进行匹配， 得到所述内容类 别库中与所述全局特 征表示匹配的k个候选类别， 0＜k＜n且k 为整数； 基于所述局部特 征表示对所述 k个候选类别进行类别排序， 得到类别排序结果； 根据所述类别排序结果， 得到所述目标识别内容对应的目标类别。 11.根据权利要求10所述的方法， 其特征在于， 所述将所述全局特征表示与 所述内容类 别库中的n个类别分别进 行匹配， 得到所述内容类别库中与所述全局特征表示匹配的k个候 选类别， 包括： 将所述全局特征表示与所述内容类别库中的n个类别分别进行匹配， 得到所述n个类别 分别对应的全局匹配分数， 所述全局匹配分数用于指示所述目标识别内容属于所述类别的 概率； 将所述n个类别分别对应的全局匹配分数进行排序， 得到匹配度排序结果； 将匹配度排序结果中前k个 类别， 作为与所述全局特 征表示匹配的k个候选类别。 12.一种内容识别装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取待识别图像， 所述待识别图像 中包括目标识别内容， 所述目标识别 内容在所述待识别图像中对应目标关键点， 所述目标关键点是基于所述待识别图像中像素 点分布规 律提取得到的关键点； 提取模块， 用于提取 所述待识别图像中与所述目标识别内容对应的内容特 征表示； 处理模块， 用于对所述内容特征表示进行池化处理， 得到全局特征表示； 以及， 对所述 内容特征表示进行 特征下采样， 得到候选局部特 征表示； 拼接模块， 用于将对所述目标关键点提取得到的关键点特征表示和所述候选局部特征 表示进行 特征拼接， 得到局部特 征表示； 识别模块， 用于基于所述全局特征表示和所述局部特征表示对所述待识别图像中的所 述目标识别内容进行识别， 得到内容识别结果， 所述内容识别结果用于指示所述 目标识别 内容对应的类别。权　利　要　求　书 2/3 页 3 CN 115272768 A 3