(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210442640.2 (22)申请日 2022.04.25 (71)申请人 合众新能源 汽车有限公司 地址 314500 浙江省嘉兴 市桐乡市梧桐街 道同仁路98 8号 (72)发明人 陈远鹏　张军良　冷静　赵天坤　 (74)专利代理 机构 上海专利商标事务所有限公 司 31100 专利代理师 胡林岭 (51)Int.Cl. G06K 9/62(2022.01) G06N 3/04(2006.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) (54)发明名称 一种目标检测系统 (57)摘要 本发明公开了一种目标检测系统， 包括： 编 码模块， 被配置成将多视角图片映射到低维度的 特征空间。 该编码模块包括： 主干网络， 被配置成 对该多视角图片进行特征采集， 得到特征图； 多 相机融合模块,被配置成将该主干网络采集到的 多视角图片的特征融合在一起， 该多相机融合模 块包括对象检测查询模块和交叉注 意力解码器； 其中， 该对象检测查询模块用于初始化目标特征 得到查询向量(Query)； 该交叉注意力解码器根 据该查询向量(Query)对被查向量(Key)和内容 向量(Value)进行解码， 输 出有效的目标特征。 该 系统还包括解码模块， 被配置成将该特征空间映 射回该多视角图片的图像空间， 并输出针对多个 子任务的检测结果。 权利要求书2页 说明书9页 附图5页 CN 114781521 A 2022.07.22 CN 114781521 A 1.一种目标检测系统， 其特 征在于， 包括： 编码模块， 被 配置成将多视角图片映射到低维度的特 征空间， 该编码模块包括： 主干网络， 被 配置成对该多视角图片进行 特征采集， 得到特 征图； 多相机融合模块,被配置成将该主干网络采集到的多视角图片的特征融合在一起， 该 多相机融合模块包括对 象检测查询模块和交叉注意力解码器； 其中， 该对 象检测查询模块 用于初始化目标特征得到查询向量(Query)； 该交叉注 意力解码 器根据该查询向量(Query) 对被查向量(K ey)和内容向量(Value)进行解码， 输出有效的目标 特征； 解码模块， 被配置成将该特征空间映射回该多视角图片的图像空间， 并输出针对多个 子任务的检测结果。 2.如权利要求1所述的目标检测系统， 其特 征在于， 该解码模块包括： 共用单元， 依次包括多个特征解码模块和池化模块， 该共用单元的输入为该交叉注意 力解码器的输出； 多个子解码模块， 该共用单元的输出分别输入至该多个子解码模块， 其中， 每个子解码 模块对应该多个子任务中的一个子任务。 3.如权利要求1所述的目标检测系统， 其特征在于， 该查询向量(Query)、 该被查向量 (Key)和该内容向量(Value)三 者之间的关系如公式(1)所示： 其中， CrossAttention函数的数值即为该交叉注意力解码器输出的目标特征的数值， 该CrossAttention函数是由一系列的(Key， Value)数据对构成的； 此时给定目标中的某个 元素的查询向量(Query)， 则通过计算该查询向量(Query)和每个该被查向量(Key)的相似 性similarity函数， 得到每个该被查向量(Key)对应的该内容向量(Value)的权重系数， 并 最终得到该Cros sAttention函数的数值。 4.如权利要求1所述的目标检测系统， 其特征在于， 所述多视角图片为由多个摄像头同 时拍摄到的不同角度的图片。 5.如权利要求1所述的目标检测系统， 其特征在于， 该主干网络顺序依次包括第 一卷积 神经网络、 第二卷积神经网络、 池化单 元以及第三卷积神经网络 。 6.如权利要求5所述的目标检测系统， 其特征在于， 该第一卷积神经网络为7*7卷积神 经网络。 7.如权利要求5所述的目标检测系统， 其特征在于， 该第 二卷积神经网络包括由多个3* 3卷积神经网络通过跳跃 连接的方式组成的跳跃 连接组件。 8.如权利要求5所述的目标检测系统， 其特征在于， 该池化单元将所述第 二卷积神经网 络分割开的特 征聚合起来， 得到全局的特 征。 9.如权利要求5所述的目标检测系统， 其特征在于， 该第三卷积神经网络为1*1卷积神 经网络， 用于降低该池化单元的输出结果的维度； 该第三卷积神经网络输出该被查向量 (Key)和该内容向量(Value)至该多相机融合模块。权　利　要　求　书 1/2 页 2 CN 114781521 A 210.如权利要求2所述的目标检测系统， 其特征在于， 该每个子解码模块包括依次连接 的第一单 元、 第二单 元以及第三单 元； 该第一单 元依次包括上采样模块和多个特 征解码模块； 该第二单 元依次包括上采样模块和多个特 征解码模块； 该第三单 元依次包括上采样模块、 多个特 征解码模块以及函数激活模块； 其中： 该上采样模块用于对前一个单 元的输出进行 上采样； 该多个特 征解码模块用于将低维度 度信息变成高维度信息； 该函数激活模块用于加入非线性因素， 提高神经网络对 模型的表达能力； 该池化模块用于将该 特征图缩小化。 11.如权利要求10所述的目标检测系统， 其特征在于， 该多个特征解码模块为2个特征 解码模块。 12.如权利要求2所述的目标检测系统， 其特征在于， 该多个子解码模块为3个子解码模 块， 分别对应障碍物检测任务(Object  Detection  Task)、 交通检测任务(Traffic   Detection Task)、 行 人检测任务(Pedest rian Detection Task)。 13.如权利要求2所述的目标检测系统， 其特征在于， 所述解码模块还包括损失计算模 块， 该损失计算模块按照公式(3)、 (4)和(5)对损失L进行计算: 其中Lcls＝‑logpu， pu表示分类为背景的概率， λ为超参， 是开始学习的过程中设定的参 数； Lloc用于对检测框定位进行评估， tu表示的是预测参数， v表示的是真实平移缩放参数， i 表示检测点。权　利　要　求　书 2/2 页 3 CN 114781521 A 3