(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211029949.5 (22)申请日 2022.08.26 (71)申请人 温州宁酷科技有限公司 地址 325000 浙江省温州市龙港市第三菜 场街19号 二楼 (72)发明人 韩中军　赵小龙　 (74)专利代理 机构 北京恒泰铭睿知识产权代理 有限公司 1 1642 专利代理师 郭建明 (51)Int.Cl. G06V 20/58(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/44(2022.01)G06N 3/04(2006.01) G06K 9/00(2022.01) E04H 6/42(2006.01) (54)发明名称 基于多传感器特征级融合的车位识别系统 及其识别方法 (57)摘要 本申请涉及智能交通的领域， 其具体地公开 了一种基于多传感器特征级融合的车位识别系 统及其识别方法， 通过具有空洞卷积核的第一卷 积神经网络对车位的超声波信号的回波信号进 行特征提取， 以在不丢失分辨率的基础上扩大感 受野， 从而获得高分辨率下的多尺度信息， 并且 还利用第二卷积神经网络提取出车外图像的局 部高维关联特征分布， 进一步在高维空间内的内 部元素子维度间的信息度量， 来进行特征流形的 超凸一致性衍生表示， 以基于所述特征流型的衍 生一致性来进行得到的所述特征图之间的适当 的加权求和， 以获得适当融合的特征图。 这样， 就 能够使得人们的停车更加智能化， 进而避免事故 的发生。 权利要求书2页 说明书11页 附图4页 CN 115376102 A 2022.11.22 CN 115376102 A 1.一种基于多传感器特征级融合的车位识别系统， 其特征在于， 包括： 第 一源信号采集 单元， 用于通过部署于车辆的超声波传感器获得用于探测车位的超声波信号的回波信号； 第二源信号采集单元， 用于通过部署于所述车辆的视觉传感器采集车位的图像； 第一神经 网络单元， 用于将所述回波信号的波 形图通过具有空洞卷积核的第一卷积神经网络以获得 第一特征图； 第二神经网络单元， 用于将所述车位的图像通过第二卷积神经网络以获得第 二特征图； 特征图一致性单元， 用于计算所述第一特征图相对于所述第二特征图的衍生信 息超凸度量因数， 所述衍生信息超凸度量因数为所述第一特征图和所述第二特征图中各个 位置的特征值间的差值的绝对值的沿宽维度、 高维度和通道维度的加权和； 特征图修正单 元， 用于以所述衍生信息超凸度量因数作为权重对所述第一特征图进 行加权以获得第一加 权后特征图； 特征图融合单元， 用于计算所述第一加权后特征图和所述第二特征图之间的 按位置加权和以获得分类特征图； 以及识别结果生成单元， 用于将所述分类特征图通过分 类器以获得分类结果， 所述分类结果用于表示车位是否可用。 2.根据权利要求1所述的基于多传感器特征级融合的车位识别系统， 其中， 所述第 一神 经网络单元， 进一步用于使用所述第一卷积神经网络的各层在层的正向传递中对输入数据 分别进行基于所述空洞卷积核的卷积处理、 池化处理和激活处理以由所述第一卷积神经网 络的最后一层输出所述第一特征图， 其中， 所述第一卷积神经网络的第一层的输入为所述 回波信号的波形图， 所述空洞卷积核表示为 3.根据权利要求2所述的基于多传感器特征级融合的车位识别系统， 其中， 所述第 二神 经网络单元， 进一步用于使用所述第二卷积神经网络的各层在层的正向传递中对输入数据 分别进行基于二 维卷积核的卷积处理、 池化处理和激活处理以由所述第二卷积神经网络的 最后一层输出所述第二特征图， 其中， 所述第二卷积神经网络的第一层的输入为所述车位 的图像。 4.根据权利要求3所述的基于多传感器特征级融合的车位识别系统， 其中， 所述特征图 一致性单元， 进一步用于： 以如下公式来计算所述第一特征图相对于所述第二特征图的所 述衍生信息超凸度量因数； 所述公式为： 其中所 述第一特征图F1和所述第二特征图F2均具有尺度W ×H×C， 和 分别是所述第一 特征图F1和所述第一特 征图F2的各个位置的特 征值。 5.根据权利要求4所述的基于多传感器特征级融合的车位识别系统， 其中， 所述识别结 果生成单元， 进一步用于使用所述分类器以如下公式对所述分类特征图进 行处理以生成所 述分类结果； 其中， 所述公式为： softmax{(Wn,Bn):…:(W1,B1)Project(F)}， 其中Project (F)表示将所述分类特征图投影为向量， W1至Wn为各层全连接层的权重矩阵， B1至Bn表示各 层全连接层的偏置矩阵。 6.一种基于多传感器特征级融合的车位识别系统 的识别方法， 其特征在于， 包括： 通过 部署于车辆的超声波传感器获得用于探测车位的超声波信号的回波信号； 通过部署于所述 车辆的视觉传感器采集车位的图像； 将所述回波信号的波 形图通过具有空洞卷积核的第一权　利　要　求　书 1/2 页 2 CN 115376102 A 2卷积神经网络以获得第一特征图； 将所述车位的图像通过第二卷积神经网络以获得第二特 征图； 计算所述第一特征图相对于所述第二特征图的衍生信息超凸度量因数， 所述衍生信 息超凸度量因数为所述第一特征图和所述第二特征图中各个位置的特征值间的差值的绝 对值的沿宽维度、 高维度和 通道维度的加权和； 以所述衍生信息超凸度量因数作为权重对 所述第一特征图进行加权以获得第一加权后特征图； 计算所述第一加权后特征图和所述第 二特征图之 间的按位置加权和以获得分类特征图； 以及将所述分类特征图通过分类器以获 得分类结果， 所述分类结果用于表示车位是否可用。 7.根据权利要求6所述的基于多传感器特征级融合的车位识别系统 的识别方法， 其中， 将所述回波信号的波 形图通过具有空洞卷积核的第一卷积神经网络以获得第一特征图， 包 括： 使用所述第一卷积神经网络的各层在层的正向传递中对输入数据分别进 行基于所述空 洞卷积核的卷积处理、 池化处理和激活处理以由所述第一卷积神经网络的最后一层输出所 述第一特征图， 其中， 所述第一卷积神经网络的第一层的输入为所述回波信号的波 形图， 所 述空洞卷积核表示 为 8.根据权利要求7所述的基于多传感器特征级融合的车位识别系统 的识别方法， 其中， 将所述车位的图像通过第二卷积神经网络以获得第二特征图， 包括： 使用所述第二卷积神 经网络的各层在层的正向传递中对输入数据分别进行基于二 维卷积核的卷积处理、 池化处 理和激活处理以由所述第二卷积神经网络的最后一层输出所述第二特征图， 其中， 所述第 二卷积神经网络的第一层的输入为所述车位的图像。 9.根据权利要求8所述的基于多传感器特征级融合的车位识别系统 的识别方法， 其中， 计算所述第一特征图相对于所述第二特征图的衍生信息超凸度量因数， 包括： 以如下公式 来计算所述第一特征图相对于所述第二特征图的所述衍生信息超凸度量因数； 所述公式 为： 其中所述第一 特征图F1和所述第二 特征图F2均具有尺度W ×H×C， 和 分别是 所述第一特 征图F1和所述第一特 征图F2的各个位置的特 征值。 10.根据权利要求8所述的基于多传感器特征级融合的车位识别系统的识别方法， 其 中， 将所述分类特征图通过分类器以获得分类结果， 所述分类结果用于表示车位是否可用， 包括： 使用所述分类器以如下公式对所述分类特征图进 行处理以生成所述分类结果， 其中， 所述公式为： softmax{(Wn,Bn):…:(W1,B1)Project(F)}， 其中Project(F)表示将所述分类 特征图投影为向量， W1至Wn为各层全连接层的权重矩阵， B1至Bn表示各层全连接层的偏置矩 阵。权　利　要　求　书 2/2 页 3 CN 115376102 A 3