(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210496675.4 (22)申请日 2022.05.09 (71)申请人 厦门理工学院 地址 361000 福建省厦门市集美区后溪镇 理工路600号 (72)发明人 苏鹭梅　陈鑫强　陈玮浩　李天友　 吴家俊　黄志豪　 (74)专利代理 机构 厦门市精诚新创知识产权代 理有限公司 3 5218 专利代理师 赵薇 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/766(2022.01)G06V 10/82(2022.01) G06V 10/77(2022.01) G06V 10/26(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种细长柔性物体检测方法、 终端设备及存 储介质 (57)摘要 本发明涉及一种细长柔性物体检测方法、 终 端设备及存储介质， 该方法中包括： 采集细长柔 性物体图像并构建训练集； 构建细长柔性物体检 测模型， 通过训练集对模型进行训练； 输入图像 通过特征提取网络得到有效特征层后， 通过候选 框生成网络生成候选框并进行归一化处理后得 到归一化的候选框， 通过多实例关系加权网络计 算不同候选框内实例之间的关系特征， 通过关系 特征能够判断不同候选框内实例之间是否存在 关系， 边界框预测网络根据不同候选框内实例之 间的关系特征预测得到边界框和边界框内物体 的类别； 通过训练后的模型对图像中的细长柔性 物体进行检测。 本发明可以应用于智能监控系统 中有效识别细长柔 性物体。 权利要求书2页 说明书9页 附图4页 CN 115272741 A 2022.11.01 CN 115272741 A 1.一种细长柔 性物体检测方法， 其特 征在于， 包括以下步骤： S1： 采集细长柔性物体 图像并对其中的细长柔性物体进行标注， 基于标注后的图像构 建训练集； S2： 构建细长柔 性物体检测模型， 通过训练集对 模型进行训练； 模型包括特 征提取网络、 候选 框生成网络、 多实例关系加权网络和边界框预测网络； 输入图像通过特征提取网络得到有效特征层后， 通过候选框生成网络生成候选框并进 行归一化处理后得到归一化的候选框， 通过多实例关系加权网络计算不同候选框内实例之 间的关系 特征， 通过关系 特征能够判断不同候选框内实例之间是否存在关系， 边界框预测 网络根据不同候选 框内实例之间的关系特 征预测得到边界框和边界框内物体的类别； S3： 通过训练后的模型对图像中的细长柔 性物体进行检测。 2.根据权利要求1所述的细长柔性物体检测方法， 其特征在于： 特征提取网络的结构包 括ResNet101网络和特征金字塔网络， ResNet101网络提取输入图像的特征并生成特征图 后， 特征金字塔网络对特征图进行多次下采样并融合， 分别获得经过两次、 三次、 四次和五 次压缩的四个有效特 征层。 3.根据权利要求1所述的细长柔性物体检测方法， 其特征在于： 候选框生成网络的结构 包括区域建议网络和ROIAlign层， 特征提取网络输出的有效特征层输入区域建议网络生 成 候选框后， 再将生成的候选 框输入ROIAl ign层进行归一 化处理。 4.根据权利要求1所述的细长柔性物体检测方法， 其特征在于： 多实例关系加权网络输 出的每个实例的关系特 征的计算公式为： 其中， fn表示第n个实例的关系特征， 表示第n个实例的外观特征， Concat函数表示拼 接， 表示第Nr个多实例关系加权模块中的第n个实例的加权特性， Nr为超参数， 表示 多实例关系加权网络中接入的多实例关系加权模块的个数； 第n个实例的加权特性fR(n)的计算公式为： 其中， m和n分别表示多实例关系加权网络输入的实例集中的第m个实例和第n个实例， ωmn表示第m个 实例与第n个实例的关系权重， 表示第m个实例的外观 特征， WV表示线性变 换矩阵； 第m个实例与第n个实例的关系权 重ωmn的计算公式为： 其中， 表示第m个实例与第n个实例的几何权重， 表示第m个 实例与第n个实例 的外观权重， exp表示以自然常数e为底的指数函数， k表示实例的序号， 第k个实例与第 n个实例的几何权 重， 表示第k个实例与第n个实例的外观权 重；权　利　要　求　书 1/2 页 2 CN 115272741 A 2第m个实例与第n个实例的外观权 重 的计算公式为： 其中， dot表示点积运算， 表示第n个实例的外观特征， WK、 WQ分别表示将 和 投影 到低维空间的矩阵， dk表示投影后的特 征维度； 第m个实例与第n个实例的几何权 重 的计算公式为： 其中， max表示求最大值， 分别表示第m个实例和第n个实例的几何特征， εG函数 表示将几何特征通过余弦和正弦函数嵌入到高维空间， WG表示将高维空间中的几何特征转 换为标量的矩阵。 5.根据权利要求1所述的细长柔性物体检测方法， 其特征在于： 边界框预测网络预测得 到边界框的损失函数Lreg为： 其中， A表示真实的边界框， B表示预测的边界框， C表示真实的边界框与预测的边界框 的最小包 含框， IoU表示边界框A与B之间的交并比。 6.一种细长柔性物体检测终端设备， 其特征在于： 包括处理器、 存储器以及存储在所述 存储器中并在所述处理器上运行的计算机程序， 所述处理器执行所述计算机程序时实现如 权利要求1～5中任一所述方法的步骤。 7.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于： 所述计算机程序被处 理器执行时实现如权利要求1～5中任一所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115272741 A 3