(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211044323.1 (22)申请日 2022.08.30 (71)申请人 上海第二工业大 学 地址 201209 上海市浦东 新区金海路23 60 号 (72)发明人 杨淑珍　黄杰　俞涛　 (74)专利代理 机构 上海正旦专利代理有限公司 31200 专利代理师 王洁平 (51)Int.Cl. G06Q 10/04(2012.01) G06Q 50/02(2012.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/75(2022.01)G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/762(2022.01) G06T 7/00(2017.01) G06T 7/10(2017.01) G06T 7/50(2017.01) G06T 7/66(2017.01) G06T 7/73(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) A01G 18/69(2018.01) (54)发明名称 一种蘑菇生长 状态时空预测方法 (57)摘要 本发明公开了一种蘑菇生长状态时空预测 方法； 该方法采集蘑菇生长过程中的彩图和深度 图历史序列图像， 通过改进的卷积 长短时记忆神 经网络 （ConvLSTM） 预测未来某一时刻的蘑菇生 长状态图， 该改进模型将ConvLS TM与实例分割网 络融合并结合SSIM损失函数来提高预测图像的 质量与预测精度。 然后， 将预测出的彩图通过实 例分割算法进行分割， 提取出蘑菇子实体， 并与 深度图匹配计算出预测图像中各蘑菇的尺寸大 小； 最后， 通过预测的蘑菇大小及位置特征对蘑 菇长势进行预测； 本发明方法能替代人工巡检， 为更加精准有效的开展农作物温室环境因子控 制及农作物的智能采摘及疏蕾等科学合理安排 提供信息基础和判断依据， 提高蘑菇产量和质 量。 权利要求书3页 说明书6页 附图7页 CN 115392576 A 2022.11.25 CN 115392576 A 1.一种蘑菇生长状态时空预测方法， 其特 征在于： 包括以下步骤： （1） 采用RGBD深度相机每隔x分钟拍摄多张图像用于获取蘑菇生长过程中的彩图与深 度图； （2） 采用峰值信噪比PSNR对拍摄到的蘑菇生长状态的彩图与深度图进行数据清洗， 得 到处理后清晰的图片数据； （3） 采用实例分割算法识别提取蘑菇子实体对清洗后得到的彩图， 按一定时间间隔t取 出前n次图像， 构成生长状态彩图 图像序 列Pntc0； 再利用实例分割算法从该序列图像的每张图像中提取出蘑菇 子实体图像， 去除 背景图像形成仅含蘑菇的彩图 图像序列Pntc； （4） 取若干 张和彩图图像序列Pntc在同样时间段内、 具有相同间隔 的连续的深度图组成 深度图像序列Pntd， 将彩图图像序列Pntc、 深度图像序列Pntd分别输入ConvLSTM网络中进行预 测， 预测出 K时刻后的生长状态的彩图 图像PTo+Kc和深度图 图像PTo+Kd； （5） 彩图与深度图匹配提取 预测图像蘑菇特 征 将预测的彩图图像PTo+Kc通过实例分割算法识别提取出各蘑菇并对提取的蘑菇进行椭 圆拟合获得各蘑菇的轮廓和中心点坐标， 然后与深度图图像PTo+Kd进行蘑菇高度匹配， 计算 出蘑菇的尺寸大小， 获得K时刻后的蘑菇大小及位置特征， 进而预测蘑菇的长势特征， 长势 特征包括： 蘑菇生长速度预测、 蘑菇成熟时间预测、 未来第1、 2   … L天的成熟蘑菇量预测、 蘑菇分布均匀程度、 蘑菇聚集情况、 蘑菇总数和蘑菇生长密度。 2.根据权利要求1所述的蘑菇生长状态预测方法， 其特征在于， 步骤 （2） 和步骤 （5） 中， 实例分割算法独立的选自SOLO  v2、 Mask RCNN或 YOLACT中任一种。 3.根据权利要求1所述的蘑菇生长状态预测方法， 其特征在于， 步骤 （3） 中， 彩图图像序 列Pntc、 深度图像序列Pntd分别输入ConvLSTM网络中， 分别 通过卷积神经网络进行特征提取 和编码， 编码后特征信息输入LSTM神经网络经更新状态门i、 遗忘门f、 隐藏层h提取出长序 列隐藏信息与短序列隐藏信息， 然后送入解码器解码输出预测结果， ConvLSTM网络结构公 式如下， 式中， 为矩阵元素的乘积， xt表示t时刻输入， it表示输出门状态保留概率， ft表示遗忘 门状态保留概率， Ct表示t时刻单元状态， ot表示t时刻输出门输出概率， Ht表示t时刻隐含层 输出，Wxi、 Whi、 Wci、 bi分别表示输入门的权重和阈值， Wxf、 Whf、 Wcf、 bf分别表示遗忘门的权重和 阈值，Wxc、 Whc、 bc分别表示状态门的权重和阈值， Wxo、 Who、 Wco、 bo分别表示输出门的权重和阈 值。 4.根据权利要求1所述的蘑菇生长状态预测方法， 其特征在于， 步骤 （4） 中，  ConvLSTM 网络中， 采用MS ‑SSIM损失函数进行训练调优， MS ‑SSIM损失函数计算公式如下：权　利　要　求　书 1/3 页 2 CN 115392576 A 2其中， M表示不同的尺度； 分别表示预测图像和实际图像的均值； 分别表示 预测图像和实 际图像之间的标准差； 表示预测值和实 际图像之间的协方差； 和 分别表示两项之间的相对重要性， 和 是为了防止除数为0而添加的常数项。 5.根据权利要求1所述的蘑菇生长状态预测方法， 其特征在于， 步骤 （4） 中，  ConvLSTM 网络中， 使用Adam优化器训练， 激活函数使用ReLU。 6.根据权利要求1所述的蘑菇生长状态预测方法， 其特征在于， 步骤 （5） 中， 预测 蘑菇生 长速度的方法为： 将统计预测的未来K时刻后的生长状态彩图图像PTo+Kc中的各蘑菇菌盖大 小与当前时刻 To对应各蘑菇菌盖大小之差的平均值除以K， 得到预测蘑菇 生长速度值； 预测 蘑菇生长密度的方法为： 对预测出来的彩图图像识别并提取出蘑菇， 计算单位面积的蘑菇 个数， 实现对蘑菇的生长密度进行 预测。 7.根据权利要求1所述的蘑菇生长状态预测方法， 其特征在于， 步骤 （5） 中， 蘑菇成熟时 间预测方法为： 根据预测出的1小时、 2小时、 3小时 …m小时后的生长状态彩图和 深度图图像， 识别和提 取出各成熟蘑菇， 第m小时后预测图像上的成熟蘑菇的成熟时间为m小时后成熟， 然后将每 个蘑菇的成熟时间m综合标注在当前时刻To的蘑菇生长状态图像上显示， 为种植人员进行 环境参数调节和采摘、 疏蕾安排提供参考依据； 其中： 蘑菇是否成熟根据计算出的蘑菇大小 进行判断。 8.根据权利要求1所述的蘑菇生长状态预测方法， 其特征在于， 步骤 （5） 中， 未来第L天 中每天的成熟蘑菇量预测方法为： 根据预测出的第1、 2   … L天后的生长状态彩图和 深度图图像， 识别和提取出各天预测 图像上的成熟蘑菇个数、 形状和位置信息， 并生成预测出的每天成熟蘑菇分布图， 为种植人 员进行采摘时间和采摘人员等采摘相关安排提供参考； 预测出的每天成熟蘑菇分布图仅高 亮显示当天成熟的蘑菇， 其通过将预测出的第L 天的预测图中的第L ‑1天的成熟蘑菇从图片 中抠除， 然后用亮显色标记出第L天成熟的蘑菇生成； 其中： 蘑菇是否成熟根据计算出 的蘑 菇大小进行判断。 9.根据权利要求1所述的蘑菇生长状态预测方法， 其特征在于， 步骤 （5） 中， 蘑菇分布均 匀程度的判别方法为： 对预测出来的生长状态彩图图像从竖直、 水平、 45度和135度四个方向以及中心和外围 对图像进行区域划分， 得到10个区域， 即上、 下、 左、 右、 左上、 右下、 右上、 左下、 中心和外围， 统计这 10个区域内的蘑菇数量yi以及各区域磨菇数之和yo， 即蘑菇总数， 然后按如下公式 计算区域统计分布向量的方差 MSE： 根据MSE的值的大小将蘑菇分布的均匀程度划分为三个等级： 第一等级为MSE在0 ‑13之权　利　要　求　书 2/3 页 3 CN 115392576 A 3