(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210974295.7 (22)申请日 2022.08.15 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市下城区潮王路 18号 (72)发明人 陈教料　鲁腾君　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 忻明年 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/26(2022.01) G06V 10/28(2022.01) G06V 10/44(2022.01)G06T 5/00(2006.01) G06T 7/13(2017.01) G06T 7/62(2017.01) G06T 7/73(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G02B 5/30(2006.01) C12N 1/02(2006.01) (54)发明名称 基于深度学习模型的多菌落分类提取方法 (57)摘要 本发明公开了基于深度学习模型的多菌落 分类提取方法， 包括通过视觉系统采集附着多种 处于生长阶段的菌落的培养皿RGB图像， 将RGB图 像转化为灰度图像， 然后截取灰度图像中培养皿 内圈以内的区域后， 依次对区域进行迭代阈值的 二值化、 滤波和形态学操作。 本方法通过视觉系 统， 能够增强菌落与其背景的差别， 突出菌落边 缘特征； 并且通过加入偏振片有效的避免了培养 皿的反光， 有利于后续二值化图像更准的分割出 菌落； 通过对深度学习模型进行训练和检验， 得 到高准确率、 高泛化型的模型， 有助于精确的识 别菌落类型， 且通过将图像处理和深度学习模型 得到菌落质心位置、 面积和类别传递至控制系 统， 使得控制系统对各菌落进行精准分类和提 取。 权利要求书2页 说明书5页 附图3页 CN 115393637 A 2022.11.25 CN 115393637 A 1.基于深度学习模型的多菌落分类提取方法， 其特征在于： 所述基于深度学习模型的 多菌落分类提取 方法包括： 通过视觉系统采集附着多种处于生长阶段的菌落的培养皿RGB图像， 将RGB图像转化为 灰度图像， 然后截取灰度图像中培养皿内圈以内的区域后， 依 次对区域进行迭代阈值的二 值化、 滤波和形态学操作， 获得菌落 为白色其 余背景为 黑色的二 值图像； 将二值图像进行Sobel算子边缘检测， 并获得以菌落为单位的多个封闭区域， 通过对封 闭区域计算得到 菌落的质心位置、 菌落 面积和以质心为中心的外 接矩形坐标； 将各菌落外接矩形坐标截取对应菌落的RGB图像， 得到培养皿内圈以内的各菌落的RGB 图像， 并逐个输入至训练好的深度学习模型中处 理， 得到各菌落类别； 将各菌落的质心位置、 菌落面积以及菌落类别传递至提取菌落的控制系统， 控制系统 提取对应的菌落并放置 于对应类别的微 孔板接种点。 2.如权利要求1所述的监控摄像机画面隐私信 息保护机构， 其特征在于： 视觉系统包括 工业相机、 镜 头和增强菌落特 征的双光源， 以及消除培 养皿反光的偏振镜 。 3.如权利要求1所述的监控摄像机画面隐私信息保护机构， 其特征在于： 所述将RGB图 像转化为灰度图像包括： 灰度转化如下： Gray(x,y)＝R ×fR+G×fG+B×fB； 其中， Gray(x,y)表示对点(x,y)进行灰度化处理， R、 G、 B表示每个像素中三通道的数 值， fR、 fG、 fB依次表示R、 G、 B通道上的系数。 4.如权利要求3所述的监控摄像机画面隐私信 息保护机构， 其特征在于： 所述依次对区 域进行迭代阈值的二 值化、 滤波和形态学操作， 包括： 对区域以迭代计算的方式获得最优的阈值并进行二 值化处理， 公式如下： 其中： Bin(x,y)表示对点(x,y)进行二值化处理， threshold表示最优的阈值， thresholdi+1表示迭代计 算之后的阈值， thresholdi表示当前阈值， mt表示灰度值为t的像素 点个数， N是 灰度级个数； 再通过中值滤波和腐蚀操作去除噪点和较小的菌落。 5.如权利要求1所述的监控摄像机画面隐私信 息保护机构， 其特征在于： 所述将二值图 像进行Sobel算子边缘检测， 并获得以菌落为单位的多个封闭区域， 通过对封闭区域计算得 到菌落的质心位置、 菌落 面积和以质心为中心的外 接矩形坐标， 包括： 通过增加外接矩形的扩大系数， 满足各菌落的密集 程度； 公式如下： 权　利　要　求　书 1/2 页 2 CN 115393637 A 2其中， θi表示封闭区域， (xi,yi)表示属于封闭区域的像素坐标， (xc,yc)表示菌落的质心 坐标， Num表示菌落 面积， L表示外 接矩形的边长， E表示外 接矩形扩大系数。 6.如权利要求1所述的监控摄像机画面隐私信 息保护机构， 其特征在于： 所述深度 学习 模型包括： 通过深度学习框架P ytorch搭建深度学习模型， 深度学习模型为卷积神经网络， 且深度 学习模型公式如下： Y＝softmax(model(co nv2(w,x)+b) )； 且利用损失函数反向传播反馈给深度学习模型继续学习， 损失函数如下： 其中， x表示输入图像， w表示x的权重值， b表示x的偏置， model表示卷积神经网络， softmax表示分类器， Y表示菌落分类所得各个类别的得分， c表示菌落分类对应种类的编 号， lossc表示编号为c种类的损失值， X表示菌落的种类数， wc表示编号为c种类损失值的权 重， Yc表示编号 为c种类的得分， Yi表示编号 为i种类的得分。权　利　要　求　书 2/2 页 3 CN 115393637 A 3