(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111653381.X (22)申请日 2021.12.3 0 (71)申请人 小荷医疗器 械 （海南） 有限公司 地址 571924 海南省澄迈县老城镇高新 技 术产业示范区海南生态软件园沃克公 园8814一层1-2 (72)发明人 边成　杨志雄　石小周　赵家英　 李剑　 (74)专利代理 机构 北京英创嘉友知识产权代理 事务所(普通 合伙) 11447 代理人 魏嘉熹 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/40(2022.01) G06V 10/764(2022.01)G06V 10/774(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01) (54)发明名称 基于人工智能的内窥镜图像处理方法、 装 置、 介质及设备 (57)摘要 本公开涉及一种基于人工智能的内窥镜图 像处理方法、 装置、 介质及设备， 所述方法包括： 获取内窥镜的检查图像； 根据深度图模型提取所 述检查图像对应的深度图像； 根据所述深度图 像、 所述检查图像和图像分类模型， 确定所述检 查图像对应的图像 分类， 其中所述图像 分类用于 表示所述检查图像对应的组织的盲区比例； 间隔 目标时段根据所述目标时段内接收到的多个检 查图像对应的图像 分类， 确定所述目标时段内的 内窥镜操作对应的目标图像分类， 并输出目标图 像分类。 由此可以使 得医生在 进行内窥镜操作的 过程中可以准确了解到其在内窥镜检查过程中 的检查范围， 在一定程度上降低漏检的风险， 保 证内窥镜 检查结果， 提升用户使用体验。 权利要求书3页 说明书17页 附图3页 CN 114332033 A 2022.04.12 CN 114332033 A 1.一种基于人工智能的内窥镜图像处 理方法， 其特 征在于， 所述方法包括： 获取内窥镜的检查图像； 根据深度图模型提取所述检查图像对应的深度图像， 其中， 所述深度图像用于表征所 述检查图像对应的组织的结构信息； 根据所述深度图像、 所述检查图像和图像分类模型， 确定所述检查图像对应的图像分 类， 其中所述图像分类用于表示所述检查图像对应的组织的盲区比例； 间隔目标时段根据所述目标时段内接收到的多个检查图像对应的图像分类， 确定所述 目标时段内的内窥镜操作对应的目标图像分类， 并输出 所述目标图像分类。 2.根据权利要求1所述的方法， 其特征在于， 所述深度图模型包括多个串联的特征提取 子模型， 所述 根据深度图模型提取 所述检查图像对应的深度图像， 包括： 对所述检查图像进行降采样， 获得检查图像对应的降采样图像； 将目标图像输入所述特征提取子模型， 获得所述特征提取子模型输出的特征图， 其中， 若所述特征提取子模型为第一个特征提取子模型， 则所述 目标图像为所述降采样图像， 若 所述特征提取子模型不是第一个特征提取子模型， 则所述目标图像为所述降采样图像和所 述特征提取子模型的前一特 征提取子模型输出的特 征图进行融合后的图像； 对最后一个特 征提取子模型输出的特 征图进行反卷积 操作， 获得 所述深度图像。 3.根据权利要求1所述的方法， 其特征在于， 所述深度图模型包括多个串联的特征提取 子模型， 所述深度图模型在训练过程中的目标损失通过以下 方式获得： 对输入所述深度图模型的训练图像对应的真值深度图像进行降采样， 以获得与每一所 述特征提取子模型分别对应的真值特征图像， 其中， 每一所述特征提取子模型输出 的特征 图和该特征提取子模型对应的真值特 征图像的分辨 率相同； 针对除最后 一个特征提取子模型之外的每一所述特征提取子模型， 根据 该特征提取子 模型输出的特征图和该特征提取子模型对应的真值特征图像， 确定该特征提取子模型对应 的中间损失； 根据所述深度图模型输出的深度图像与 所述真值深度图像， 确定深度图模型的预测损 失； 将各个所述中间损失与所述预测损失之和 确定为所述深度图模型的目标损失。 4.根据权利要求1所述的方法， 其特 征在于， 所述图像分类模型通过以下 方式确定： 获取内窥镜操作对应的历史检查图像； 根据所述深度图模型提取所述历史检查图像对应的深度图像， 并将所述历史检查图像 对应的深度图像和所述历史检查图像融合， 获得训练图像； 以所述训练图像作为预设分类模型的输入， 以所述历史检查图像对应的标注分类作为 所述预设 分类模型的目标输出， 对所述预设 分类模型进行训练， 以获得 所述图像分类模型。 5.根据权利要求4所述的方法， 其特征在于， 所述历史检查图像包括基于所述内窥镜拍 摄的内镜图像确定出 的历史图像， 以及对所述历史图像进行数据增强所获得 的增强图像， 所述数据增强包括以下中的一 者或多者： 随机翻转、 随机 仿摄变换和颜色扰动。 6.根据权利要求1所述的方法， 其特征在于， 所述间隔目标时段根据所述目标时段内接 收到的多个检查图像对应的图像分类， 确定所述目标时段内的内窥镜操作对应的目标图像 分类， 包括：权　利　要　求　书 1/3 页 2 CN 114332033 A 2若所述目标时段内对应于最低等级的图像分类下的检查图像的连续累计数量超过预 设阈值， 则将该最低等级的图像分类作为所述目标图像分类； 若所述目标时段内对应于最低等级的图像分类下的检查图像的连续累计数量未超过 所述预设阈值， 则根据所述 目标时段内各个图像分类下 的检查图像的总累计数量， 确定所 述目标图像分类。 7.根据权利要求6所述的方法， 其特征在于， 所述根据所述目标时段内各个图像分类下 的检查图像的总 累计数量， 确定所述目标图像分类， 包括： 确定候选图像分类对应的目标比值与候选图像分类对应的等级阈值的大小关系， 其 中， 所述目标比值为所述候选图像分类下 的检查图像的总累计数量与目标总 数量的比值， 所述目标总数量为所述目标时段内的检查图像的数量之和， 所述候选图像分类初始 为等级 最低的图像分类； 若所述候选图像分类对应的目标比值大于或等于所述候选图像分类对应的等级阈值， 则将该候选图像分类作为所述目标图像分类； 若所述候选图像分类对应的目标比值小于所述候选图像分类对应的等级阈值， 根据图 像分类对应的等级由低到高的顺序， 获取 所述候选图像分类的下一图像分类； 若下一图像分类不是最高等级， 则将下一图像分类作为新的候选 图像分类， 并重新执 行所述确定候选图像分类对应的目标比值与候选图像分类对应的等级阈值的大小关系的 步骤； 若下一图像分类为 最高等级， 则将该 下一图像分类确定为所述目标图像分类。 8.根据权利要求1所述的方法， 其特 征在于， 所述获取内窥镜的检查图像， 包括： 获取所述内窥镜在退镜过程中拍摄的内镜图像； 根据检查图像确定模型对所述内镜图像进行二分类， 将所述内镜图像中对应分类为正 常分类的图像确定为所述检查图像， 其中， 所述检查图像确定模型 的训练样本中包含对应 于正常分类的图像的正样本， 以及对应于一种或多种异常 分类的图像的负 样本。 9.根据权利要求1 ‑8中任一项所述的方法， 其特 征在于， 所述方法还 包括： 在所述目标图像分类对应的等级低于预设等级或与所述预设等级相同的情况下， 输出 提示信息， 其中， 所述 提示信息用于指示存在漏检风险。 10.一种基于人工智能的内窥镜图像处 理装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取内窥镜的检查图像； 提取模块， 用于根据深度图模型提取所述检查图像对应的深度图像， 其中， 所述深度图 像用于表征 所述检查图像对应的组织的结构信息； 第一确定模块， 用于根据 所述深度图像、 所述检查图像和图像分类模型， 确定所述检查 图像对应的图像分类， 其中所述图像分类用于表示所述检查图像对应的组织的盲区比例； 第二确定模块， 用于间隔目标时段根据所述目标时段内接收到的多个检查图像对应的 图像分类， 确定所述 目标时段内的内窥镜操作对应的目标图像分类， 并输出所述 目标图像 分类。 11.一种计算机可读介质， 其上存储有计算机程序， 其特征在于， 该程序被处理装置执 行时实现权利要求1 ‑9中任一项所述方法的步骤。 12.一种电子设备， 其特 征在于， 包括： 存储装置， 其上存 储有计算机程序；权　利　要　求　书 2/3 页 3 CN 114332033 A 3