(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111652171.9 (22)申请日 2021.12.3 0 (71)申请人 小荷医疗器 械 （海南） 有限公司 地址 571924 海南省澄迈县老城镇高新 技 术产业示范区海南生态软件园沃克公 园8814一层1-2 (72)发明人 边成　杨志雄　李剑　赵家英　 石小周　 (74)专利代理 机构 北京英创嘉友知识产权代理 事务所(普通 合伙) 11447 代理人 魏云鹿 (51)Int.Cl. G06T 7/00(2017.01) G06T 5/00(2006.01) G06T 3/40(2006.01)G06T 17/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 内窥镜图像的处理方法、 装置、 可读介质和 电子设备 (57)摘要 本公开涉及一种内窥镜图像的处理方法、 装 置、 可读介质和电子设备， 涉及图像处理技术领 域， 该方法包括： 获取当前时刻内窥镜采集的组 织图像， 根据组织图像和历史组织图像， 通过预 先训练的三维重建模型确定组织图像对应的深 度图像、 组织图像与 历史组织图像 之间的姿态参 数， 并根据组织图像、 深度图像和姿态参数确定 组织图像对应的三维组织图像， 历史组织图像为 当前时刻之前内窥镜采集的图像， 将三维组织图 像投影至组织模板， 以确定三维组织图像中投影 与组织模板重叠的可见区域， 和三维组织图像中 投影与组织模板不重叠的盲区区域， 根据可见区 域和盲区区域， 确定内窥镜检查过程中的盲区比 例。 本公开能够及时反应检查范围， 以避免漏检， 保证检查有效。 权利要求书3页 说明书18页 附图10页 CN 114332028 A 2022.04.12 CN 114332028 A 1.一种内窥镜图像的处 理方法， 其特 征在于， 所述方法包括： 获取当前时刻内窥镜采集的组织图像； 根据所述组织图像和历史组织图像， 通过预先训练 的三维重建模型确定所述组织图像 对应的深度图像、 所述组织图像与所述历史组织图像之间的姿态参数， 并根据所述组织图 像、 所述深度图像和所述姿态参数确定所述组织图像对应的三维组织图像， 所述历史组织 图像为当前时刻之前 所述内窥镜采集的图像； 将所述三维组织图像投影至组织模板， 以确定所述三维组织图像中投影与 所述组织模 板重叠的可见区域， 和所述三维组织图像中投影与所述组织模板不重叠的盲区区域， 所述 组织模板用于表征 所述内窥镜检查的组织的整体形状； 根据所述可 见区域和所述盲区 区域， 确定所述内窥镜检查过程中的盲区比例。 2.根据权利要求1所述的方法， 其特征在于， 所述三维重建模型包括： 深度子模型、 姿态 子模型和融合子模型； 所述根据 所述组织图像和历史组织图像， 通过预先训练 的三维重建模型确定所述组织 图像对应的深度图像、 所述组织图像与所述历史组织图像之间的姿态参数， 并根据所述组 织图像、 所述深度图像和所述姿态参数确定所述组织图像对应的三维组织图像， 包括： 将所述组织图像输入所述深度子模型， 以得到所述深度子模型输出的所述深度图像； 将所述组织图像和历史组织图像输入所述姿态子模型， 以得到所述姿态子模型输出的 所述姿态参数， 所述姿态参数包括旋转矩阵和平 移向量； 通过所述融合子模型根据所述组织图像、 所述深度图像和所述姿态参数进行三维融 合， 以得到所述 三维组织图像。 3.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 获取所述内窥镜的运动轨 迹， 并对所述 运动轨迹进行平 滑处理； 以平滑处理后的所述 运动轨迹作为中心线， 按照预设的模板半径建立所述组织模板 。 4.根据权利要求1所述的方法， 其特征在于， 所述将所述三维组织图像投影至组织模 板， 以确定所述三维 图像中投影与所述组织模板重叠的可见区域， 和所述三维 图像中投影 与所述组织模板不重 叠的盲区 区域， 包括： 将预设时间段内采集的多个所述组织图像中， 每个所述组织图像对应的所述三维组织 图像进行拼接， 以得到三维总图像； 将所述三维总图像投影至所述组织模板， 以确定所述三维总图像中投影与 所述组织模 板重叠的所述可见区域， 和所述三维总图像中投影与所述组织模板不重叠的所述盲区区 域。 5.根据权利要求2所述的方法， 其特征在于， 所述三维重建模型是通过以下步骤， 与光 流模型联合训练得到的： 将样本组织图像输入所述深度子模型， 以得到所述样本组织图像对应的样本深度图像 以及采集所述样本组织图像的内窥镜内参数， 并将历史样本组织图像输入所述深度子模 型， 以得到所述历史样本组织图像对应的历史样本深度图像， 所述历史样本组织图像为在 所述样本组织图像之前采集的图像， 所述内窥镜内参数包括焦距和平 移尺寸； 将所述样本组织图像和所述历史样本组织图像输入所述姿态子模型， 以得到所述姿态 子模型输出的， 所述样本组织图像与所述历史样本组织图像之间的样本姿态参数；权　利　要　求　书 1/3 页 2 CN 114332028 A 2将所述样本组织图像和所述历史样本组织图像输入所述光流模型， 以得到所述光流模 型输出的， 所述样本组织图像与所述历史样本组织图像之间的样本光 流图； 根据所述内窥镜内参数、 所述样本深度图像、 所述历史样本深度图像、 所述样本姿态参 数和所述样本光 流图， 确定目标损失； 以降低所述目标损失为目标， 利用反 向传播算法训练所述三维重建模型和所述光流模 型。 6.根据权利要求5所述的方法， 其特征在于， 所述根据所述内窥镜内参数、 所述样本深 度图像、 所述历史样本深度图像、 所述样本姿态参数和所述样本光流图， 确定目标损失， 包 括： 根据所述样本深度图像、 所述样本姿态参数和所述内窥镜内参数， 对所述历史样本组 织图像进行插值， 以得到插值组织图像； 根据所述样本组织图像和所述插值组织图像确定光度损失； 根据所述样本深度图像的梯度和所述样本组织图像的梯度， 确定平 滑损失； 根据所述样本姿态参数和所述内窥镜内参数， 将所述样本深度图像变换为第 一深度图 像； 根据所述样本光流图、 所述样本姿态参数和所述内窥镜内参数， 将所述历史样本深度 图像变换为第二深度图像； 根据所述第一深度图像和所述第二深度图像确定一 致性损失； 根据所述 光度损失、 所述平 滑损失和所述 一致性损失， 确定所述目标损失。 7.根据权利要求6所述的方法， 其特征在于， 所述根据所述样本组织图像和所述插值组 织图像确定光度损失， 包括： 根据所述样本组织图像、 所述插值组织图像， 以及所述样本组织图像和所述插值组织 图像的结构相似度， 确定所述 光度损失。 8.根据权利要求7所述的方法， 其特征在于， 所述根据所述样本组织图像和所述插值组 织图像确定光度损失， 还 包括： 根据所述第一深度图像和所述第二深度图像的差异度， 确定掩膜矩阵， 所述掩膜矩阵 包括所述样本组织图像中每 个像素点对应的权 重； 根据所述掩膜 矩阵对所述 光度损失进行修 正。 9.根据权利要求1 ‑8中任一项所述的方法， 其特征在于， 在所述根据 所述三维组织图像 和组织模板， 确定所述内窥镜检查过程中的盲区比例之后， 所述方法还 包括： 输出所述盲区比例， 并在所述盲区比例大于或等于预设的比例阈值的情况下， 发出提 示信息， 所述 提示信息用于指示存在漏检风险。 10.一种内窥镜图像的处 理装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取当前时刻内窥镜采集的组织图像； 重建模块， 用于根据所述组织图像和历史组织图像， 通过预先训练的三维重建模型确 定所述组织图像对应的深度图像、 所述组织图像与所述历史组织图像之间的姿态参数， 并 根据所述组织图像、 所述深度图像和所述姿态参数确定所述组织图像对应的三维组织图 像， 所述历史 组织图像为当前时刻之前 所述内窥镜采集的图像； 投影模块， 用于将所述三维组织图像投影至组织模板， 以确定所述三维组织图像中投权　利　要　求　书 2/3 页 3 CN 114332028 A 3