(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210493502.7 (22)申请日 2022.05.07 (71)申请人 成都天奥集团有限公司 地址 610000 四川省成 都市成都高新西区 新业路88号天奥科技产业园 (72)发明人 陶冠宏　范振军　 (74)专利代理 机构 贵州派腾知识产权代理有限 公司 521 14 专利代理师 宋妍丽 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/25(2022.01) G06V 10/80(2022.01) H04N 5/232(2006.01) H04N 7/18(2006.01) (54)发明名称 一种新型屏幕防拍照识别方法 (57)摘要 本发明提供了一种新型屏幕防拍照识别方 法， 包括以下步骤： 获取待识别图像 ‑语义图生 成‑实例目标检测 ‑拍照行为识别 ‑后处理。 本发 明可实现复杂背景下高精度窃照装置违规拍摄 实时检测与识别， 当检测到有人违规用手机、 照 相机、 摄像机等器材拍摄时， 能够触发计算机立 即隐藏显示内容， 即屏幕锁屏， 同时记录下拍照 人的图像信息， 不仅可以有效防止屏幕信息被拍 摄窃取， 而且能够对违规拍摄行为记录、 溯源与 查证， 极大提高新形势下的保密防范工作的智能 化水平。 权利要求书2页 说明书5页 附图2页 CN 114863337 A 2022.08.05 CN 114863337 A 1.一种新型屏幕防拍照识别方法， 其特 征在于： 包括以下步骤： ①获取待识别图像： 从安装在屏幕的USB即插即用摄 像头采集视频帧图像； ②语义图生成： 获取待识别的视频帧图像， 采用端到端的图像分割模型去 除该图像中 的背景信息， 得到仅保留感兴趣 对象的前 景图像； ③实例目标检测： 采用微调单阶段的目标检测模型对语义图中的拍照手机进行检测， 确定是否有手机； ④拍照行为识别： 采用分类模型对语义图进行拍照行为识别， 确定是否有拍照行为； ⑤后处理： 对目标检测结果与拍照识别分类结果进行融合分析， 若发生拍照行为则进 行屏幕锁屏、 证据留存操作， 反 之返回步骤 ①， 继续处理后续视频帧图像。 2.如权利要求1所述的新型屏幕 防拍照识别方法， 其特征在于： 所述步骤 ②中， 感兴趣 对象的前 景图像仅包括人和手机 。 3.如权利要求1所述的新型屏幕 防拍照识别方法， 其特征在于： 所述步骤 ①中， 把拍摄 到的工位区域 监控画面作为后续处 理的主要对象。 4.如权利要求1所述的新型屏幕防拍照识别方法， 其特征在于： 所说步骤 ②具体分为以 下步骤： (2.1)提取视 频帧图像掩码： 采用输入尺寸为320*320*3的 图像分割模型U2Net提取视 频 帧图像的掩码， 该掩码为去除了背景信息的灰度图， 其前景与背景的像素值分别用255与0 表示； (2.2)灰度掩码图转彩色掩码图： 将灰度掩码图与原始图像进行差运算得到彩色掩码 图； (2.3)生成语义图： 将彩色掩码图与原始图像分别在RGB三通道进行像素值替换， 获取 原始视频帧图像的仅保留了感兴趣 对象的语义图。 5.如权利 要求4所述的新型屏幕防拍照识别方法， 其特征在于： 所述步骤(2.3)中， 像素 值替换为： 把彩色掩码图中的背景像素值 替换为25 5， 前景像素值 替换为原 始图像对应的像素值。 6.如权利要求1所述的新型屏幕 防拍照识别方法， 其特征在于： 所述步骤 ③中， 采用微 调单阶段的YOLO ‑v5目标检测模型对待识别视频帧图像的语义图进行目标检测， 将检测 到 的感兴趣目标cel l‑phone的结果作为后续拍照行为识别阶段的先验信息 。 7.如权利要求6所述的新型屏幕防拍照识别方法， 其特征在于： 所述YOLO ‑v5目标检测 模型是在自建的目标检测数据集phone ‑detection上进行微调训练后得到的， 该模型输入 尺寸为640*640*3， 训练轮数为20 0。 8.如权利要求7所述的新型屏幕防拍照识别方法， 其特征在于： 所述自建的目标检测数 据集为： 从coco2017公共数据集抽取标签为person、 cell ‑phone、 cup的图像产生子集sub ‑ coco17与对采集的视频帧图像数据进行类别为person、 cell ‑phone手工标注后统一融合组 成。 9.如权利要求1所述的新型屏幕 防拍照识别方法， 其特征在于： 所述步骤 ④中， 采用构 建的拍照识别分类模型photo ‑rec‑model对待识别视频帧图像的语义图进行拍照行为识 别， 将识别结果与输入的先验信息进行综合判别， 输出到后续防拍照 后处理阶段。权　利　要　求　书 1/2 页 2 CN 114863337 A 210.如权利要求9所述的新型屏幕防拍照识别方法， 其特征在于： 所述拍照识别模型 photo‑rec‑model是以Resnet ‑Inceptionv2为基础模型并添加池化层、 卷积层、 Dropout层、 全连接层及输出层 组成的二分类模型， 并在自建的拍照数据集photo ‑rec上微调训练后得 到的， 该模型输入尺寸 为229*229*3的RGB图像， 训练轮数为15 0； 所述自建的拍照数据集 为： 采用USB即插即用型摄像头采集办公工位场景下的状态为使用手机、 未使用手机及手 机拍照三种情形的视频帧图像数据， 按非拍照n on‑shooting与拍照sho oting两类组成。权　利　要　求　书 2/2 页 3 CN 114863337 A 3