(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210556448.6 (22)申请日 2022.05.19 (71)申请人 国网智能科技股份有限公司 地址 250104 山东省济南市高新孙村片区 飞跃大道以南、 26号路以东 （ICT产业 园内） 电力 智能机器人生产项目101 (72)发明人 王振利　王琦　王万国　刘晗　 徐康　张斌　吕俊涛　王磊　 陈天顺　杨月琛　张海龙　张志　 许荣浩　刘广秀　徐梦雨　 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 赵迎迎 (51)Int.Cl. H04N 13/239(2018.01)H04N 13/296(2018.01) H04N 13/194(2018.01) G06V 20/52(2022.01) G06V 40/20(2022.01) G06V 20/40(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) H04N 5/232(2006.01) H04N 7/18(2006.01) (54)发明名称 一种双目感知系统和方法 (57)摘要 本发明实施例公开了一种双目感知系统和 方法。 该系统包括： 云台、 固定于云台上的双目摄 像机及与双 目摄像机连接的处理器； 其中， 双目 摄像机的结构 包括仿人眼双可见光相机结构； 云 台， 用于基于接收到的控制指令， 确定当前的转 动参数， 并按照转动参数控制自身转轴转动以使 双目摄像机移动至与控制指令对应的目标位置； 双目摄像机， 用于通过双目摄像机的左摄像头和 右摄像头分别采集与 目标位置对应的电力现场 信息， 分别生成左目视频和右目视频， 并将左目 视频和右目视频发送至处理器； 处理器， 用于接 收左目视频和右目视频， 基于预先建立的行为识 别模型， 确定电力现场的作业人员的作业行为是 否合格。 本发 明实施例能够准确地识别作业人员 的行为。 权利要求书3页 说明书11页 附图2页 CN 114979611 A 2022.08.30 CN 114979611 A 1.一种双目感知系统， 其特征在于， 包括： 云台、 固定于所述云台上的双目摄像机及与 所述双目摄像机连接的处理器； 其中， 所述双目摄像机的结构包括仿人眼双可见光相 机结 构； 所述云台， 用于基于接收到的控制指令， 确定当前的转动参数， 并按照所述转动 参数控 制自身转轴转动以使所述双目摄 像机移动至与所述控制指令对应的目标位置； 所述双目摄像机， 用于通过所述双目摄像机的左摄像头和 右摄像头分别采集与所述目 标位置对应的电力现场信息， 分别生成左目视频和右目视频， 并将所述左目视频和所述右 目视频发送至所述处 理器； 所述处理器， 用于接收所述左目视频和所述右目视频， 基于预先建立的行为识别模型， 确定电力现场的作业人员的作业行为是否合格。 2.根据权利要求1所述的系统， 其特征在于， 所述系统还包括与 所述处理器连接的显示 设备， 所述处 理器包括信息传输模块； 其中， 所述信息传输模块， 用于将所述左目视频和所述右目视频发送至所述显示设备； 所述显示设备， 用于接收所述左目视频和所述右目视频， 基于所述左目视频和所述右 目视频， 显示所述目标位置对应的电力现场信息 。 3.根据权利要求2所述的系统， 其特 征在于， 所述显示设备包括： 虚拟现实显示器， 用于接收所述左目视频和所述右目视频， 将所述左目视频显示于所 述虚拟现实显示器内与左眼位置对应的第一显示器中， 将所述右目视频显示于所述虚拟现 实显示器内与右眼位置对应的第二显示器中。 4.根据权利要求3所述的系统， 其特征在于， 所述虚拟现实器包括头 戴式虚拟现实显示 器。 5.根据权利要求1所述的系统， 其特征在于， 所述处理器包括与 所述云台连接的位置跟 踪模块； 其中， 所述位置跟踪模块， 用于基于所述左目视频和所述右目视频， 确定在视频时间内所述 作业人员的人员坐标变化信息， 基于所述人员坐标变化信息， 确定所述作业人员 在下一时 刻的人员坐标， 基于下一时刻的所述人员坐标生成位置调整指令发送至所述云台； 所述云台， 还用于基于接收到的所述位置调整指令， 确定下一时刻的转动参数， 并按照 所述下一时刻的转动参数控制自身转轴转动。 6.根据权利要求1所述的系统， 其特征在于， 所述处理器包括确定空间坐标模块和行为 分析模块； 其中， 所述确定空间坐标模块， 与所述双目摄像机连接， 用于接收所述左目视频和所述右目 视频， 基于所述左目视频和所述右目视频， 确定所述作业人员的人工 关键点， 基于双目立体 几何算法， 确定各所述人工关键点对应的空间坐标， 将所述空间坐标发送至所述行为分析 模块； 所述行为分析模块， 与所述确定空间坐标模块连接， 用于接收各所述人工关键点对应 的空间坐标， 基于所述空间坐标和预先建立的所述行为识别模型， 确定所述作业人员的作 业行为， 并基于预 先存储的行为 规范标准确定所述作业行为是否合格。 7.根据权利要求6所述的系统， 其特 征在于， 所述处 理器还包括： 模型建立模块， 用于获取样本行为中各人工关键点的空间坐标构成的样本特征序列，权　利　要　求　书 1/3 页 2 CN 114979611 A 2基于所述样本特 征序列和卷积神经网络算法， 训练所述行为识别模型。 8.根据权利要求1所述的系统， 其特 征在于， 包括： 所述双目摄像机， 还用于通过所述双目摄像机的左摄像头和右摄像头分别采集与 所述 目标位置对应的电力 设备信息， 分别生成左目视频和右目视频， 并将所述左目视频和所述 右目视频发送至所述处 理器； 所述处理器， 还用于接收所述左目视频和所述右目视频， 确定电力设备的设备状态， 确 定所述设备状态是否和预先存储的所述电力 设备的标准状态一致， 如果否， 则确定所述设 备状态为异常状态。 9.根据权利要求8所述的系统， 其特征在于， 还包括： 与所述处理器连接的机器人； 其 中， 所述处理器， 还用于当所述设备状态为异常状态时， 基于所述左目视频和所述右目视 频， 确定所述电力 设备的当前位置， 并生成包含有所述当前位置和调整操作信息的操作指 令， 并将所述操作指令发送至所述机器人； 所述机器人， 用于接收所述操作指令， 移动至所述当前位置， 并按照所述调整操作信 息 对所述电力设备 执行对应的调整操作， 以使所述电力设备处于所述标准状态。 10.根据权利要求2所述的系统， 其特 征在于， 所述显示设备包括： 声控模块， 用于基于接收到的目标用户的声音控制信息， 确定所述声音控制信息指定 的第一显示方式， 按照所述第一显示方式对所述目标位置对应的所述电力现场信息进 行显 示。 11.根据权利要求2所述的系统， 其特 征在于， 所述显示设备包括： 手势识别模块， 用于识别目标用户展示的手势动作， 基于识别结果确定所述手势动作 对应的第二显示方式， 按照所述第二显示方式对所述目标位置对应的所述电力现场信息进 行显示。 12.根据权利要求1所述的系统， 其特征在于， 所述云台包括温度检测设备和与所述温 度检测设备 连接的散热设备， 其中， 所述温度检测设备， 用于监测所述云台在工作情况下的运行温度， 当所述运行温度大 于预设温度阈值时， 生成散热指令发送至所述散热设备； 所述散热设备， 用于在接收到所述散热指令， 调整当前工作模式为启动模式。 13.根据权利要求12所述的系统， 其特征在于， 所述散热设备包括风扇， 所述风扇的数 量可为两个。 14.一种双目感知方法， 其特征在于， 应用于双目感知系统， 所述双目感知系统包括云 台、 固定于所述云台上的双目摄像机及与所述双目摄像机连接的处理器； 其中， 所述双目摄 像机的结构包括仿人眼双可 见光相机结构； 所述方法包括： 通过所述云台基于接收到的控制指令， 确定当前的转动参数， 并按照所述转动参数控 制自身转轴转动以使所述双目摄 像机移动至与所述控制指令对应的目标位置； 通过所述双 目摄像机的左摄像头和右摄像头分别采集与所述目标位置对应的电力现 场信息， 分别生成左目视频和右目视频， 并将所述左目视频和所述右目视频发送至所述处 理器； 通过所述处理器接收所述左目视频和所述右目视频， 基于预先建立的行为识别模型，权　利　要　求　书 2/3 页 3 CN 114979611 A 3