(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202211018685.3
(22)申请日 2022.08.24
(71)申请人 江苏交控智慧城市技 术有限公司
地址 222000 江苏省连云港市连云港高新
技术产业开发区花果山大道17-1-
1501室
(72)发明人 陈世华 周丽 刘永超
(74)专利代理 机构 连云港润知专利代理事务所
32255
专利代理师 刘喜莲
(51)Int.Cl.
H04L 67/12(2022.01)
H04L 67/565(2022.01)
H04L 67/51(2022.01)
G06F 16/33(2019.01)G06F 16/35(2019.01)
G06K 9/62(2022.01)
H04N 7/18(2006.01)
(54)发明名称
基于物联网的多 源数据采集中 台
(57)摘要
本发明公开了基于物联网的多源数据采集
中台, 涉及多源数据采集技术领域。 为了解决现
有技术中, 通过数据清洗单元将采集的数据进行
清洗, 然而无法将数据进行分类, 由于数据的多
源化, 清洗难度较大, 无法保证数据质量的问题。
基于物联网的多源数据采集中台, 包括前端采集
单元、 数据清洗单元、 数据处理单元和存储单元;
通过前端采集单元进行数据采集, 数据清洗单元
进行数据清洗, 清洗后的数据处理单元进行数据
的统一处理, 存储单元对前端采集单元和数据处
理单元的数据进行储存, 构建数据中台, 在数据
仓库和数据平台的基础上, 将数据生产为为一个
个数据API 服务, 以更高效的方式提供给业 务。
权利要求书2页 说明书6页 附图4页
CN 115514784 A
2022.12.23
CN 115514784 A
1.基于物联网的多源数据采集中台, 其特征在于: 包括前端采集单元、 数据清洗单元、
数据处理单元和存储单元;
前端采集单元, 用于从不少于一个的采集终端获取其主动上传的多源数据, 将多源数
据分类后打包成子数据集, 并将所述子数据集输送至数据清洗单 元;
数据清洗单元, 用于补充所述子数据集中缺失的部分, 并纠正不正确的部分, 筛选并清
除重复多余的部分, 最后将所述子数据集整合后传输 至数据处 理单元;
数据处理单元, 用于将所述子数据集与业务场景一一匹配, 确定对应关系, 确定所述业
务场景的优先级, 基于优先级依次生成数据 API;
存储单元, 用于建立与前端采集单元和数据处理单元的通信通路, 构建多源数据库和
算法工具模型 数据库。
2.如权利要求1所述的基于物联网的多源数据采集中台, 其特征在于: 前端采集单元,
包括:
数据采集模块, 用于:
获取各采集终端采集到的传感器数据和视频监控数据;
其中, 所述传感器数据包括: 对动态 物的定位、 环境感知数据和对静态 物的监控数据;
数据分类模块, 用于:
对所述传感器数据和视频监控数据进行读取, 所述传感器数据和视频监控数据由若干
个变量数值构成;
确定数据中的数据特点, 根据所述数据特点确定数据所属类别, 并从规则库中调取所
述数据所属类别的分类规则;
根据调取出的分类规则和所述若干个变量数值进行分类, 并依据分类打包成若干个子
数据集。
3.如权利要求2所述的基于物联网的多源数据采集中台, 其特征在于: 数据清洗单元,
包括:
数据整理模块, 用于:
获取所述若干个子数据集, 借用相关算法进行大数据行为分析, 将所述子数据集中的
数值去重、 去空值;
将所述子数据集进行转换后形成统一的数据 结构, 将所述子数据集中数字类数据的格
式统一, 统一时间戳格式;
策略制定模块, 用于获取清洗数据库中的清洗模式, 基于清洗模式制定相对应的清洗
策略;
还用于根据数据的不同类型匹配清洗数据库中的清洗方法;
清洗实施模块, 用于将所述子数据集与模型数据库中的数据质量模型一一对应, 对导
入的子数据集进行质量核查, 并进行清洗流 程监控;
还用于补充完善问题数据, 自动进行冗余数据的发现, 并为所述冗余数据建立映射关
系, 同时, 生成一条新的标准数据。
4.如权利要求3所述的基于物联网的多源数据采集中台, 其特征在于: 策略制定模块,
包括:
获取与所述子数据集对应的数据模型; 其中, 所述数据模型包括: 单一模型、 单一层级权 利 要 求 书 1/2 页
2
CN 115514784 A
2模型和多层级模型;
依据所述数据模型与所述清洗策略一 一匹配, 同时获取 所述清洗策略的清洗细则;
基于单一模型依据相似度匹配进行问题数据的检索、 合并和映射处理, 依据所述子数
据集建立模型树, 依据树与树之间的关联挂接组织机构间的映射, 结合人工干预进行数据
的补充、 调整和映射。
5.如权利要求3所述的基于物联网的多源数据采集中台, 其特征在于: 清洗实施模块,
还用于:
获取产生映射关系后建立映射关系表, 确定所述冗余数据的问题数据来源, 确定预停
用数据并进行 标签标记;
获取数据采集平台中信息推送, 结合数据的实 际情况与所述预停用数据进行调整, 建
立预停用数据出入库单, 突出 标记停用数据。
6.如权利要求3所述的基于物联网的多源数据采集中台, 其特征在于: 数据处理单元,
包括:
业务场景匹配模块, 用于获取业务类型中的数据 特征, 将所述数据 特征进行聚类梳理,
依据聚类数据构建业 务场景, 并与所述标准数据一 一对应关系;
数据算法模块, 用于建立算法工具模型, 为所述算法工具模型生产与所述业务场景相
对应的业 务标签;
数据中台建设模块, 用于从工具数据库中获取与所述标准数据相匹配的处理工具, 并
获取相匹配的工具建 设和维护数据中 台;
数据治理模块, 用于梳理所述标准数据的治理标准, 从所述数据算法模块获取数据治
理工具围绕所述 业务场景解决所述标准数据的数据质量和安全问题。
7.如权利要求6所述的基于物联网的多源数据采集中 台, 其特征在于: 存 储单元, 包括:
多源数据库, 用于建立与所述前端采集单元的通信道路, 对所述前端采集单元获取的
前端数据进行储 存;
算法工具模型数据库, 用于建立与所述数据处理单元的通信道路, 为所述数据处理单
元提供算法工具模型;
数据库管理模块, 用于对所述前端数据和算法工具模型 数据进行分类管理。
8.如权利要求7所述的基于物联网的多源数据采集中台, 其特征在于: 数据库管理模
块, 包括:
输入子模块, 用于接收前端数据和算法工具模型数据后将前端数据和算法工具模型数
据发送至识别子模块;
识别子模块, 用于:
辨别前端数据和算法工具模型数据为有效数据或无效数据, 同时, 与历史数据一一对
应, 辨别数据是否为重复数据;
判断前端数据和算法工具模型数据为无效数据或重复数据时, 识别子模块将所述无效
数据或重复数据发送至删除子模块;
删除子模块, 用于将速食无效数据或重复数据删除;
分类子模块, 用于从所述识别子模块中获取辨别的有效数据, 将参数 数据归类。权 利 要 求 书 2/2 页
3
CN 115514784 A
3
专利 基于物联网的多源数据采集中台
安全报告 >
其他 >
文档预览
中文文档
13 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共13页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 思考人生 于 2024-03-03 20:14:31上传分享