物联网正在不断产生不可思议的数据量。分析师预计,2019年将有266.6亿台物联网设备投入使用。此外, IDC 预计,到2025年,物联网设备将产生超过90 zettaby te s的数据。
所有这些数据意味着什么?
通过流式分析,它意味着可以对拯救生命事件的实时反应。例如,卡车接收关于道路上结冰的数据,然后,卡车不仅可以提醒驾驶员,而且还可以提醒其他车辆结冰的确切位置。
为了使这种实时数据能够以高容量和高速度从物联网 传感器 和网络操作中不断流入组织,您需要一种不同于传统静态事务数据所需的数据管理解决方案。
以卡车为例。想象一下,冬天的时候,你在路上开着一辆卡车。贵公司为车辆安装了物联网传感器,可持续 监控 车轮打滑、气温、速度和转速情况。突然,当气温降至冰点以下时,车轮打滑 测量 值急剧上升,如果卡车或司机能在几毫秒内做出反应,事故就可以避免,如果没有,传感器数据就没有意义。
事件流处理
事件流处理系统使您能够通过实时数据清理和分析及时处理这些数据。
让我们定义事件流处理:“事件”是在明确定义的时间发生并记录在数据字段集合中的任何事件; “流”是数据事件的持续流动,或者是从成千上万个连网设备流入企业内部和企业周围的持续数据流;“处理”是指分析数据的行为。
当事件流处理系统管理来自物联网传感器的数据时,它们会执行将原始数据转化为实时操作信息的过程。随着大量数据快速流入系统,事件流处理系统会立即清理、规范和聚合内存中的数据。同时,在这些数据流中编码的实时分析模型将执行分析,以确定特定事件是否相关,并在需要紧急行动时生成即时警报。
实时分析与事后分析
事件流处理系统实时过滤数据。因为这些系统最初 存储 数据的内存是有限的,所以事件流处理系统决定要丢弃哪些数据或者要保存哪些数据,甚至可能以聚合形式保存,因为多个事件通常比单个事件更具信息性。
例如,当卡车在结冰的道路上有打滑的危险时,网络边缘的实时分析会立即提醒司机减速,甚至自动减速。
相比之下,传统的关系 数据库 管理系统(RDBMS)存储所有数据,并在事后进行清理和分析。关系数据库管理系统从预定义的来源收集数据,并将其存储在存储系统中,如数据集市。一旦进入存储,数据就会被清理、规范化并整合到数据仓库或Hadoop中。只有这样,用户才能通过报告、历史分析,甚至预测分析和 机器学习 ,从数据中获得意义。
例如,对于事件流处理,如果传感器跟踪气温并且气温保持稳定,则系统不会存储持续的读数。相反,它可能只保留指示变化的读数。
多阶段分析提供了优势
事件流处理为您提供了多个从数据中提取价值的机会。对于传统的数据管理,数据是历史的,不会改变。它可能会在事后进行分析一两次,而不是更多。
事件流处理系统首先实时分析数据,从而能够对事件做出即时响应。然后,您可以实时或
责任编辑:ct