当然,实时数据现在已经“民主化”,但这只是个开始

当然,现在实时数据已经开始“民主化”,但这只是一个起点

数据概念

实时数据似乎无处不在 — 在增强现实、数字双胞胎、5G、物联网、人工智能、机器学习、可穿戴设备和信标技术中。人们可能会原谅地认为,当今的企业正在通过每个重要的任务领域实时传输数据。我们正在努力实现这一点 — 这在很大程度上要归功于许多开源解决方案,如Apache Flink、Kafka、Spark和Storm,以及基于云的平台。然而,在达到数据以光速或接近光速在组织之间流动之前,还有很多工作需要做。

首先,根据IDC的约翰·里德宁(John Rydning)的话,需要一个水平设置:“通常,流数据和实时数据这两个术语会一起使用,有时还可以互换使用。虽然不是所有产生的流数据都是实时的,也不是所有实时数据都是流数据,但组织表示超过三分之二的流使用案例需要超高实时或实时数据。”

另外:每个人工智能项目都是一个数据项目,但这是一条漫长而曲折的道路

甚至还有超高实时数据正在使用中,而各公司都急于使其发挥作用。Hazelcast的工程总监Avtar Raikmo表示:“对捕获和处理实时数据的价值的理解正在以最快的速度增长。通过帮助个人用户或工程师摆脱复杂性的平台,加速了行业的采用。例如,SQL支持等创新,有助于使其民主化,为绝大多数人而非少数精英提供使用便利。”

其中有一系列使用案例,包括“用于音频和视频流的边缘计算、用于人工智能和机器学习处理的计算机视觉,或者甚至是主动降噪耳机”,Raikmo说道。另一个新兴的应用案例是数字双胞胎,特别是在移动性方面。“能够捕获来自汽车、卡车或火箭的实时数据和遥测使组织能够模拟实时场景。数字双胞胎可用于优化实际行驶路线、能源使用或改善辅助驾驶。在体育界,一级方程式车队的战略师确定最佳的停车和轮胎组合以最大程度地提高比赛表现。”

然而,全面实现实时或超高实时数据仍面临许多技术和组织问题。“实时数据部署通常使用较高性能的技术,以满足需要即时决策的大量数据和快速分析,”Actian的高级副总裁Emma McGrattan表示。“对于某些行业(如金融服务)产生的大量数据,要实现实时性需要对硬件、软件和网络组件进行额外的资源投资。”

另外:人工智能如何快速而激动地改变IT行业

McGrattan表示,需要投资“提高数据基础设施和服务的可用性和可靠性”。“对于较低的数据量,现有基础设施可能已经可以使用,只需要对应用程序进行修改以进行实时分析和部署。”

捕获、可视化和存储实时数据的过程需要“在能处理大量和复杂数据流的基础设施组件上进行大量投资,”ManageEngine和Zoho的产品管理负责人Rakesh Jayaprakash说。“特别是当实时数据流需要一定程度的预处理时,情况尤为如此。不幸的是,许多组织,特别是中小型企业,缺乏处理此类密集处理的必要基础设施。”

许多公司的基础设施还未准备好,组织本身也未做好准备。“有些人尚未理解或看到实时性的价值,而其他人则完全投入其中,使用为整个组织而设计的流式解决方案,”Raikmo表示。“将运动中的数据集合与水印和窗口等高级技术结合起来并不是一件容易的事。它需要将多个流进行关联,将数据在内存中进行组合,并产生合并的有状态结果集,同时需要具备企业级的规模和弹性。”

另外:实时革命已经到来,但分布不均衡

好消息是,并不是每一个数据都需要实时传输或实时获取。Jayaprakash指出:“组织往往陷入这样的陷阱,投资资源使得他们可视化的每一个数据点都是实时的,即使这并不是必须的。”然而,“这种做法可能导致巨额开支,并且变得不可持续。”

Jayaprakash称:“尽管可视化实时数据比分析几分钟前的数据更有吸引力,您必须仔细评估建立实时数据流和可视化所带来的成本效益比和投资回报率。此外,组织应该在选择希望实时传输的指标时行使尽职调查。”

IDC的Amy Machado在博文中提出仔细考虑实时交付的需求:“我经常说,‘让用例引领’,它应该指导您对实时架构的思考,理想情况下,这是对现有框架的扩展,以避免创建数据孤岛。”

另外:企业领导者继续努力利用数据的力量

Machado概述了有关实时数据交付的关键问题:

  • “我们希望实现什么业务利益?”
  • “我们需要哪些见解来实现这些目标?”
  • “谁需要这些见解?他们在哪里需要?”
  • “我们可能需要与哪些其他系统集成以获取上下文或将见解业务化?”

Jayaprakash建议优化实时数据投资:“仔细选择真正需要实时报告的指标。操作和维护实时数据流所需基础设施的复杂性引入了潜在的故障点,需要专门的人员进行故障排除和维护。为了减轻由于流故障导致的数据连续性问题,您需要实现故障保护机制,这增加了总体成本。”