企业加速数字化转型之旅时不断发现传统的数据管理方法就是将数据整合到一起,以中心化的形式对其进行管控——清洗、建模、分析。然而,随着数据量的增加、企业上云、物联网的发展,数据的分散式存在和存储将使传统型方法给企业带来诸多挑战。
那么,如何解决这种挑战?在Gartner 2022年重要战略技术趋势分析演讲中,第一个提到的即数据编织(Data Fabric),一种新型的数据管理和数据整合的理念和架构。
Denodo认为数据编织架构将成为分布式企业的基础。随着数字业务和在线销售渠道激增以及远程办公成为常态,形成了一个由设备、应用程序和数据基础架构组成的复杂多样的生态系统。尤其值得一提的是,数据基础架构可涵盖本地部署、单云、多云、混合云或这些部署的组合,可跨越区域边界,任何单一的解决方案都无法将所有这些数据整合在一起。
2022年,许多组织都将创建一个数据编织架构,用以促进整个企业范围内的数据进行整合和分析,并实现许多数据集成、数据准备、探索任务的自动化。数据编织架构使用逻辑、物理或混合方法统一分布在不同位置、具有不同格式和传输时间的数据资产。若各组织能够选择最合适的方法,利用这些数据编织架构就可以缩短交付时间并可以将其作为来年的首选数据管理方法。
事实上,Forrester最近的一项TEI研究表明,“数据编织架构技术使用人工智能/机器学习实现了数据管理功能自动化,并通过数据目录、数据准备和数据建模提供其他语义功能,从而使数据虚拟化的发展更上一层楼。”
除了数据编织,Denodo预计2022年还将出现以下几大趋势:
1. 决策智能化可以更好地支持企业范围的决策制定
各组织一直在获取大量数据,并需要利用这些信息来推动业务成果的产出。人工智能/机器学习驱动的决策支持系统使常规控制面板和商业智能平台变得更加强大,决策智能化在企业中的应用随之变得越来越普遍。决策智能化是增强版(通过人工智能/机器学习)常规商业智能控制面板的组合,借助该组合,企业可以预测一组特定行动的成果并建议一个相对更好的行动,从而为决策支持系统提供帮助。
鉴于机器生成的决策能达到人类无法企及的处理速度,2002年,决策智能化有望提升评估质量、加快评估速度。注意:机器仍缺乏意识,无法理解决策成果的含义。希望各组织能将决策智能化纳入其商业智能堆栈,以便持续衡量成果,进而通过相应地调整决策参数来避免不符合预期的后果。
2. 数据网格架构将变得更具吸引力
随着各组织规模不断扩大,复杂程度越来越高,中央数据团队不得不与一系列职能部门和相关数据使用者打交道。因此,很难理解所有跨职能团队的数据需求,也难以向其使用者提供正确的数据产品集。数据网格是一种用于数据分析的新型去中心化的数据架构方法,旨在消除瓶颈,使了解数据的人员更容易做出数据决策。
2022年及以后,拥有分布式数据环境的大型组织将会实施数据网格架构。由于大型组织内的不同职能部门或领域更理解其数据的正确使用方式,因此,让各领域定义和实施自己的数据基础架构可减少迭代次数,最终帮助满足业务需求并获得高质量数据基础架构。由此还可以消除集中式基础架构的瓶颈,并赋予各个领域针对具体情况使用最佳工具的自主权。数据网格会创建一个统一的基础架构,使各领域能够创建并共享数据产品,同时执行可互相操作性、质量、管理和安全的标准。
3. 组织将采用可组合数据和分析,为数据使用者提供支持
一体化架构已过时,但在缩小占用量方面仍值得期待。全球许多公司都要处理分布于不同区域、云和数据中心边界的数据,因此几乎不可能把这些数据整合到一个中心位置。鉴于此,至关重要的是组织可以从可组合数据架构中挑选特定工具,来构建其部分或全部数据基础架构,也为数据基础架构带来更多灵活性。数据编织架构是可组合架构一个很好的例子,可以使用数据目录工具、语义工具、数据集成工具和元数据工具来创建此数据编织架构。
数据管理基础架构多种多样,各组织通常使用多个系统或模块,共同构成了其数据管理环境。能够构建低代码、无代码数据基础架构,使企业用户可以将所需数据管理堆栈组合在一起,降低其对IT的依赖,从而提高数据灵活性和用户友好度。
2022年,预计各组织将加快构建可组合数据和分析环境的步伐,这样,组织根据自身需求将数据基础架构堆栈组合在一起之后,就可以避免供应商的束缚,获得更大的灵活性。
4. 小型、广泛的数据分析将开始流行
人工智能/机器学习正在改变组织的运营方式,但要获得成功,还要依赖于历史数据分析,即大数据分析。大数据分析仍有其作用,但在许多情况下,此类陈旧的历史数据发挥的价值将再衰三竭。
2022年,各组织将利用小型数据分析为其个人客户创造高度个性化的体验,以在短时间内了解客户对特定产品或服务的看法。广泛的数据分析需要结合不同数据来源的结构化、非结构化和半结构化数据,且是相对较新的概念,同时考虑到各组织结合使用地理空间数据、机器生成数据、社交媒体数据和各种其他数据类型的速度,因此此概念尚未得到广泛采用。但我们进入崭新的一年之后,预计小型、广泛的数据分析在组织中将会获得更大的吸引力。
5. 进一步采用云
2022年,我们可以预计云采用率会进一步提高。这是顺理成章的事情,因为最近的研究表明,将高级工作负载转移到云的企业,其比例同比增加了25%。
尽管云越来越流行,应用也越来越广泛,但许多企业仍面临一些困难。比如,要将数据存储在多个位置会尤为棘手。由于涉及的数据数量庞大,且数据处理机制多种多样,因此,将所有数据整合到同一位置的传统集成方法已不可行。
明年,云项目的重点将转向集成。构建统一的基础架构,从而实现跨多个位置访问和管理数据,这将成为未来的优先选项。因此,各企业将转向可视化的数据基础架构,来支持与供应商无关的架构。从长远来看,这将使企业变得更加灵活智能。