一学就会,一做就废!为什么数据分析上云这么难?

CIOAge 数据分析
与传统的内部数据分析方式相比,将数据分析迁移到云端需要新的方法、技能和架构。

像许多其他IT功能一样,数据分析正在向云端迁移。与其他基于云的工作一样,这既带来了机遇,也带来了挑战。

Gartner列举的2021年十大数据和分析技术趋势之一是使用开放的、容器化的分析架构,使分析功能更具可组合性。该研究公司认为,这使得企业能够快速创建灵活、智能的应用程序,帮助数据分析师将深度分析与行动联系起来。

Gartner指出:"随着数据重心向云端转移,可组合数据和分析将成为一种更敏捷的方式,可构建由云、低代码和无代码解决方案支持的分析应用程序。"

云技术能够将企业数据分析提升到一个新的水平。

[[414029]]

创新服务机构Loveurope and Partners(LEAP)的系统和技术总监Aidan Taub说:"云能够实现高性能计算负载所需的可伸缩性。"

Taub说:"随着世界所有一切不断的数字化,企业需要能够利用指数级规模的文件数据来进行开发。当你拥有大量非结构化数据时,比如在LEAP处理的视频、图像和音频,你永远不知道下一项工作可能有多繁重。传统的分析方式无法像云那样进行扩展。"

然而,与传统的内部批量分析方法相比,云中的数据分析需要不同的方法、技能、架构和经济性。伴随着所有这些变化,必然要克服很多障碍。

以下介绍企业可能面临的一些挑战,以及当他们迁移到云中进行数据分析时解决这些挑战的方法。

害怕失去控制,以及对未知的恐惧

数据分析对企业来说是高度战略性的,对于习惯完全控制此类资源的技术领导来说,将分析过程转移到云端的想法可能会让他们望而生畏。

德勤咨询公司高级分析支持主管Anthony Abbattista曾与众多IT高管合作,致力于转向基于云的数据分析,他说:"我们看到客户面临的关键挑战是企业惯性/对失去控制的恐惧。"

Abbattista说:"IT和CIO的传统角色一直是保护数据资产并成为守护者。"他说,对一些人来说,云技术给现状带来了挑战,因为这可以更快地推向市场;例如,减少了产品选择和评估,按需供应,不需要大量的增量资本支出,等等。

Abbattista说:"首席数据官和CIO应共同努力,审查并熟悉云平台,这样他们至少能够与竞争对手一样快的获得商业价值和竞争优势。这可能需要采用市场上可接受的、经过验证的新兴模型,而不是从头开始设计/构建分析环境。"

保险提供商公共机构员工全球保障公司(WAEPA)CIO Brandon Jones介绍说,由于现有分析流程缺乏灵活性,很多企业在研究新分析功能方面进展缓慢。他说:"这导致尝试新功能和推动创新的动机和积极性减少了。"

为了克服这个问题,WAEPA的IT部门使用了一个支持云的沙箱环境来建立试错思维过程,使用关键相关方的关键性能指标,并创建了原型优先的分析环境。

做出转变

除了克服自己认为的失控之外,IT领导还需要处理实际向云的迁移,确保服务不会中断。

Taub说:"这实在令人头疼。对于很多IT领导来说,最难的就是上云之路。但如果他们选择了正确的解决方案,就不是那么难了。"

Taub说,将数据分析迁移到云端时,很多情况下IT领导都是从"直接迁移"的方法开始,将现有的操作移植到云端。他补充道:"这通常意味着重新设计应用程序和系统,针对云来重新进行架构。"

2019年,LEAP对其老旧数据基础设施进行了全面改革,LEAP使用Qumulo的分析平台将大量非结构化文件数据迁移到云中。过去,LEAP的文件数据分散在一系列不同的老旧存储系统中,对于数据管理员来说,在工作流的不同位置管理和定位数据是极其繁重的工作。

Taub说:"幸运的是,Qumulo帮助我们迁移了所有的数据,不需要为云重构应用程序。我建议找到一种工具,以简化在多个环境之间复制和提取数据。"

通过此次迁移,该公司优化了数据分析,并将性能提高了240倍。利用分析,公司可以看到连接了多少个客户端,谁使用了最多的带宽,以及系统在哪里快速增长。

Taub说:"我们创造性工作流程的成功在很大程度上取决于我们使用云端数据分析的能力。我们有一个由数百名艺术家、设计师和动态图形编辑人员组成的全球网络,他们都远程工作,所以我们需要利用云来高效、安全地合作创意项目。如果没有基于云的数据分析,我们的制片过程将陷入停顿。"

掌握合适的技能

成功的IT工作似乎总是归功于掌握了必要的技能。将分析迁移到云端也不例外。

德勤咨询公司发现,对技能的需求开始发生变化。Abbattista说:"在传统分析/BI(商业智能)中,云分析环境需要更多的'全栈'思维,而不是由专家来支持技术栈的每一部分。"

他补充道:"为了应对这一挑战,这些新时代环境下的技术团队需要了解云平台上的产品,采用标准模式,然后随着新技术、工具和产品的出现而不断发展。"

Josh Jewett最近离职了,不再担任零售商Dollar Tree的CIO。他指出,那些选择在云环境中构建自己的分析平台或者依赖供应商系统的企业,应具备特定的内部技术专业知识。

Jewett说,这包括从数据湖中创建、维护和获取分析的技能,还能够很好地利用云原生或者第三方人工智能和机器学习功能,从环境中获得更多的深度分析结果。

Jewett说:"可以通过有经验的合作伙伴和顾问来解决这些问题。理想的安排是从外部专家那里获得经验,这样一旦与他们签订合同后,公司就拥有了知识和专业技能,根据需要继续发展基于云的分析。"

在Dollar Tree公司任职期间,Jewett帮助公司实现了很多系统的现代化,包括数据分析。他说:"和其他许多零售商一样,我们的公司采用了混合云策略。"公司部署了SaaS平台,为关键业务功能提供特定的分析功能。

Jewett说:"这方面的例子包括库存效率、定价优化、损失预防缓解、人才获取和绩效管理等工具。"该公司还在云环境中自己开发了一些分析应用程序,发挥了云的灵活性、可扩展性和迅速面市等优势。

保护数据

无论云服务提供商多么强调其基础设施的安全性,很多客户还是会始终关注其数据在云中的实际安全性。

在数据分析方面尤为如此,因为从数据分析中获得深度分析结果意味着竞争优势,人们担心泄露客户信息等高度敏感的数据。

Taub说:"当把公司的宝贵数据从私有数据中心转移出去的时候,安全是最重要的。LEAP利用了包括自由职业人才在内的全球员工网络,这意味着我们云中的数据必须是安全的--无论用户是从内部还是从外部访问这些数据。"

最大的安全问题之一是怎样控制对云应用程序和数据的访问。

软件提供商Precisely的首席数据和信息官Amy O'Connor介绍说:"人们能够方便的使用云应用程序实际上带来了挑战,其中许多挑战的根源在于人们可能会无意中造成安全、隐私和经济问题。"

O'Connor说:"在云账户之间切换,安全地存储和交换密钥成了安全问题。应针对数据的使用度进行强有力的治理。与本地部署相比,这在云端更为紧迫,因为人们很容易以未经授权的方式复制并使用数据。"

Precisely有一个混合多云模型,利用多个云供应商满足其计算和存储需求。O'Connor说:"基于云的数据湖是我们存储大量数据的地方。如果数据来源于云端,我们就从那里开始处理数据。如果我们的分析需求本质上是突发性的,那我们就利用云。如果我们需要快速开始分析处理,我们就从云端开始。当我们需要处理非结构化数据时,当我们使用包括机器学习在内的高级分析处理时,我们会利用基于云的数据湖。"

保护数据不要掉入云花费的陷阱中

尽管使用云服务可以帮助企业避免内部部署存储系统等成本,但费用很快就会失控或者超出预期。

Taub说:"预算一直是个大问题。完全通用的数据架构可能会成为IT开支陷阱。在决定将数据分析迁移到云端时,企业通常会感到压力,不得不支付高昂的前期成本,被不符合当前需求的长期合同牵着鼻子走。"

Taub说:"在评估云平台时,不要害怕货比三家,要寻找适合您当前分析需求的解决方案,而且能够根据未来的需求灵活扩展。"

O'Connor说,虽然从云中起步很容易,但也很容易将错误类型的工作迁移到云端,导致不再需要云应用程序和资源后,这些资源仍在运行。

O'Connor说,控制云成本最有效的两种方法是控制云账户的创建方式,以及完全透明地了解谁在使用云资源。

O'Connor说:"为了解决第一个问题,我们将每家提供商的所有云帐户迁移到一个'主帐户 '中,我们集中控制谁可以创建新的云帐户。需要新的云资源的个人和团体都要经过正式的申请过程。申请必须包括业务理由、部门预算信息和业务所有者。"

至于透明性,只要申请被批准了,中央部门就会在主帐户下创建新的云帐户。O'Connor说:"这种治理政策使我们能够透明地了解云提供商为我们开具发票的成本。每一个帐户都是用申请中提供的信息创建的,然后我们可以使用云提供商的门户网站或者控制台,来监控与每一项初始申请相匹配的支出。"

Precisely公司将这些支出信息用于内部退款模型,把云成本加到申请者的预算中。O'Connor说:"IT使用这些方法推动云成本的问责制,并确保我们出于正确的业务理由而适当地支出。

 

责任编辑:赵宁宁 来源: 今日头条
相关推荐

2021-06-01 06:01:35

SSO单点登录

2022-09-19 16:38:59

数据产品SaaSSnowflake

2019-08-30 14:58:47

JavaScript程序员编程语言

2024-10-22 11:34:34

数据分析统计学

2012-11-27 10:36:19

公有云Azure数据中心

2020-09-15 12:40:16

回溯算法代码回溯法

2017-01-23 13:08:46

大数据客户画像技术

2020-11-10 22:53:54

oracle数据库

2017-02-09 15:46:09

数据分析互联网

2021-06-05 18:00:18

数据分析运营

2023-03-26 19:18:27

2020-12-08 05:41:46

人工智能人机融合机器学习

2020-02-28 16:10:13

携号转网运营商中国电信

2020-12-10 13:37:08

人工智能人机融合

2012-05-31 09:33:28

数据分析

2014-12-30 10:05:42

操作系统

2017-07-06 15:44:33

2020-11-19 15:34:47

前端招聘开发

2011-05-12 14:57:58

2022-06-12 23:36:26

微服务架构单体应用

51CTO技术栈公众号