在数据智能运用的道路上,数据烟囱、信息孤岛遍布。由于顶层设计的缺失及历史原因,企业的各个业务系统、管理系统等的数据壁垒问题严重。另外,由于所用技术不同、开发团队水平不一、开发平台和工具不统一、缺乏规范的数据管理标准,各个系统间的数据难以兼容及集成。数据无法共享,造成一定的数据存储成本及数据管理成本的浪费。因此,对于数字化转型企业来说,追溯数据来源、统一数据定义、分类数据存储、消除无效数据,可以降低数据管理成本,规避数据应用的法律风险,降低产品维护及开发成本。
那么应该如何正确治理数据呢?
1.整理业务规则,统一数据定义
在企业数字化转型过程中,对数据的共同理解与解释至关重要。数据质量问题通常是指同一数据集被解释为不同事物,或者不同数据集被解释为相同事物。无论是业务还是技术元数据,根据业务属性明确数据定义对于提高数据质量相当重要。企业可令数据治理团队运用一定的数据管理应用程序完成业务规则的梳理和数据定义的统一。
2.跟踪外部数据来源
面对竞争激烈的市场环境,企业数据应用的方向不再局限于内部数据,更多着眼于第三方数据,这成为构成分析解决方案的要素之一。无论是合作伙伴数据、供应商数据还是互联网开放数据,都可以提升企业获取新业务价值的资源。然而,依靠传统的数据治理方式并不能追溯数据的真实情况。即使能够确定数据质量,也不能保证数据源头是固定的。因此,数据治理团队有必要建立一个可行的模式,以保证外部数据的正确性。
3.确认影响业务的关键数据指标
在商业场景中,业务需求、业务流程、业务绩效等是关键数据指标。为了衡量一款产品及服务是否能够满足市场需求,必须采用一定的企业绩效指标。不完整、不准确的数据可能导致客户投诉,因此客户流失率、KPI等数据指标的梳理及确定至关重要。
4.分析关键业务的数据质量
在确定了企业内部影响业务的关键数据指标后,数据治理团队还需要了解企业内支持关键业务流程的系统及程序的数据质量。在梳理过程中,数据治理团队可以采用数据分析工具预测数据分析模型,在较短时间内了解数据质量。也可以创建针对数据存储库运行的脚本,解决高级别的跨应用数据分析需求。
5.创建数据自动化管理调控体系
在数字经济时代,众多企业纷纷举起数字化转型的大旗,但大多数企业的数据体系都无法帮其实现数字化转型。数据治理团队应建立自动化管理体系,把关数据治理到数据应用的整个流程,在绩效考核、分析决策、基础数据质量之间建立明确的自动化反馈机制,以业务结果反馈数据治理效果。
6.检测数据质量对业务的影响程度
凭借专业的数据质量分析工具,数据治理团队能够测试数据质量,识别异常数据,以便开展有针对性的数据处理工作。通过业务影响程度测量数据质量,可以帮助企业有效筛查无价值数据,提高数据质量。
另外,数据质量的检测应该是长期存在于数据应用过程中的。一旦企业决定进行数字化转型,就必须定期评估数据质量对业务结果的影响,并且随着新业务场景的出现,对数据质量评估的重点和方法作出相应调整。
7.听取、沟通业务需求,有针对性地治理数据
数据治理团队在对数据进行清洗治理时,首先不要妄图通过数据治理立即解决所有问题,而是应该认真听取业务部门对数据的需求,通过有效沟通,确定行动计划,探索数据内部潜在的问题,为分析决策提供支撑。
8.创建数据质量动态感知台,监控数据治理进程
数据治理团队一般会通过定期会议或者小组讨论等形式同步各自的数据处理进度。但是定期的会议汇报无法随时了解数据治理进程,因此数据治理团队可以创建数据质量动态感知台。数据质量动态感知台可以根据KPI和关键业务操作流程制定数据质量的绩效。在某些需要调整的地方,数据业务分析师可以与CDO沟通调整治理路线和重点。成熟的数据业务分析师可以帮助企业进行数据管理,积极监控、提高数据质量。数据质量动态感知台可以帮助企业管理数据风险,创造更多降低运营成本的机会。
9.建立学习—分享—培训机制
数据治理团队中各成员分工不同,所处理的数据模块也不相同,每个人遇到的数据质量问题都不同,而个人解决起来困难重重。因此团队负责人需要建立一套学习—分享—培训机制,团队成员可以将发现的数据问题及时共享给团队其他成员,一起讨论数据治理的解决措施,帮助团队成员提升自身能力。
10避免“IT怪圈”
数据治理团队如果没有完全打通企业的内外部数据,业务部门的需求便不能随时得到满足,数据治理团队就会进入IT怪圈。首先,前端业务场景不断变化,业务部门需要随时响应。期间,业务部门会不断向技术部门提出各种工作需求,即使有些业务需求简单到并不需要技术人员操作,只须简化数据治理的流程或步骤即可,但由于数据治理得不彻底,技术部门不得不随时响应低端需求。业务场景是瞬息万变的,用户的需求需要随时被满足,技术部门疲于应付前端业务部门低端的需求,导致业务需求响应慢,结果并不令人满意,甚至延误了商机。如此循环下去,技术部门将陷入IT怪圈,无法抽身。