2.6.3 数据中台建设策略
数据中台是企业的一个战略性的基础设施,建设周期长,牵涉范围广,从过去的实践中我们总结了一些宝贵的经验,作为中台的建设策略分享给读者。数据中台的建设可以分为三个阶段,如图2-12所示。
l 起步阶段:搭建基础设施;
l 积累阶段:汇集数据,确立数据中台的核心地位;
l 发力阶段:基于丰富的数据集和完善的分析模型,产出大量有价值的分析结果,推动业务增长。
下面来分别看一下每个阶段要做的事情和注意事项。
1.起步阶段
起步阶段的首要工作是进行基础设施建设,包括服务器的采购、安装和配置,网络规划,集群搭建,各类工具的安装和调试,资源和权限配置等。自建的IT团队通常会自行完成这些工作,使用供应商模式的甲方公司可以通过一个大数据项目完成初始的基础设施建设工作。当然,也有的企业会选择使用云上的大数据PaaS服务,直接跳过基础设施的建设和维护工作。
在有了大数据集群之后,需要通过一个到几个项目来验证平台的各项组件和服务是否能满足业务需求,对于在平台上工作的团队和个人来说也是一个熟悉和磨合的过程。初始阶段应该使用迭代思想,不断地调整平台的技术堆栈、管理模式,为平台以后的发展壮大积累经验。
2.积累阶段
积累阶段是一个相对艰苦而漫长的过程,数据中台的团队要在这个阶段不断地将企业的各个数据源接入进来,逐渐完善数据中台上的数据版图。中台接入的数据越多、越全,就越能发挥出威力,终的理想状态是企业的全部数据都聚集在中台上,前台的任何数据需求都可以直接或稍做处理即可满足。具体来说,这一阶段需要完成如下工作:
1)广泛对接企业的各个数据源;
2)不断完善数据仓库体系,对企业数据规范管理;
3)不断完善数据服务体系,丰富数据供给的协议和形式;
4)搭建实时处理基础设施,提供部分实时处理服务;
5)搭建人工智能及机器学习基础设施,提供数据分析服务;
6)开始实现部分业务需求,产出业务价值。
3.发力阶段
当数据中台的数据版图足够完善时,就会自然地进入发力阶段,这也是数据中台的收获期,在这一阶段,数据中台的优势会体现得淋漓尽致,基于全面和完善的数据体系和强大灵活的数据分析能力,前台和各业务中心对各种数据的需求都可以通过数据中台满足。前台可以集中精力关注业务层面,快速敏捷地实现新业务功能。在发力阶段,团队需要着重开展如下工作:
1)与业务部门和业务中台紧密合作,深入挖掘业务需求,利用丰富全面的企业数据开展多维度的洞察与分析,对业务决策提供强力支持;
2)深度介入业务的在线处理,通过数据中台的实时处理能力解决应用很难实现的业务需求(如用户积分的实时计算);
3)将数据平台上某些成熟的功能产品化,推广到更多部门和业务场景中。
在发力阶段,中台团队也将被锤炼得更加和成熟,对于所管辖的数据会更加了解,对对接的业务更加熟悉,这也是中台架构培育出的另一项重要资产:的人员和团队。
以上三个阶段是较大时间尺度上的切分,但并不意味着只有前一个阶段彻底完成之后才可以启动后一个阶段的工作,企业可以通过项目的方式驱动数据中台建设,在项目实施过程中可以完成数据采集、处理、存储、分析等一系列工作。每一个阶段又可能会涉及一些基础设施的建设,只要合理地安排好项目计划,有规划、有组织地推进项目开发与平台建设之间的工作,就可以实现长期的战略发展和短期业务需求之间的平衡。另外,数据中台是对既有的改造,在建设过程中会面临新业务需求由谁来实现及新老将如何更迭的问题,对此我们建议的做法是:
让数据中台优先承接新业务,逐步替换老。
意思是说,当有新的业务需求时,如果与原有的关联不是很大,应该优先安排在数据中台上实现,因为这可以让数据中台尽快地产生业务价值,帮助企业建立对数据中台的信心,如果只是一味地迁移遗留的功能,作为一个持续的投入过程,在业务端很难看到ROI,这对于企业决策者和数据中台团队来说压力是很大的,也是不明智的。
后,我们对数据中台做一个简单的总结,数据中台是数据平台发展到现在的的理论模型和技术架构,它以大数据技术作为支撑,提供数据仓库、实时处理、数据服务和一定的人工智能及机器学习能力。我们会在本书接下来的章节中着重讨论数据中台的技术实现,也就是如何构建一个大数据平台。