gitbook/数据中台实战课/docs/216440.md
2022-09-03 22:05:03 +08:00

68 lines
8.7 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

# 开篇词 | 数据中台,是陷阱?还是金钥匙?
你好, 我是郭忆,网易大数据平台的负责人,你叫我老郭就可以了。最近我响应国家号召,添了二宝,成了“超级奶爸”,再加上咱们课程上线,生活比较忙碌。不过忙归忙,一想到能和你在这里相遇,心里多多少少有些紧张和激动。
为了加深彼此的了解,我先简单介绍一下自己。我在网易主要负责大数据平台团队,对内服务于网易各个业务线(包括网易云音乐、严选、有道、新闻,以及已经离开网易大家庭的考拉),主要是为业务提供大数据建设需要的产品和技术;对外呢,主要帮传统企业实现数字化转型,提高运营效率,我们的客户涉及零售、教育、农业、金融、物流等多个行业。
前段时间,我带着团队,在网易完成了多个业务线的数据中台项目落地,有了一些量化的成果,也获得了业务方的高度认可。除此之外,我还总结了一套数据中台建设的方法论,以及经过实践验证的数据中台支撑技术体系,再加上自己在数据领域积累了十多年的经验,所以我觉得自己可以在这个时间点跟你聊一聊,**到底什么是数据中台?如何来建设数据中台?数据中台有哪些应用价值?**
说到数据中台你肯定不陌生从2018年末开始它突然在大数据圈儿走红。大家聊天如果不提中台好像就落伍了。也正是因为数据中台大数据受到了前所未有的关注。作为一个数据人我非常高兴也感到责任重大因为大家对数据中台寄予了很大的期望把它当作企业数字化转型的金钥匙投入了上百万甚至是千万希望解决企业经营效率的问题。
但是我们也看到一些企业未能达到预期的结果,比如说,指标口径不一致造成数据不可信;数据经常无法按时产出,影响工作效率;敏感数据泄露,引发安全危机。最终的结果就是数据不好用,无法发挥应有的价值。所以有人泼冷水说:数据中台就是一个充满诱惑的陷阱,看上去很美好,但是根本不可能落地成功。**那数据中台到底是陷阱?还是金钥匙呢? 为什么这些项目很难成功呢?**
在我看来,这里面既有客观原因,又有主观原因:
* 客观上讲,数据中台的建设是一项系统性工程,从组织架构、支撑技术到流程规范,既要有宏观的顶层设计,又要有强有力的落地执行,所以对整个团队的要求会比较高;
* 从主观上讲,这些企业本身数据建设经验不足,或者还处于比较初级的阶段,不知道数据建设中有哪些痛点,更不知道用什么样的技术手段和管理机制去解决这些问题。
两方面的原因最终造成数据中台项目往往虎头蛇尾,开始的时候规划得很大,实际却草草收场。而我希望通过这门课程,帮你少走一些弯路。
如果你是一名数据开发,每天累死累活地做需求、排查问题,还天天被人怼,嫌质量差、嫌速度慢;如果你是一个企业的数据负责人,正在为如何建设数据中台而犯愁,不知道如何向你的老板描述数据中台的价值;如果你是一个企业的老板,觉得目前企业的经营太过粗暴,决策完全凭经验,拍脑袋决定,需要实现数字化转型,提高企业经营效率。
那么我相信这门课会对你有一定的启发和帮助,这也是我写这个专栏的初衷。
当然了,在你打开这个专栏之前,也许看到过很多“洗脑”的文章,比如《数据中台,企业数字化转型的利器》《迷信中台是一种病,得治》。值得肯定的是,这些文章很好地宣传了数据中台的理念,让数据中台一跃成为网红。
可如果你认真分析这些文章,就会发现它们太过抽象,很难有可以执行落地的方案,也缺少实践的案例,对应用价值的描述缺少量化的成果,更像是一些项目感悟。比如,赋能业务是这些文章反复提到的点,但具体如何赋能?赋能得怎么样?业务得到了哪些改变?这些却很少提及。
总的来说,这些文章与实际数据中台建设的距离比较远,可供学习和参考的内容非常有限。我相信,对你来讲,最想知道的是大量的实践案例,从概念到实现,如何来搭建一个数据中台,让数据好用。 我举个例子,很多文章会提及避免烟囱式的开发模式,可具体怎么做呢?如果你已经是烟囱式的开发模式,实际存在了很多分散的小数仓,那怎么样才能让它变成一个数据中台呢?我想这才是你最关心的问题。
**这也是我写这个专栏最大的不同,那就是结合网易数据中台的实践经验,给你大量一线的案例。**结合这些案例,你能由浅及深地了解数据中台如何在企业落地,而不仅仅浮于概念的表面。此外,在每篇文章结束前,我还为你准备一个思维脑图,帮你梳理每篇文章的知识点,让你形成知识体系,帮你融会贯通。
**如果用一句话概括我的讲解方式,那就是从原理到实现,最后到实践。**你从中既可以看到数据中台支撑技术的全貌,又不会错过每一个实现细节。配合大量的实践案例,你可以深入掌握数据中台的落地过程。
为此,我把内容划分了原理篇、实现篇。
在原理篇中,我会告诉你数据中台的来龙去脉,数据仓库、数据湖、大数据平台以及数据中台的区别,以及它们有什么样的内在联系,然后会跟你讨论什么样的企业适合建数据中台。最后,我会从全局的视角出发,讲解数据中台如何在企业落地。
通过原理篇的介绍,我希望可以回答你三个问题:什么是数据中台,数据中台解决了什么问题,如何来规划数据中台的建设。
实现篇是我讲解的重点,我会基于数据中台支撑技术的整体架构,逐一讲解每个模块的具体实现。
![](https://static001.geekbang.org/resource/image/97/d9/9744956fd9527f9b50e90f214d67f8d9.jpg)
在这部分内容讲解中,我会遵循从问题入手,然后给出解决方案,接着评估解决的效果,最后问题解决不是一次性的工作,为了使得问题得到长久化的解决,需要借助产品化的实现方式,所以最后我会讲如何将管理方法沉淀成产品。
接着我会讲解数据服务化相关内容,比如告诉你为什么要实现数据服务化,如何设计一个数据服务。数据安全也是数据中台的核心内容,尤其是随着最近删库跑路的热点事件,安全问题也被企业越来越重视,那么我们将讨论如何实现精细化的权限管理,如何做好企业数据的备份。
最后,我会讲一下基于数据中台之上的通用数据应用(包括自助取数、可视化分析等)。在这个过程中,我会以电商场景为例,通过大量的案例,帮助你理解这些问题以及问题的解决过程。
通过实现篇的学习,你可以了解企业在数据建设中到底存在哪些痛点,如何解决这些痛点,这些经验和案例可以立即应用到你目前的工作中,帮助你解决当前遇到的问题(例如指标口径不一致、数据无法按时产出……)。
除此之外,我会以网易电商的数据中台为例,从项目立项、推进到成果汇报,详细地描述数据中台在网易电商的落地过程。同时我还会对数据中台未来的方向进行展望,包括实时数据中台、跨云数据中台、自动化代码生成能力、智能元数据管理和增强分析等热门技术方向的探讨。
总的来说,通过这个专栏,你将获得这样几点:
* 一线互联网公司数据中台的实践经验
* 大量实践案例讲解如何躲过数据中台建设的那些坑
* 可落地执行的数据中台建设方法
* 经过实践的数据中台支撑技术体系
最后,我想跟你说点儿掏心窝子的话,数据中台到底是陷阱还是金钥匙?我想这主要取决于你有多懂数据中台,把它用好了,绝对是企业打开数字化转型的金钥匙,用不好,那就是一个充满诱惑的陷阱。
因为我也曾和你一样,刚开始面对数据中台的时候,一点儿经验都没有,后来我一边探索,一边总结,不断反思和复盘,最终总结出自己的一套数据中台建设经验,我希望将这些经验分享给你,让你少走一点儿弯路,相信你只要肯下功夫学习,一定能够让数据中台成功在企业落地。
随时欢迎你在留言区与我互动,我们一起切磋!