8.7 KiB
开篇词 | 数据中台，是陷阱？还是金钥匙？
你好， 我是郭忆，网易大数据平台的负责人，你叫我老郭就可以了。最近我响应国家号召，添了二宝，成了“超级奶爸”，再加上咱们课程上线，生活比较忙碌。不过忙归忙，一想到能和你在这里相遇，心里多多少少有些紧张和激动。
为了加深彼此的了解，我先简单介绍一下自己。我在网易主要负责大数据平台团队，对内服务于网易各个业务线（包括网易云音乐、严选、有道、新闻，以及已经离开网易大家庭的考拉），主要是为业务提供大数据建设需要的产品和技术；对外呢，主要帮传统企业实现数字化转型，提高运营效率，我们的客户涉及零售、教育、农业、金融、物流等多个行业。
前段时间，我带着团队，在网易完成了多个业务线的数据中台项目落地，有了一些量化的成果，也获得了业务方的高度认可。除此之外，我还总结了一套数据中台建设的方法论，以及经过实践验证的数据中台支撑技术体系，再加上自己在数据领域积累了十多年的经验，所以我觉得自己可以在这个时间点跟你聊一聊，到底什么是数据中台？如何来建设数据中台？数据中台有哪些应用价值？
说到数据中台，你肯定不陌生，从2018年末开始，它突然在大数据圈儿走红。大家聊天如果不提中台，好像就落伍了。也正是因为数据中台，大数据受到了前所未有的关注。作为一个数据人，我非常高兴，也感到责任重大，因为大家对数据中台寄予了很大的期望，把它当作企业数字化转型的金钥匙，投入了上百万，甚至是千万，希望解决企业经营效率的问题。
但是我们也看到一些企业未能达到预期的结果，比如说，指标口径不一致造成数据不可信；数据经常无法按时产出，影响工作效率；敏感数据泄露，引发安全危机。最终的结果就是数据不好用，无法发挥应有的价值。所以有人泼冷水说：数据中台就是一个充满诱惑的陷阱，看上去很美好，但是根本不可能落地成功。那数据中台到底是陷阱？还是金钥匙呢？ 为什么这些项目很难成功呢？
在我看来，这里面既有客观原因，又有主观原因：
-
客观上讲，数据中台的建设是一项系统性工程，从组织架构、支撑技术到流程规范，既要有宏观的顶层设计，又要有强有力的落地执行，所以对整个团队的要求会比较高；
-
从主观上讲，这些企业本身数据建设经验不足，或者还处于比较初级的阶段，不知道数据建设中有哪些痛点，更不知道用什么样的技术手段和管理机制去解决这些问题。
两方面的原因最终造成数据中台项目往往虎头蛇尾，开始的时候规划得很大，实际却草草收场。而我希望通过这门课程，帮你少走一些弯路。
如果你是一名数据开发，每天累死累活地做需求、排查问题，还天天被人怼，嫌质量差、嫌速度慢；如果你是一个企业的数据负责人，正在为如何建设数据中台而犯愁，不知道如何向你的老板描述数据中台的价值；如果你是一个企业的老板，觉得目前企业的经营太过粗暴，决策完全凭经验，拍脑袋决定，需要实现数字化转型，提高企业经营效率。
那么我相信这门课会对你有一定的启发和帮助，这也是我写这个专栏的初衷。
当然了，在你打开这个专栏之前，也许看到过很多“洗脑”的文章，比如《数据中台，企业数字化转型的利器》《迷信中台是一种病，得治》。值得肯定的是，这些文章很好地宣传了数据中台的理念，让数据中台一跃成为网红。
可如果你认真分析这些文章，就会发现它们太过抽象，很难有可以执行落地的方案，也缺少实践的案例，对应用价值的描述缺少量化的成果，更像是一些项目感悟。比如，赋能业务是这些文章反复提到的点，但具体如何赋能？赋能得怎么样？业务得到了哪些改变？这些却很少提及。
总的来说，这些文章与实际数据中台建设的距离比较远，可供学习和参考的内容非常有限。我相信，对你来讲，最想知道的是大量的实践案例，从概念到实现，如何来搭建一个数据中台，让数据好用。 我举个例子，很多文章会提及避免烟囱式的开发模式，可具体怎么做呢？如果你已经是烟囱式的开发模式，实际存在了很多分散的小数仓，那怎么样才能让它变成一个数据中台呢？我想这才是你最关心的问题。
**这也是我写这个专栏最大的不同，那就是结合网易数据中台的实践经验，给你大量一线的案例。**结合这些案例，你能由浅及深地了解数据中台如何在企业落地，而不仅仅浮于概念的表面。此外，在每篇文章结束前，我还为你准备一个思维脑图，帮你梳理每篇文章的知识点，让你形成知识体系，帮你融会贯通。
**如果用一句话概括我的讲解方式，那就是从原理到实现，最后到实践。**你从中既可以看到数据中台支撑技术的全貌，又不会错过每一个实现细节。配合大量的实践案例，你可以深入掌握数据中台的落地过程。
为此，我把内容划分了原理篇、实现篇。
在原理篇中，我会告诉你数据中台的来龙去脉，数据仓库、数据湖、大数据平台以及数据中台的区别，以及它们有什么样的内在联系，然后会跟你讨论什么样的企业适合建数据中台。最后，我会从全局的视角出发，讲解数据中台如何在企业落地。
通过原理篇的介绍，我希望可以回答你三个问题：什么是数据中台，数据中台解决了什么问题，如何来规划数据中台的建设。
实现篇是我讲解的重点，我会基于数据中台支撑技术的整体架构，逐一讲解每个模块的具体实现。
在这部分内容讲解中，我会遵循从问题入手，然后给出解决方案，接着评估解决的效果，最后问题解决不是一次性的工作，为了使得问题得到长久化的解决，需要借助产品化的实现方式，所以最后我会讲如何将管理方法沉淀成产品。
接着我会讲解数据服务化相关内容，比如告诉你为什么要实现数据服务化，如何设计一个数据服务。数据安全也是数据中台的核心内容，尤其是随着最近删库跑路的热点事件，安全问题也被企业越来越重视，那么我们将讨论如何实现精细化的权限管理，如何做好企业数据的备份。
最后，我会讲一下基于数据中台之上的通用数据应用（包括自助取数、可视化分析等）。在这个过程中，我会以电商场景为例，通过大量的案例，帮助你理解这些问题以及问题的解决过程。
通过实现篇的学习，你可以了解企业在数据建设中到底存在哪些痛点，如何解决这些痛点，这些经验和案例可以立即应用到你目前的工作中，帮助你解决当前遇到的问题（例如指标口径不一致、数据无法按时产出……）。
除此之外，我会以网易电商的数据中台为例，从项目立项、推进到成果汇报，详细地描述数据中台在网易电商的落地过程。同时我还会对数据中台未来的方向进行展望，包括实时数据中台、跨云数据中台、自动化代码生成能力、智能元数据管理和增强分析等热门技术方向的探讨。
总的来说，通过这个专栏，你将获得这样几点：
- 一线互联网公司数据中台的实践经验
- 大量实践案例讲解如何躲过数据中台建设的那些坑
- 可落地执行的数据中台建设方法
- 经过实践的数据中台支撑技术体系
最后，我想跟你说点儿掏心窝子的话，数据中台到底是陷阱还是金钥匙？我想这主要取决于你有多懂数据中台，把它用好了，绝对是企业打开数字化转型的金钥匙，用不好，那就是一个充满诱惑的陷阱。
因为我也曾和你一样，刚开始面对数据中台的时候，一点儿经验都没有，后来我一边探索，一边总结，不断反思和复盘，最终总结出自己的一套数据中台建设经验，我希望将这些经验分享给你，让你少走一点儿弯路，相信你只要肯下功夫学习，一定能够让数据中台成功在企业落地。
随时欢迎你在留言区与我互动，我们一起切磋！