|
|
|
|
|
# 085 | 大公司的大数据战略得失：抱团取暖难敌插管吸血者
|
|
|
|
|
|
|
|
|
|
|
|
开源项目最讨厌的就是只进不出的参与者。一个公司如果只把开源项目拿去赚钱，却不拿自己的改动和成果反哺社区，开源项目就难以持续发展下去。
|
|
|
|
|
|
|
|
|
|
|
|
所以，抱团取暖的前提是大家都愿意主动贡献自己的成果，但亚马逊是一个另类，它从开源社区拿了很多东西却从不贡献开源。这样只会“插管吸血”的亚马逊，是不是会就此破坏了开源社区良好的氛围呢？
|
|
|
|
|
|
|
|
|
|
|
|
在大数据的发展战略上，除了自建轮子的谷歌、微软和阿里巴巴，各大公司大多走向了一条抱团取暖的道路；而这个抱团取暖的产物，就是你搭一个模块、我搭一个模块，大家一起开源出来，组成了一个叫作Hadoop的生态圈。
|
|
|
|
|
|
|
|
|
|
|
|
如果要具体来说一说，雅虎当然是Hadoop生态圈里最大的贡献者，但是Facebook、Twitter和LinkedIn的贡献也不算少。eBay和IBM的功劳自然也不可忽略，大家前前后后都做了不少事。最近来说，加州大学伯克利分校的AMP实验室的Spark贡献也是十分突出。
|
|
|
|
|
|
|
|
|
|
|
|
为什么这些公司会选择抱团取暖？我简单总结了一下，主要有3个原因：
|
|
|
|
|
|
|
|
|
|
|
|
1. 技术和资源储备还不够，单靠自己没法搭建起来；
|
|
|
|
|
|
|
|
|
|
|
|
2. 业务需求不迫切，还没到非要自己搭轮子的地步；
|
|
|
|
|
|
|
|
|
|
|
|
3. 公司可以熟悉开源文化，通过这种方式，公司对开源社区会更加友好。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
那么，这些公司的“抱团取暖”带来了哪些好处呢？
|
|
|
|
|
|
|
|
|
|
|
|
首先，这些参与其中的公司们在很长一段时间内保持了亲密合作关系，也很快让Hadoop生态圈变得丰富起来，变得越来越可用，越来越实用。
|
|
|
|
|
|
|
|
|
|
|
|
其次，这也让更多并未参与其中的创业公司获得加持，以极低的成本获得了大数据分析的能力。湾区的创业氛围因此变得无比美好，客观来说这样的合作确实促进了创业的发展。毕竟创业者更需要关注业务逻辑，而具体的系统实现可以利用开源社区的产品和架构来快速解决。
|
|
|
|
|
|
|
|
|
|
|
|
只是在很多时候，有钱能捡的话，就一定会有人去捡。随着这个生态圈的壮大，试图通过这个生态圈牟利的人和公司也越来越多，而这在很大程度上违背了雅虎、Facebook、Twitter和LinkedIn等公司最初的设想。
|
|
|
|
|
|
|
|
|
|
|
|
首先出现的当然是把Hadoop打包卖给其他企业的公司。Cloudera就是这样一家公司，MapR也是，Hortonworks也是，而最后这家公司干脆原本就是雅虎的Hadoop团队，他们看着别人捡钱心里不爽，所以特意从雅虎跳出来创建的。
|
|
|
|
|
|
|
|
|
|
|
|
然而，和当初抱团取暖时“难兄难弟们”的无私贡献相比，因为是带着明确的商业目的，这一类公司对于Hadoop的态度就多少有些不一样了。
|
|
|
|
|
|
|
|
|
|
|
|
不过，就算它们的目的是为了把东西卖出去，很多事情还是要做好的。相较来说，毕竟当时的Hadoop作为抱团取暖的产物，很多时候只算是一个可以用，却并不是最好用的东西。对于那些传统企业来说，Hadoop的方方面面都不符合他们的要求，比如安全问题、使用者的权限管理和监控、效率和资源的消耗等等方面都不尽如人意。
|
|
|
|
|
|
|
|
|
|
|
|
这样看来，我们必须说，Cloudera和Hortonworks对于Hadoop本身的发展是投入了大量资源的，对于Hadoop相关生态圈的模块也是投入了很多人力物力的。即便这些公司是打算靠这个赚钱的，它们也的确是为Hadoop生态圈的繁荣贡献了自己的力量。
|
|
|
|
|
|
|
|
|
|
|
|
不过，在Hadoop生态圈里面赚钱最多的显然不是这些公司。Hortonworks股票上市以后估值掉了50%，Cloudera在上市前自砍50%的估值血淋淋地上市，这两件事情都说明这个行当的利润并没有想象中那么高。这些公司虽然都活着，但是恐怕活得也是有些艰辛。
|
|
|
|
|
|
|
|
|
|
|
|
要是说哪家公司借着Hadoop生态圈的东风，迅速青云直上了？无疑是亚马逊。亚马逊的AWS之所以能如火如荼地开展起来，离不开Hadoop生态圈的贡献。亚马逊的Elastic MapReduce服务自推出以后就非常受欢迎，这个云上的Hadoop系统，给亚马逊带来了滚滚红利。
|
|
|
|
|
|
|
|
|
|
|
|
但是回头看一下亚马逊到底给这个生态圈做了什么贡献呢？几乎屈指可数。即使不能说是零，起码也可以说是无限接近于零了。虽然它也有一些代码提交，但主要还是为了解决Hadoop生态圈与亚马逊其他云服务如何打交道的能力。也就是说，亚马逊做出的最大贡献，是解决了Hadoop集群如何同亚马逊的云存储S3连接的问题。
|
|
|
|
|
|
|
|
|
|
|
|
一方面是赚到了很多的钱，一方面则是毫无贡献。这个只负责插管吸血的亚马逊，无疑在商业上获得了非常大的成功。而我们也很难去苛责亚马逊，毕竟开源系统拿过来用，回头要不要反哺开源系统，很多时候也只是公司自己决策的问题。
|
|
|
|
|
|
|
|
|
|
|
|
尤其是开源社区的授权方式本身就有很大的Bug。Hadoop社区通行的Apache授权方式，不要求商业公司必须公开修改后的源代码。即使是更严格的GPL授权方式，商业公司依然有无数的办法可以绕过去。所以最终来看，商业公司要不要反哺开源系统，基本上靠大家的自觉。
|
|
|
|
|
|
|
|
|
|
|
|
但是有一点是可以肯定的，如果每个公司都学习亚马逊的做法，那么Hadoop生态圈在一开始就不可能构建出来。毕竟如果没有很多互联网公司的开源，也就不可能有完善可用的生态圈。
|
|
|
|
|
|
|
|
|
|
|
|
所以，亚马逊这样的做法，实际上是有碍开源社区繁荣的。我想很多做大数据开源的人，肯定对亚马逊的做法颇有微词。
|
|
|
|
|
|
|
|
|
|
|
|
只是从开源社区来看，Apache基金会也没有什么行之有效的办法，去阻止别人像亚马逊一样使用这些开源软件，既然没有约束，那么亚马逊的做法则显得合理又合法，那么我们究竟应该用什么态度来看待这样的一家公司呢？
|
|
|
|
|
|
|
|
|
|
|
|
我个人对亚马逊的感情其实是很复杂的。首先，亚马从很多方面来看都是一家伟大的公司，它所推崇并遵循的亚马逊领导力准则，更是值得每一位有志于做出一番事业的互联网从业者认真学习了解，并深刻理解。这些简单而深刻的准则，我不敢说是普遍适用的真理，但是起码对我个人来说受益非常大。
|
|
|
|
|
|
|
|
|
|
|
|
但是从另外一个方面来看，亚马逊这个公司没有“取之于社区，用之于社区”的观念。亚马逊对客户是很好的，对社区就不一定了。一个只是不断从社区获取，却不愿意贡献给社区的公司，破坏的是整个社区的氛围和默契。
|
|
|
|
|
|
|
|
|
|
|
|
如果这个公司籍籍无名，也没有因此发家致富，那它的破坏力还不是那么强。而一个公司如果保持如此作风同时在大量地赚钱，那无疑是树立了一个坏的榜样，这种破坏力是极为巨大的。
|
|
|
|
|
|
|
|
|
|
|
|
开源社区发展到今天，已经度过了不成气候的阶段，现在也有了很多非常有影响力的项目。但是如果还是不能找到有效的管理方式来表彰贡献、控制索取，长久来看可能会出现越来越多对开源“插管吸血”的公司，这对开源社区来说显然会是一件极其不利的事情。
|
|
|
|
|
|
|
