2012：云计算的春天

wangfans

以此同时，大数据技术会议Strata Conference + Hadoop World同样传来消息，Cloudera发布了实时查询开源项目Impala 1.0 beta版，称比原来基于MapReduce的Hive SQL查询速度提升3～90倍。

wangfans

再看一下微软，他已经将Hadoop作为自身大数据战略的核心。微软此举的理由就是看中了Hadoop的潜力，在大数据领域Hadoop已经成为分布式数据处理的标准。通过集成Hadoop技术，微软也允许客户访问快速增长的Hadoop生态系统。 让我们一起走进“Microsoft Azure Hadoop特性一览”。

wangfans

Hadoop领域的那些大牛们

其实在Hadoop领域有很多传奇人物，先说说Hortonworks的CTO Eric Baldeschwieler，Eric在2006年毅然投入雅虎Apache Hadoop项目的怀抱，将其从20个节点的原型系统发展为42000个节点的服务。而后，当雅虎决定全力支持Apache Hadoop项目，并于2011年7月成立新公司Hortonworks时，Eric当之无愧地成为首任CTO。作为资深技术人士，但当CTO的Eric感觉自己面临了诸多挑战。但他对Hadoop的前景非常乐观，“大家多贡献一点，Hadoop将会创造奇迹。”

wangfans

根据目前的状况来看，Hadoop作为企业级数据仓库体系结构核心技术，在未来的数年中将会保持持续增长的势头。下一代的MapReduce节点数将从目前的4000增加到6000-10000，其次并发的任务数从目前的40000增加到100000。

wangfans

Hadoop不是万能的

虽然Hadoop有很多忠实的拥护者。毕竟它可以轻而易举地处理PB级别的数据，它可以将运算扩展到数千个节点的分布式计算能力，它也具有存储和加载数据的灵活性。但在经历过一系列的探索与使用之后，你会发现，Hadoop也有自己的软肋，下面列举了为什么不使用Hadoop做数据分析的原

wangfans

Hadoop只是一个框架，而非一种完备的解决方案。
Pig和Hive都非常不错，但却受到架构的局限。
没有软件成本，部署相对容易，但维护和开发的代价极大。
擅长大数据分析，却在某些特定领域表现不佳。
并行处理的性能极佳，但也不是万能的。

wangfans

Hadoop的辉煌还能延续多久？

Hadoop的灵魂是MapReduce。但是面对数据的爆炸性增长，谷歌的工程师Jeff Dean和Sanjay Ghemawat架构并发布了两个开创性的系统：GFS和谷歌MapReduce（GMR）。前者是一个出色而实用的解决方案-使用常规的硬件扩展并管理数据，后者同样辉煌，造就了一个适用于大规模并行处理的计算框架。不过一个有趣的现象是，MapReduce在谷歌已不再显赫。当企业瞩目MapReduce的时候，谷歌好像早已进入到了下一个时代。事实上，我们谈论的这些技术早就不是新技术了，MapReduce也不例外。

wangfans

尽管当前大数据技术的核心依然是Hadoop，但谷歌却已经为我们展现了许多更先进的大数据技术。谷歌开发这些技术的本意并不是要立刻抛弃掉MapReduce，但毫无疑问这是未来大数据技术的趋势。尽管已经出现了上述大数据技术的开源实现，但我们不禁要问，Hadoop的辉煌还能延续多久？

wangfans

基于Hadoop的改进以及最新的成果

围绕Hadoop，产业链更加清晰。十月或许是大数据历史上值得标注的一个月，因为Hadoop会被重新定义：既可以是大数据批量处理的一个研究框架，也可以是结构化与非结构化数据大规模并行分析数据高速的发动机，交互分析的产品。Birst、Splice Machine和Teradata这三家企业的产品从外延提升了Hadoop的应用范畴。

wangfans

还有上文提到的Cloudera发布了实时查询开源项目Impala。多款产品实测表明，比原来基于MapReduce的Hive SQL查询速度提升3～90倍。虽然Impala是Google Dremel的模仿，但在SQL功能上青出于蓝胜于蓝。

大数据面临的一个很大的问题是大多数分析查询都很缓慢且非交互式。Google的Dremel能以极快的速度处理网络规模的海量数据。据谷歌的研究报告显示，Dremel能以拍字节（petabyte，PB，1PB等于1024TB）的数量级来进行查询，而且只需几秒钟时间就能完成。而其对应的开源版本就是Drill。 Drill与MapReduce相辅相成。在谷歌，数以千计的工程师每天都在使用Dremel和MapReduce，未来也将有着更多的人来使用Drill与MapReduce。如果想了解的更多，可能你还需要看看Google Dremel 与 Apache Hadoop的对比篇。