2012：云计算的春天

wangfans · 发表于 2013-5-9 16:15

Hadoop相关技术的那点事

技术干货！如果想深入理解Hadoop集群和网络，那么不妨看一下Dell企业技术专家Brad Hedlund撰写的文章，他阐述了Hadoop主要的任务部署分为3个部分，分别是：Client机器，主节点和从节点。主节点主要负责Hadoop两个关键功能模块HDFS、Map Reduce的监督。当Job Tracker使用Map Reduce进行监控和调度数据的并行处理时，名称节点则负责HDFS监视和调度。从节点负责了机器运行的绝大部分

wangfans · 发表于 2013-5-9 16:15

担当所有数据储存和指令计算的苦差。每个从节点既扮演者数据节点的角色又冲当与他们主节点通信的守护进程。守护进程隶属于Job Tracker，数据节点在归属于名称节点。不过如果发现部署Hadoop还有困难，那么你就需要关注管理Hadoop集群的5大工具，它们就是Apache Ambari、Apache Mesos、Platform MapReduce、StackIQ Rocks+ Big Data以及Zettaset Orchestrator。

wangfans · 发表于 2013-5-9 16:15

wangfans · 发表于 2013-5-9 16:15

众所周知，Google在2003年到2004年公布了关于GFS、MapReduce和BigTable三篇技术论文，这也成为后来云计算发展的重要基石，如今Google在后Hadoop时代的新“三驾马车”——Caffeine、Pregel、Dremel再一次影响着全球大数据技术的发展潮流。

wangfans · 发表于 2013-5-9 16:15

在本质上Caffeine丢弃MapReduce转而将索引放置在由Google开发的分布式数据库BigTable上。作为Google继GFS和MapReduce两项创新后的又一项创新，其在设计用来针对海量数据处理情形下的管理结构型数据方面具有巨大的优势。这种海量数据可以定义为在云计算平台中数千台普通服务器上PB级的数据。

wangfans · 发表于 2013-5-10 15:06

另一篇介绍了Pregel，Pregel主要绘制大量网上信息之间关系的“图形数据库”。而最吸引人的一篇论文要属被称之为Dremel的工具。

wangfans · 发表于 2013-5-10 15:06

Dremel是一种分析信息的方式，Dremel可跨越数千台服务器运行，允许“查询”大量的数据，如Web文档集合或数字图书馆，甚至是数以百万计的垃圾信息的数据描述。这类似于使用结构化查询语言分析传统关系数据库，这种方式在过去几十年被广泛使用在世界各地。

wangfans · 发表于 2013-5-10 15:06

wangfans · 发表于 2013-5-10 15:07

不过，CSDN总编刘江曾经撰文：有媒体称之为后Hadoop时代的三驾马车Caffeine、Pregel和Dremel。当然，这种说法有混淆了辈份之嫌，而且并不十分科学。Pregel是图数据库，据说在MapReduce之外担负了另外20%的数据处理任务，与三大论文之间没有承继关系。其实某种程度上，Caffeine是MapReduce的演进，在今年OSDI上大火的Spanner可以视为BigTable的演进，而Dremel则是新出的。

wangfans · 发表于 2013-5-10 15:07

Hadoop的相关产品

2012年10月24日，实时运营信息软件供应商Splunk在Strata Conference + Hadoop World上推出Splunk Hadoop Connect和Splunk App for HadoopOps。前者实现与Hadoop相集成，并且能够与其进行互动，后者监控超越Hadoop本身的集群资源，这些都意味着Hadoop外延应用越来越丰富。