话题讨论：Hadoop是否是大数据处理的福音

kerlion

hadoop是google的原理，我觉得主要还是适合于海量搜索，搜索引擎这类的东西。淘宝也是用户宝贝搜索吧

olfisher

hadoop的实战 淘宝就是一个好的案例 我相信hadoop对于海量数据的挖掘 是很有好的 本人从事BI 想学习之

olfisher

nannan5000 发表于 2012-4-18 19:55
1、这个问题客观的来看，Hadoop提供的是一类思路。通过分布式实现高可用。
     2、Hadoop的 ...

“都是采用单master的方式”不是有机器做为standby的么？

fsm

非互联网行业，尚未接触。
个人觉得，这东西也就是个对blob类非结构化数据处理的替代方案，要是oracle能把它集成进来，替换掉blob也未可知。

fireflyc

还耐心的看完所有人的回复，基本上没人对hadoop提出否定的。从我的个人经验说几句。

1、Hadoop是否是大数据处理的福音？
从技术角度分析M/R算法和数据局部化这两样东西把分布式算法一般化是非常有益处的。但是hadoop的优势被过度放大，就像跟帖一样，没有一个反对声音；是真实的完美吗？所以我觉这种过度放大反而影响了新算法和新技术的出现，你要是说hadoop如何如何不灵光肯定会被毫无疑问的弄死。别人可以拿出N多牛B的公司把你压的毫无反手之力。

2. Hadoop与其他海量数据处理方案相比有什么优劣势？
目前来说它不是最快的，也不是最贵的。就像上面说的，它用M/R和数据局部化来对分布式系统进行了一般化，这意味着我们可以套用这两种技术来进行分布式的数据分析。但是它的数据局部化还不能做到基于内容那么精确，而且HDFS本身不具有强力的容错性除了配合M/R之外它基本上没大用途。

3、Hadoop给您带来哪些更多的机会？
。。。。

xiaoyaozgc

只闻其名，素未谋面...

bkeep

jams007 发表于 2012-4-18 17:27
我们不让用开源的

你们啥公司？这么变态的。

gszoracle

Kk

yobyin

yafeng

我提个问题：

使用Hadoop来进行ETL处理。每个子节点都可以装载数据进行处理。在以前的ETL工具中，很多有table compare来处理观察数据的更新，删除。而table compare需要一个巨大的快照表来做为比较的基准表。
在hadoop的框架中，这样的大型表在集群间同步怎么优化？有什么独到的算法？否则这种操作都是瓶颈。

常见的日志处理系统等等，其实ETL的逻辑不需要太多节点间的同步。