话题讨论：Spark VS Hadoop有哪些异同点？

oracle_cj

2009532140 发表于 2014-5-19 15:45
靠。你啥都要啊

我这是积极参加活动，支持pub

2009532140

oracle_cj 发表于 2014-5-19 19:35
我这是积极参加活动，支持pub

harkjim

      哈，初来乍到，当做学习的同时也积极参加活动，我关心新技术的动态，根据话题参考了一些材料，我的理解是：
      1、Spark VS Hadoop有哪些异同点？
    Spark是基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。   
    2、Spark在容错性方面是否比其他工具更有优越性？
    现有的数据流系统对两种应用的处理并不高效：一是迭代式算法，这在图应用和机器学习领域很常见；二是交互式数据挖掘工具。这两种情况下，将数据保存在内存中能够极大地提高性能。为了有效地实现容错，RDD提供了一种高度受限的共享内存，即RDD是只读的，并且只能通过其他RDD上的批量操作来创建。尽管如此，RDD仍然足以表示很多类型的计算，包括MapReduce和专用的迭代编程模型（如Pregel）等。Spark实现的RDD在迭代计算方面比Hadoop快二十多倍，同时还可以在5-7秒的延时内交互式地查询1TB的数据集。
    3、Spark对于数据处理能力和效率有哪些特色？
    与Hadoop进行对比，结果如下：
   （1）对于迭代式机器学习应用，Spark比Hadoop快20多倍。这种加速比是因为：数据存储在内存中，同时Java对象缓存避免了反序列化操作（deserialization）。
   （2）用户编写的应用程序执行结果很好。例如，Spark分析报表比Hadoop快40多倍。
   （3）如果节点发生失效，通过重建那些丢失的RDD分区，Spark能够实现快速恢复。
   （4）Spark能够在5-7s延时范围内，交互式地查询1TB大小的数据集。

    4、说说您阅读迷你书的感想？
     试读章节提供了前三章的内容，感觉不过瘾啊，期待能获得奖励书籍，好好拜读一下啊。

dongmusic

1、Spark VS Hadoop有哪些异同点？
作为通用的并行处理框架，Spark具有类似Hadoop的一些优点，而且Spark采用了更好的内存管理，
在迭代计算上具有比Hadoop更高的效率，Spark还提供了更为广泛的数据集操作类型，大大方便了
用户的开发，checkpoint的应用使Spark具有很强容错能力，众多优越的性能和比Hadoop更广泛
的适用面让Spark的进一步发展值得期待。
   
2、Spark在容错性方面是否比其他工具更有优越性？
在分布式数据集计算时通过checkpoint来实现容错，而checkpoint
有两种方式，一个是checkpoint data，一个是logging the updates。
用户可以控制采用哪种方式来实现容错。

3、Spark对于数据处理能力和效率有哪些特色？
由于Spark处理数据利用内存，因此它的速度是非常快的，
Spark Streaming：大大提高Spark流处理的能力和稳定性，
使用户可以用同一套代码进行大数据流处理和批量处理。

4、说说您阅读迷你书的感想？
  仔细的看了一下迷你书，大概了解到这本书的框架是怎么样的，这本书中将介绍Spark
  的什么功能，实际上这本迷你书包括这本书的前三章,这三章基本上讲了Spark的最基本
  的知识，第一章就是安装，这个很符合学习者的学习习惯，第二章将的是Spark shell,
  这个Spark shell是用户经常会使用的Spark下面的工具，它集程序的开发与调试与一体，
  第三章介绍如何构建和运行Spark应用，这一章介绍的就是开发者在Spark下面经常要进行
  的工作。

Detaillee

为何还没公布中奖名单？？？

dingyu220

听大家讨论的结果，貌似spark完爆hadoop啊，想听一些更客观的分析，难道hadoop是要被淘汰的节奏？

初识orcl

2009532140 发表于 2014-5-20 08:06

来个图书章吧

wyyhzc

我个人认为，hadoop本身是比较适合做离线批处理任务的。发展的时间比spark长，相关辅助的工具也多，例如：hive 就是适合做大数据（TB级别）关联运算的，在复杂一点的计算可以用pig，hbase做好key的话，TB级别的数据查询还是非常快的。
spark还没有仔细了解，他的结构上应该就是适合将数据load到内存中，做复杂的迭代计算，这个应该是他的强项，是否有辅助工具我没有了解（还没有深入学习，建议懂的人告知）。近期也在了解spark，目标是2者相互补充。