话题讨论：Storm、Spark和Hadoop三个大数据处理工具谁将成为主流

hwayw

话题讨论：Storm, Spark, Hadoop三个大数据处理工具谁将成为主流

     大数据现在是业内炙手可热的话题，随着技术的发展，大数据存储技术已经不在是难点，但是对大数据如何做好存储后的下一步处理将是未来竞争的焦点，目前比较受欢迎的Storm, Spark, Hadoop三个大数据处理工具都是JVM上的语言写成的。
      Spark由Scala写成，是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点。
      Storm由java和clojure写成，storm的优点是全内存计算，因为内存寻址速度是硬盘的百万倍以上，所以storm的速度相比较hadoop非常快。
      hadoop是实现了mapreduce的思想，将数据切片计算来处理大量的离线数据数据。hadoop处理的数据必须是已经存放在hdfs上或者类似hbase的数据库中，所以hadoop实现的时候是通过移动计算到这些存放数据的机器上来提高效率。
       本期我们将围绕以下几个话题讨论:
       1、大数据核心是什么？
       2、Storm, Spark, Hadoop三个大数据处理工具谁将成为主流？
       3、你觉得今年大数据的发展趋势如何？

讨论时间：2014.2.19--2014.3.5

活动奖励：活动结束后将会抽取5名会员赠送图书徽章一枚。
2009532140
oracle_cj
wangzhonnew
esestt
pastime_Wang

songmingliang

支持  

2009532140

来支持一下一楼~~
1、大数据核心是什么？
===============================
为什么要处理大数据？这恐怕是为了发掘其中的隐含价值。
将大数据从某个方面进行加工处理得到为特定业务的便利性，甚至是预见性的核心数据。这就是大数据的价值。
再者，大数据的量，分析切面、维度都是难易度量的。
进而我觉得它的核心就是：
①：在指定时间内能分析出结果
②：能根据实际需求找到合理的分析切面以及分析维度
===============================
2、Storm, Spark, Hadoop三个大数据处理工具谁将成为主流？
===============================
只是了解Hadoop，其余两个只是听过概念。不敢妄加评论。
不过涉及到内存计算的技术在2013用的倒是挺多。估计未来短时间内会被重视。
至于是不是主流，不得而知..
===============================
3、你觉得今年大数据的发展趋势如何？
===============================
①：随着智能设备的普及大数据必将进入移动应用、与移动应用结合。
   这个将是短时间内最能出现的发展趋势
②：人工智能，机器学习的相关研究领域也将涉及大数据。
   这两个领域基本还处于研究探索阶段，2014 未必能实现。
===============================

TX__wangbeng

对于这类数据库还在雾中。
期待神贴。

草民的补丁

wsbj123

听听业内人士的专业分析~~

jxzkin

完全跟不上节奏~~~纯支持

arron刘

必须是Spark，Spark已经正式从孵化器毕业，成为Apache顶级项目，Spark的核心技术是RDD(Resilient Distributed Datasets)，而RDD的核心思想则是内存计算存储。Spark提供的编程接口，非常易用，RDD间的关系构成一个DAG，方便任务调度。Spark关键词：高效，易用。未来Hadoop的顶层必定是Spark。

dingjun123

   

听海★蓝心梦

支持hadoop