查看: 138058|回复: 60

话题讨论:Storm、Spark和Hadoop三个大数据处理工具谁将成为主流

[复制链接]
认证徽章
论坛徽章:
49
现任管理团队成员
日期:2012-10-18 17:10:46妮可·罗宾
日期:2018-04-03 13:57:49
发表于 2014-2-19 09:53 | 显示全部楼层 |阅读模式
话题讨论:Storm, Spark, Hadoop三个大数据处理工具谁将成为主流

     大数据现在是业内炙手可热的话题,随着技术的发展,大数据存储技术已经不在是难点,但是对大数据如何做好存储后的下一步处理将是未来竞争的焦点,目前比较受欢迎的Storm, Spark, Hadoop三个大数据处理工具都是JVM上的语言写成的。
      Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点。
      Storm由java和clojure写成,storm的优点是全内存计算,因为内存寻址速度是硬盘的百万倍以上,所以storm的速度相比较hadoop非常快。
      hadoop是实现了mapreduce的思想,将数据切片计算来处理大量的离线数据数据。hadoop处理的数据必须是已经存放在hdfs上或者类似hbase的数据库中,所以hadoop实现的时候是通过移动计算到这些存放数据的机器上来提高效率。
       本期我们将围绕以下几个话题讨论:
       1、大数据核心是什么?
       2、Storm, Spark, Hadoop三个大数据处理工具谁将成为主流?
       3、你觉得今年大数据的发展趋势如何?

讨论时间:2014.2.19--2014.3.5

活动奖励:活动结束后将会抽取5名会员赠送图书徽章一枚。
2009532140
oracle_cj
wangzhonnew
esestt
pastime_Wang

认证徽章
论坛徽章:
764
2014年世界杯参赛球队: 加纳
日期:2014-05-20 17:24:592014年世界杯参赛球队:墨西哥
日期:2014-05-20 17:25:142014年世界杯参赛球队: 波黑
日期:2014-05-20 17:27:292014年世界杯参赛球队: 希腊
日期:2014-07-15 11:05:212014年世界杯参赛球队: 阿尔及利亚
日期:2014-07-15 11:05:212014年世界杯参赛球队: 厄瓜多尔
日期:2014-07-15 14:14:452014年世界杯参赛球队: 哥斯达黎加
日期:2014-06-16 15:29:332014年世界杯参赛球队: 智利
日期:2014-06-16 17:03:11 2014年世界杯参赛球队: 德国
日期:2014-06-16 17:10:512014年世界杯参赛球队: 葡萄牙
日期:2014-06-18 09:28:47
发表于 2014-2-19 10:06 | 显示全部楼层
支持  

使用道具 举报

回复
求职 : 数据库管理员
招聘 : Java研发
认证徽章
论坛徽章:
6350
ITPUB9周年纪念徽章
日期:2014-05-02 10:36:402011新春纪念徽章
日期:2014-12-29 12:11:142010广州亚运会纪念徽章:卡巴迪
日期:2014-08-06 08:44:252012新春纪念徽章
日期:2014-12-29 12:11:142013年新春福章
日期:2014-12-29 12:11:14马上有车
日期:2014-12-29 12:11:14马上有房
日期:2014-12-29 12:11:14马上有钱
日期:2014-12-29 12:11:14马上有对象
日期:2014-12-29 12:11:14马上加薪
日期:2014-12-29 12:11:14
发表于 2014-2-19 10:17 | 显示全部楼层
本帖最后由 2009532140 于 2014-2-26 09:11 编辑

来支持一下一楼~~
1、大数据核心是什么?
===============================
为什么要处理大数据?这恐怕是为了发掘其中的隐含价值。
将大数据从某个方面进行加工处理得到为特定业务的便利性,甚至是预见性的核心数据。这就是大数据的价值。
再者,大数据的量,分析切面、维度都是难易度量的。
进而我觉得它的核心就是:
①:在指定时间内能分析出结果
②:能根据实际需求找到合理的分析切面以及分析维度
===============================
2、Storm, Spark, Hadoop三个大数据处理工具谁将成为主流?
===============================
只是了解Hadoop,其余两个只是听过概念。不敢妄加评论。
不过涉及到内存计算的技术在2013用的倒是挺多。估计未来短时间内会被重视。
至于是不是主流,不得而知..
===============================
3、你觉得今年大数据的发展趋势如何?
===============================
①:随着智能设备的普及大数据必将进入移动应用、与移动应用结合。
   这个将是短时间内最能出现的发展趋势
②:人工智能,机器学习的相关研究领域也将涉及大数据。
   这两个领域基本还处于研究探索阶段,2014 未必能实现。
===============================

使用道具 举报

回复
论坛徽章:
12
ITPUB社区12周年站庆徽章
日期:2013-08-26 10:32:46优秀写手
日期:2013-12-24 06:00:12问答徽章
日期:2014-02-13 15:15:452014年新春福章
日期:2014-02-18 16:47:53马上加薪
日期:2014-02-18 16:47:53马上有车
日期:2014-03-27 15:59:39马上有车
日期:2014-04-08 13:08:04马上有钱
日期:2014-04-10 12:55:42
发表于 2014-2-19 10:44 | 显示全部楼层
对于这类数据库还在雾中。
期待神贴。

使用道具 举报

回复
论坛徽章:
7
2013年新春福章
日期:2013-02-25 14:51:24灰彻蛋
日期:2013-06-19 15:06:24技术图书徽章
日期:2014-01-26 14:23:572014年新春福章
日期:2014-02-18 16:48:49马上加薪
日期:2014-02-18 16:48:49天蝎座
日期:2015-07-08 22:36:16水瓶座
日期:2016-01-20 11:23:23
发表于 2014-2-19 10:51 | 显示全部楼层

使用道具 举报

回复
论坛徽章:
19
灰彻蛋
日期:2013-01-10 11:04:47itpub13周年纪念徽章
日期:2014-10-08 15:19:55itpub13周年纪念徽章
日期:2014-10-08 15:19:55itpub13周年纪念徽章
日期:2014-10-08 15:19:55itpub13周年纪念徽章
日期:2014-10-08 15:19:55itpub13周年纪念徽章
日期:2014-10-08 15:19:552014年世界杯参赛球队: 意大利
日期:2014-06-09 13:51:27马上有对象
日期:2014-02-18 16:44:082014年新春福章
日期:2014-02-18 16:44:08马自达
日期:2014-02-08 09:56:32
发表于 2014-2-19 10:54 | 显示全部楼层
听听业内人士的专业分析~~

使用道具 举报

回复
求职 : 数据库管理员
论坛徽章:
41
喜羊羊
日期:2015-05-08 16:18:362014年新春福章
日期:2014-02-18 16:48:49技术图书徽章
日期:2014-01-26 14:02:05福特
日期:2013-12-27 00:16:54劳斯莱斯
日期:2013-12-20 16:46:55劳斯莱斯
日期:2013-12-02 16:08:54问答徽章
日期:2013-11-12 20:51:23奔驰
日期:2013-10-25 20:19:39ITPUB社区12周年站庆徽章
日期:2013-10-08 15:00:34马上加薪
日期:2014-02-18 16:48:49
发表于 2014-2-19 11:01 | 显示全部楼层
完全跟不上节奏~~~纯支持

使用道具 举报

回复
认证徽章
论坛徽章:
24
技术图书徽章
日期:2013-08-16 14:31:52问答徽章
日期:2013-11-04 08:53:14目光如炬
日期:2013-12-23 06:00:11目光如炬
日期:2013-12-30 06:00:11明星写手
日期:2014-02-22 06:00:12马上有钱
日期:2014-03-31 14:09:05沸羊羊
日期:2015-05-20 12:42:59秀才
日期:2015-06-24 13:05:36秀才
日期:2015-07-13 09:48:14
发表于 2014-2-19 11:08 | 显示全部楼层
必须是Spark,Spark已经正式从孵化器毕业,成为Apache顶级项目,Spark的核心技术是RDD(Resilient Distributed Datasets),而RDD的核心思想则是内存计算存储。Spark提供的编程接口,非常易用,RDD间的关系构成一个DAG,方便任务调度。Spark关键词:高效,易用。未来Hadoop的顶层必定是Spark。

使用道具 举报

回复
论坛徽章:
1088
金色在线徽章
日期:2007-04-25 04:02:08金色在线徽章
日期:2007-06-29 04:02:43金色在线徽章
日期:2007-03-11 04:02:02在线时间
日期:2007-04-11 04:01:02在线时间
日期:2007-04-12 04:01:02在线时间
日期:2007-03-07 04:01:022008版在线时间
日期:2010-05-01 00:01:152008版在线时间
日期:2011-05-01 00:01:342008版在线时间
日期:2008-06-03 11:59:43ITPUB年度最佳技术原创精华奖
日期:2013-03-22 13:18:30
发表于 2014-2-19 11:09 | 显示全部楼层
   

使用道具 举报

回复
认证徽章
论坛徽章:
299
季节之章:春
日期:2012-06-20 17:38:14季节之章:夏
日期:2012-06-12 10:49:25季节之章:秋
日期:2012-06-12 10:49:25季节之章:冬
日期:2012-06-12 10:49:25马上有钱
日期:2014-06-16 15:59:19蓝色妖姬
日期:2012-05-19 11:02:10蓝色妖姬
日期:2012-06-12 11:21:48蓝色妖姬
日期:2012-06-12 11:21:48玉兔
日期:2012-07-27 11:00:12玉兔
日期:2012-08-05 10:00:09
发表于 2014-2-19 11:28 | 显示全部楼层
支持hadoop

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 
京ICP备09055130号-4  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表