ITPUB论坛-中国最专业的IT技术社区

 找回密码
 注册
查看: 23253|回复: 24

【大话IT】大数据时代,Hadoop是最好的框架?

[复制链接]
论坛徽章:
8
2015年新春福章
日期:2015-04-22 09:15:50美羊羊
日期:2015-04-28 08:58:41暖羊羊
日期:2015-05-05 11:13:16慢羊羊
日期:2015-07-03 14:57:082017金鸡报晓
日期:2017-01-10 15:25:58目光如炬
日期:2016-06-05 22:00:00秀才
日期:2017-04-06 18:09:28秀才
日期:2017-05-09 11:37:55
发表于 2017-3-27 12:56 | 显示全部楼层 |阅读模式
获奖公布:
精彩回复:sjf0115
有奖回复:Fantigcy  东风玖哥  Jieforest
请以上获奖人员在5月25日前将姓名、电话、邮箱、公司、职务、快递地址站短给hyukhae079408,以便尽快给大家发放礼品。
话题背景:

知名调研机构弗雷斯特研究公司发现,Hadoop在过去三年的采用势头可谓空前高涨。2017年,公司企业在Hadoop软件和相关服务方面的开支将达到8亿美元。
但是与任何好运一样,时代在变。而给Hadoop施加压力的一大力量就是云计算。弗雷斯特研究公司最近分析了云计算给Hadoop带来的影响,结果发现:
  • 许多公司想要使用更多的公共云来处理大数据。Hadoop不是为云设计,所以厂商在纷纷让Hadoop具有重要地位。与此同时,复杂性也提高了。
  • 云厂商在隐藏或者干脆完全更换Hadoop。AWS Athena让你可以针对大数据执行SQL查询,不必为服务器实例而操心。DataBricks直接针对S3来使用Spark。IBM的平台针对CloverSafe来使用Spark。
由于更多的公司厌烦Hadoop的本地复杂性,转而使用公共云,它们会期望改变云端的Hadoop架构。这意味着,Hadoop厂商将开始看到其收入由本地转向云端。


讨论问题:
1.什么是Hadoop?
2.为什么组织从传统的数据仓库工具转移到基于Hadoop生态系统的智能数据中心?
3.更智能&更大的数据中心架构与传统的数据仓库架构有何不同?
4.相较Spark等5种大数据框架,基于Hadoop的数据中心的好处是什么?


讨论时间:2017年3月27日—4月27日


活动奖励:
活动结束后,我们将会选取1个精彩回复,送DTCC2017大会入场券一张。

选取3个回复,送社区春季版运动帽衫


DTCC 2017 来啦!

随着云计算和大数据时代的来临,数据正在以前所未有的速度成为各个领域价值创造的核心驱动力。

在此背景下,国内最受关注的数据库技术盛会——2017第八届中国数据库技术大会(DTCC2017)将于2017年5月11-13日如约而至。本届大会以“数据驱动•价值发现”为主题,汇集来自互联网、电子商务、金融、电信、政府、行业协会等20多个领域的120多位技术专家,共同探讨Oracle、MySQL、NoSQL、云端数据库、智能数据平台、区块链、数据可视化、深度学习等领域的前瞻性热点话题与技术。大会共设定2大主场和20个技术专场,将吸引5000多名IT人士参会,为数据库人群、大数据从业人员、广大互联网人士及行业相关人士提供最具价值的交流平台。


e388d727-936c-4208-b34c-687b60632696.jpg

官网链接:http://dtcc.it168.com/
购票链接:http://dtcc.it168.com/goupiao.html

欢迎扫码关注DTCC官方微信,获取最新信息!




认证徽章
论坛徽章:
160
ITPUB十周年纪念徽章
日期:2011-11-01 16:24:04ITPUB 11周年纪念徽章
日期:2012-09-28 17:34:42ITPUB社区12周年站庆徽章
日期:2013-08-13 16:52:38itpub13周年纪念徽章
日期:2014-10-08 15:21:35ITPUB14周年纪念章
日期:2015-10-26 17:23:44蒙奇·D·路飞
日期:2017-03-29 10:45:082017金鸡报晓
日期:2017-01-10 15:33:11状元
日期:2015-11-19 12:58:23榜眼
日期:2015-11-19 12:58:23探花
日期:2015-11-19 12:58:23
发表于 2017-3-27 19:05 | 显示全部楼层
公有云风头正劲~~~

使用道具 举报

回复
认证徽章
论坛徽章:
90
2016猴年福章
日期:2016-02-18 09:31:30ITPUB15周年纪念
日期:2016-10-13 13:15:34秀才
日期:2016-06-23 14:15:06富豪徽章
日期:2016-12-16 15:51:50秀才
日期:2016-12-21 16:55:072017金鸡报晓
日期:2017-02-08 14:09:13山治
日期:2017-02-21 16:18:12秀才
日期:2017-02-22 15:14:12秀才
日期:2017-02-22 15:16:26秀才
日期:2017-02-22 15:18:00
发表于 2017-3-27 21:50 | 显示全部楼层
是或不是等过十年再论

使用道具 举报

回复
认证徽章
论坛徽章:
203
2010新春纪念徽章
日期:2010-03-01 11:20:51至尊黑钻
日期:2015-08-13 13:38:12至尊黑钻
日期:2015-02-15 09:47:472015中国数据库技术大会纪念徽章
日期:2015-05-15 14:08:23管理团队2007贡献徽章
日期:2015-01-19 09:48:272015年中国系统架构师大会纪念徽章
日期:2015-07-31 17:48:20红宝石
日期:2015-01-19 09:42:28红宝石
日期:2017-04-21 09:23:38海蓝宝石
日期:2015-02-03 10:23:39红宝石
日期:2015-02-03 10:26:04
发表于 2017-3-28 09:15 | 显示全部楼层
王江玉 发表于 2017-3-27 21:50
是或不是等过十年再论

确实过早,确实过早;

使用道具 举报

回复
论坛徽章:
61
林肯
日期:2013-09-12 15:57:33路虎
日期:2014-01-26 14:35:49马自达
日期:2013-10-11 13:52:31三菱
日期:2013-11-25 11:21:19现代
日期:2013-08-29 14:39:50雪佛兰
日期:2013-09-12 15:55:00一汽
日期:2013-11-28 14:15:05技术图书徽章
日期:2013-12-11 10:11:35技术图书徽章
日期:2013-12-11 10:10:51技术图书徽章
日期:2014-01-14 10:54:13
发表于 2017-3-28 11:52 | 显示全部楼层
随着云计算和大数据时代的来临,数据正在以前所未有的速度成为各个领域价值创造的核心驱动力, 待续
......

使用道具 举报

回复
论坛徽章:
1
秀才
日期:2017-03-28 15:59:38
发表于 2017-3-28 11:56 | 显示全部楼层
大数据时代

使用道具 举报

回复
论坛徽章:
1
秀才
日期:2017-03-28 15:59:38
发表于 2017-3-28 13:52 | 显示全部楼层
大数据时代

使用道具 举报

回复
论坛徽章:
69
山治
日期:2017-09-11 19:15:33处女座
日期:2015-11-27 12:27:01秀才
日期:2015-11-23 10:17:19秀才
日期:2015-11-23 09:57:36金牛座
日期:2016-04-01 18:05:22秀才
日期:2015-11-11 10:22:49摩羯座
日期:2015-08-20 16:22:52秀才
日期:2015-08-31 13:02:54秀才
日期:2015-12-25 15:31:10巨蟹座
日期:2015-11-04 12:43:04
发表于 2017-3-28 14:56 | 显示全部楼层
sql over hadoop的实现基本都还是凑合着用的节点,吹太过了

使用道具 举报

回复
认证徽章
论坛徽章:
175
现任管理团队成员
日期:2011-05-07 01:45:08版主7段
日期:2012-07-05 02:21:03ITPUB长老会成员
日期:2015-05-07 15:11:10ITPUB年度最佳版主
日期:2011-04-08 18:37:09ITPUB年度最佳版主
日期:2011-12-28 15:24:18ITPUB牛人
日期:2010-10-25 12:41:322010数据库技术大会纪念徽章
日期:2015-04-23 10:33:192011数据库大会纪念章
日期:2015-04-23 10:33:192012数据库大会纪念章
日期:2015-04-23 10:33:192013数据库大会纪念章
日期:2015-04-23 10:33:19
发表于 2017-3-28 18:17 | 显示全部楼层
传统数据库已经无法承载那么大数据量,且扩容成本较高,分布式能实现无感知扩容,性能与计算能力能线性提升

使用道具 举报

回复
论坛徽章:
25
狮子座
日期:2015-11-13 11:39:31紫水晶
日期:2017-04-06 13:47:28海蓝宝石
日期:2017-04-06 13:47:50祖母绿
日期:2017-04-06 13:48:00萤石
日期:2017-04-06 13:48:10蓝锆石
日期:2017-04-06 13:48:19秀才
日期:2017-04-06 18:09:28秀才
日期:2017-05-09 11:37:55秀才
日期:2017-07-11 13:54:02秀才
日期:2017-07-11 14:19:35
发表于 2017-3-29 17:08 | 显示全部楼层
1.什么是Hadoop?
Hadoop是一个生态系统,
Hadoop是一个能够对大量数据进行分布式处理的软件框架。
Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。

2.为什么组织从传统的数据仓库工具转移到基于Hadoop生态系统的智能数据中心?
顾名思义,这样会更加智能
hadoop的框架设计比传统数据仓库工具要复杂,相对来说分析处理数据的过程速度更快更好,成本来说也要低。


3.更智能&更大的数据中心架构与传统的数据仓库架构有何不同?
Hadoop是一个生态系统,拥有15多种框架和工具,如Sqoop,Flume,Kafka,Pig,Hive,Spark,Impala等,以便将数据摄入HDFS,在HDFS中转移数据(即变换,丰富,聚合等),并查询来自HDFS的数据用于商业智能和分析。某些工具(如Pig和Hive)是MapReduce上的抽象层,而Spark和Impala等其他工具则是来自MapReduce的改进架构/设计,用于显著提高的延迟以支持近实时(即NRT)和实时处理。比起传统ETL批处理更智能分析。

4.相较Spark等5种大数据框架,基于Hadoop的数据中心的好处是什么?
随着数据量和复杂性的增加,并行处理,内存密集型处理框架。

基于Hadoop的解决方案不仅在商品硬件节点和开源工具方面更便宜,而且还可以通过将数据转换卸载到Hadoop工具(如Spark和Impala)来补足数据仓库解决方案,从而更高效地并行处理大数据。这也将释放数据仓库资源。

更好的灵活性。通常业务需求的改变,也需要对架构和报告进行更改。基于Hadoop的解决方案不仅可以灵活地处理不断发展的模式,还可以处理来自不同来源,如社交媒体,应用程序日志文件,image,PDF和文档文件的半结构化和非结构化数据。甚者这里面有些数据通常在数据仓库中不可得。

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则

TOP技术积分榜 社区积分榜 徽章 电子杂志 团队 统计 虎吧 老博客 知识索引树 读书频道 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档 | IT博客
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛 | SAP ERP系统
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 网站律师 隐私政策 知识产权声明
京ICP备16024965号 北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表