楼主: hwayw

参与有奖,吐槽Hadoop技术

[复制链接]
论坛徽章:
57
SQL极客
日期:2013-12-09 14:13:35秀才
日期:2016-01-21 13:42:39秀才
日期:2016-01-13 12:14:26SQL大赛参与纪念
日期:2016-01-13 10:32:19SQL数据库编程大师
日期:2016-01-13 10:30:43秀才
日期:2015-12-14 14:47:54秀才
日期:2015-10-19 15:50:392015年新春福章
日期:2015-03-06 11:58:18懒羊羊
日期:2015-03-04 14:52:11优秀写手
日期:2014-11-08 06:00:14
41#
发表于 2014-8-16 22:14 | 只看该作者
hadoop分布式计算系统,将数据打散然后在很多服务器上跑,应用并行化的mr提升性能。

使用道具 举报

回复
论坛徽章:
57
SQL极客
日期:2013-12-09 14:13:35秀才
日期:2016-01-21 13:42:39秀才
日期:2016-01-13 12:14:26SQL大赛参与纪念
日期:2016-01-13 10:32:19SQL数据库编程大师
日期:2016-01-13 10:30:43秀才
日期:2015-12-14 14:47:54秀才
日期:2015-10-19 15:50:392015年新春福章
日期:2015-03-06 11:58:18懒羊羊
日期:2015-03-04 14:52:11优秀写手
日期:2014-11-08 06:00:14
42#
发表于 2014-8-16 22:17 | 只看该作者
既然是分布式系统优劣势已经注定了。
优势并行化,横向可扩,劣势必须保证每台机子负载一致,取决于跑的最慢的机子,代码必须可以并行化比如求平均可以,求中位数就不行

使用道具 举报

回复
论坛徽章:
57
SQL极客
日期:2013-12-09 14:13:35秀才
日期:2016-01-21 13:42:39秀才
日期:2016-01-13 12:14:26SQL大赛参与纪念
日期:2016-01-13 10:32:19SQL数据库编程大师
日期:2016-01-13 10:30:43秀才
日期:2015-12-14 14:47:54秀才
日期:2015-10-19 15:50:392015年新春福章
日期:2015-03-06 11:58:18懒羊羊
日期:2015-03-04 14:52:11优秀写手
日期:2014-11-08 06:00:14
43#
发表于 2014-8-16 22:18 | 只看该作者
hadoop已经有被spark取代的趋势,这些内容更新很快,知识的贬值速度很快。

使用道具 举报

回复
论坛徽章:
0
44#
发表于 2014-8-22 11:00 | 只看该作者
4、每个人都在讲的实时Hadoop是什么,它可以做什么,以及它不能做什么?它的工作原理是什么?

实时hadoop 我觉得应该是实时对大量的数据进行简单的行健查询,快速反馈给用户,比如时下比较流行的

推荐系统。它可以做的事情:比如我再浏览itpub的贴子的时候我会发现旁边有推荐看过该帖子的人还

看过以下的帖子。这就是一个实时的运行过程然后反馈出结果给用户。类似oracle等常规数据库也可以做

但是如果想要得到快速响应的性能可以得建立在昂贵的硬件资源上。但是如果如果使用hadoop中的hbase集群的话

可能代价就很低了。

不能做什么:

不能进行复杂的SQL语句,比如复杂的查询、group by 、order by 等。

工作原理:HBASE里面的数据根据行健有规则的分布在各个Region,当进行行健查询的时候多个节点同时工作可以快速的返回结果


7:阅读样章后,本书的看法,您觉得hadoop过时了吗?

个人感觉现在hadoop分布式集群还是处于高速发展的阶段。且国内大型互联网企业都在研究该技术的源码进行二次开发来适应自己的

业务,甚至传统的金融行业也在使用该技术做一些大数据分析工作,所以按照目前的情况应该近几年内是不会过时。






使用道具 举报

回复
论坛徽章:
0
45#
发表于 2014-8-26 10:19 | 只看该作者
支持,顶

使用道具 举报

回复
论坛徽章:
0
46#
发表于 2014-8-26 10:30 | 只看该作者
DSL是曾经是一个不被重视的狭窄领域,现在随着领域知识复杂性的增加,解决领导问题的技术越来越复杂,DSL是解决路径之一,它越来越引起重视。
在大数据领域,hadoop是事实上的标准。而hadoop结合DSL还是第一次有这方面的论著。

使用道具 举报

回复
论坛徽章:
27
优秀写手
日期:2013-12-18 09:29:09ITPUB季度 技术新星
日期:2012-08-15 14:50:13嫦娥
日期:2013-03-04 09:47:05数据库板块每日发贴之星
日期:2011-09-08 01:01:01数据库板块每日发贴之星
日期:2011-09-11 01:01:01数据库板块每日发贴之星
日期:2011-09-10 01:01:02数据库板块每日发贴之星
日期:2011-09-09 01:01:01ITPUB十周年纪念徽章
日期:2011-11-01 16:26:59ITPUB 11周年纪念徽章
日期:2012-09-28 17:34:422013年新春福章
日期:2013-03-04 09:50:49
47#
发表于 2014-8-27 10:01 | 只看该作者
蛮喜欢hadoop的,不过环境超级难整理啊。

使用道具 举报

回复
论坛徽章:
27
优秀写手
日期:2013-12-18 09:29:09ITPUB季度 技术新星
日期:2012-08-15 14:50:13嫦娥
日期:2013-03-04 09:47:05数据库板块每日发贴之星
日期:2011-09-08 01:01:01数据库板块每日发贴之星
日期:2011-09-11 01:01:01数据库板块每日发贴之星
日期:2011-09-10 01:01:02数据库板块每日发贴之星
日期:2011-09-09 01:01:01ITPUB十周年纪念徽章
日期:2011-11-01 16:26:59ITPUB 11周年纪念徽章
日期:2012-09-28 17:34:422013年新春福章
日期:2013-03-04 09:50:49
48#
发表于 2014-8-27 10:03 | 只看该作者
hadoop新手,花了我一周时间,搭建的测试环境:http://blog.itpub.net/26230597/viewspace-1257609/

使用道具 举报

回复
论坛徽章:
27
优秀写手
日期:2013-12-18 09:29:09ITPUB季度 技术新星
日期:2012-08-15 14:50:13嫦娥
日期:2013-03-04 09:47:05数据库板块每日发贴之星
日期:2011-09-08 01:01:01数据库板块每日发贴之星
日期:2011-09-11 01:01:01数据库板块每日发贴之星
日期:2011-09-10 01:01:02数据库板块每日发贴之星
日期:2011-09-09 01:01:01ITPUB十周年纪念徽章
日期:2011-11-01 16:26:59ITPUB 11周年纪念徽章
日期:2012-09-28 17:34:422013年新春福章
日期:2013-03-04 09:50:49
49#
发表于 2014-8-27 10:04 | 只看该作者
还有为了准备学习,搭建的3台虚拟机:http://blog.itpub.net/26230597/viewspace-1255651/

使用道具 举报

回复
论坛徽章:
27
优秀写手
日期:2013-12-18 09:29:09ITPUB季度 技术新星
日期:2012-08-15 14:50:13嫦娥
日期:2013-03-04 09:47:05数据库板块每日发贴之星
日期:2011-09-08 01:01:01数据库板块每日发贴之星
日期:2011-09-11 01:01:01数据库板块每日发贴之星
日期:2011-09-10 01:01:02数据库板块每日发贴之星
日期:2011-09-09 01:01:01ITPUB十周年纪念徽章
日期:2011-11-01 16:26:59ITPUB 11周年纪念徽章
日期:2012-09-28 17:34:422013年新春福章
日期:2013-03-04 09:50:49
50#
发表于 2014-8-27 10:04 | 只看该作者

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 未成年人举报专区 
京ICP备16024965号-8  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表