话题讨论：想成为Hadoop技术高手吗？

duhouchen · 发表于 2014-4-4 13:30

最好能来本书学习学习

guoyJoe · 发表于 2014-4-4 14:29

2014年尖峰Oracle线上技术分享活动第2期---福利来了！

2014.4.9 晚20：30邀请到READ大师分享职业规划，分享主题《一个兽医的IT之路》
如需了解更多课程请登录网站http://www.jianfengedu.com/Discuz/detail/id/38
欢迎加入尖峰线上沙龙技术分享 252296815

2014.04.12--Jack分享主题《存储的前世今生和未来----存储的若干关键技术和虚拟化》
如需了解更多课程请登录网站http://www.jianfengedu.com/Discuz/detail/id/31
欢迎加入尖峰线上沙龙技术分享 252296815

2014.04.14周一晚上20:30 Dasight博士在线技术分享主题《大数据时代的技术发展和对IT人的挑战》
如需了解更多课程请登录网站 http://www.jianfengedu.com
欢迎加入Hadoop技术群：366294602

liangf215 · 发表于 2014-4-5 18:06

大数据现在的确谈的比较热，央视春晚用到了大数据，上个月的两会也用到了大数据，看来大数据要火了。
目前在统计局、电信、移动、税务、公安行业都有应用的需求。

xgghxkhuang · 发表于 2014-4-6 20:32

正在了解中，虽然还没实际使用过，但是以后肯定会用

xgghxkhuang · 发表于 2014-4-6 20:35

1需要
2可恢复性，即考虑单台机子当掉，如何恢复
3yarn刚听说

xgghxkhuang · 发表于 2014-4-6 20:35

支持hadoop

xgghxkhuang · 发表于 2014-4-6 20:38

大海里的骆驼发表于 2014-3-26 23:54
我来讲讲我们公司Hadoop的应用吧 10台戴尔的64G内存的集群另外还有几台接口机器 hadoop我主要应用分三 ...

楼主多分享，这东西很难搭建环境，公司也没有现成的，也没有人会

xgghxkhuang · 发表于 2014-4-6 20:40

好活动。

hexel · 发表于 2014-4-7 14:46

呵呵，我也来说两句..
1.如果是二进制包安装，那是需要root权限的，如果是tarball安装，就不需要root了。
2.根据我实际的维护经验，规划hadoop集群时要考虑下面因素：
（1）指定冗余副本数，保证数据安全
（2）大集群时要规划好机架策略
（3）开启回收站，避免误删时丢失数据
（4）由于namenode是单点，所以要做好数据备份
（5）使用ganlia，nagios等软件，监控好集群，问题要早发现早解决
（6）注意小文件数量，及时合并小文件，减少namenode压力
3.由于现在只用过hadoop，所以谈不上喜欢哪个了
4.是管理框架，可以运行其他应用，相对于与原始框架，有下列改进：
（1）将资源管理和应用程序分离，分别由YARN和ApplicationMaster负责，扩展性，容错性更好（2）支持多种计算框架，比如Mapreduce和Spark，用户可以根据不同变成模型编写自己的ApplicationMaster。
（3）监视每个子job的程序分布化了，这实际大大较少jobtrakcer压力
（4）使用container隔离资源，不同于MRv1的slot，可以动态分配资源，避免资源浪费
5. 没用过Mesos，不敢妄评。

wll1017 · 发表于 2014-4-7 15:14

过来围观一下