【话题讨论】大数据时代如何让自己驾驭Hadoop？

lxcorange · 发表于 2013-12-15 23:16

学习了。。

shentao19890909 · 发表于 2013-12-16 19:03

hadoop即将融合到我们第二代ETl里面去,说下个人粗浅的理解。
1.不是hadoop开发人员，算是hadoop使用人员，原理必须要掌握的，知其然知其所以然。
2.hadoop 主要是要发挥发的优势，低成本（硬件），更快完成海量数据处理，这个是我们追求的。目前我们数据仓库系统遇到性能瓶颈，目前解决方案就是横向分解，给后期管理维护带来巨大麻烦。hadoop恰恰就是一个很好的解决方案。
3.我觉得如果不是做框架开发设计的，只是技术使用者，用当前完善的技术来实现客户需求的话,没有必要看源代码。时间有限，青春不多。

总的来说针对技术使用者（而非创作者）来说：了解原理，会使用，能发挥其优势，能解决使用中遇到的问题就差不多了。
不同的技术是为了不同业务场景的需要。不做技术的奴隶，而是做技术的驾驭者。

shentao19890909 · 发表于 2013-12-16 19:08

dywjzh 发表于 2013-12-11 12:49
没有上百台服务器，搞什么hadoop

谁规定hadoop一定要上百台server了？

数据仓库中用10个节点以下的项目多的是，河南移动黑龙江移动等等。

baochangjun137 · 发表于 2013-12-17 10:58

shentao19890909 发表于 2013-12-16 19:03
hadoop即将融合到我们第二代ETl里面去,说下个人粗浅的理解。
1.不是hadoop开发人员，算是hadoop使用人员， ...

赞一个~

jxufe_wj · 发表于 2013-12-17 11:18

shentao19890909 发表于 2013-12-16 19:03
hadoop即将融合到我们第二代ETl里面去,说下个人粗浅的理解。
1.不是hadoop开发人员，算是hadoop使用人员， ...

赞同这个观点。

jerry_xing8 · 发表于 2013-12-18 09:19

发现这个讨论最好需要拿出些实际案例来！

jerry_xing8 · 发表于 2013-12-18 09:20

2009532140 发表于 2013-12-11 12:13
我也有这个疑问，数据量多大的适合上这个技术..

我觉得数据量级固然重要，但是要上hadoop ，，，数据规划和数据生态才是决定性的！！

2009532140 · 发表于 2013-12-18 09:22

jerry_xing8 发表于 2013-12-18 09:20
我觉得数据量级固然重要，但是要上hadoop ，，，数据规划和数据生态才是决定性的！！

老兄是否能给puber 们详细的说说啊...
例如：什么是数据生态？
为什么他们是决定性作用的啊...

谢谢了啊！

jerry_xing8 · 发表于 2013-12-18 09:22

shentao19890909 发表于 2013-12-16 19:08
谁规定hadoop一定要上百台server了？

数据仓库中用10个节点以下的项目多的是，河南移动黑龙江移动等等 ...

目前除了电信以为，落地的hadoop 行业，还有那些，现在我们在作交通的？？？

jerry_xing8 · 发表于 2013-12-18 09:56

2009532140 发表于 2013-12-18 09:22
老兄是否能给puber 们详细的说说啊...
例如：什么是数据生态？
为什么他们是决定性作用的啊...

就是这个意思，
假如你就一两个系统数据量很大，你用HADOOP干什么，没事闲的？直接上ＲＡＣ再做数据优化就解决了吧，
所谓的数据生态，可以理解为我们传统的铁人四项　生产系统＋ＥＴＬ＋数据仓库＋统一存储，这些都是基础设施，一定得有吧，原来传统数据库都有，但是有瓶颈　ＯＬＡＰ太慢，数据量级上去，成本指数上升。这些还有些每天在那搞数据模型的人，这些人才是真正核心玩家，不是那些做运维的。这是我的理解。

所谓数据规划，我是这样理解的，我做过电信口和交通口的，就拿交通来说，交通口的　　只要求保留３个月，有料可查就行了，　现在上头一纸公文要做交通协调，个体活动模型，这些就需要下一整盘棋了！！

为什么电信用的挺好，因为电信很早就有对数据整合的传统，现在使用只是顺理成章了！！

望大家批评指正！

【话题讨论】 大数据时代如何让自己驾驭Hadoop？

【话题讨论】大数据时代如何让自己驾驭Hadoop？