话题讨论：Hadoop是否是大数据处理的福音

ShingU

Hadoop本人认为是比较适用于互联网中的电商企业。

jinguanding

1.hadoop非常适合处理大数据，不过是指海量数据，而是指大文本或视频等文件；

2.hadoop是属于一整套的解决方案，包含了文件系统，以及非常多的工具支持；

3.hadoop将给开发人更多的想象空间，以及给很多企业解决数据分析的压力，而且是开源的产品很多公司可以整合成一个产品，不过对传统的DBA有所冲击，对开发人员和系统工程师是极大的机遇；

nannan5000

Hadoop 是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。Hadoop 以并行的方式工作，通过并行处理加快处理速度；还是伸缩，能够处理PB级数据。本期讨论话题：
讨论话题
    1、Hadoop是否是大数据处理的福音？
    2、Hadoop与其他海量数据处理方案相比有什么优劣势？
    3、Hadoop给您带来哪些更多的机会？

       1、这个问题客观的来看，Hadoop提供的是一类思路。通过分布式实现高可用。
     2、Hadoop的优势
              高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。
              高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。
              高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此其处理速度非常快。
              高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。
           劣势
              HA(High Availability)高可用性:
　　             这一点是Hadoop非常弱的一个缺点，不管是Hdfs还是Map-reduce，都是采用单master的方式，集群中的其他机器都是与一台中心机器进行通信，如果这个中心机器挂了，集群就只有不工作了(不一定数据会丢失，但是至少需要重启等等工作)，让可用性变得更低。这个一般叫做单点失败(single point of failure,SPOF)。
     3、Hadoop来给我们的是非结构数据的高并发支持。对于big data的存取是有指导性帮助的。
        为架构的设计提供了不错的思路。



个人观点，欢迎交流~~~

jieforest

1、Hadoop是否是大数据处理的福音？
这是肯定的。Hadoop之所以具备出色的大数据处理能力，在于Hadoop的生态圈包含了很多优秀的工具，比如Hive和Pig等，在获取、存储、管理和分析数据方面远远超越传统的数据库软件工具。最为重要的一点是，Hadoop已经成为了业界处理分布式大数据的“标准”，无论是Google、Yahoo，还是微软、思科、淘宝等，都支持Hadoop。
  
2、Hadoop与其他海量数据处理方案相比有什么优劣势？
Hadoop的优势是在实现低成本方案的同时保证了高可用性和高可靠性，而且Hadoop社区强大，Hadoop生态圈的开发者和爱好者众多。
Hadoop的劣势是其技术正在不断地演进，Hadoop自身及其周边的工具的Bug都不少，学习曲线较陡，学习成本不低。

3、Hadoop给您带来哪些更多的机会？
使得中小公司或者企业可以用低成本的Hadoop方案构建分布式大数据处理环境，挖掘很多以前没法处理的有价值的数据，从而获取更大的收益。

hudingchen

1、Hadoop是否是大数据处理的福音？
应该是。
2、Hadoop与其他海量数据处理方案相比有什么优劣势？
hadoop和传统数据库比较：
优点：
a.硬件低廉。
b.由于是分布式的，可扩展性好。
c.开源。
缺点：
a.目前只支持linux系统。
b.使用hoodoop比较多是一些互联网的web应用，而像电信、金融对稳定性要求很高的企业，对传统数据库更加信赖。
3、Hadoop给您带来哪些更多的机会？
随着不断的发展，相信Hadoop会在更多的领域中使用，对于搞it的人来说，以后就业面会更广。

ZALBB

一直在作ORACLE，很希望有机会接触hadoop，

aks5201314

关注一下HADOOP

xpower1984

讨论话题
    1、Hadoop是否是大数据处理的福音？
         是福音，但是只是离线数据的处理的福音。对实时性要求比较高的大数据分析处理，hadoop暂时未见优势。
    2、Hadoop与其他海量数据处理方案相比有什么优劣势？
        其他有那些，商业的还是开源的？
    3、Hadoop给您带来哪些更多的机会？
         说白了就是工作机会，现在那个互联网公司不朝大数据靠？所以有hadoop的相关经验，钱不低啊。
        不过，说到底，它只是一个工具，应时的工具，咱作为程序猿，不能沦被工具所累。一些核心技术，业务能力才是核心。

luyi6101

1、Hadoop是否是大数据处理的福音？    2、Hadoop与其他海量数据处理方案相比有什么优劣势？
      hadoop对大数据，非格式化，多文件格式的数据处理有优势，只需要增加少量的硬件投入即可，但是对于数据一致性，事务处理，实效性有很大的不足，只能说对于某些行业如互联网，对数据要求不十分精确，对业务变化很快的行业有极大优势。但是对于金融行业对于数据的一致性，数据的实效性要求十分精准，那么此类行业的业务系统用hadoop就不太合适了，今后的大数据出来肯定是传统的oracle，TD和分布式数据处理并存，要不然oracle也不会花极大力气去研发exeadata，IBM不会花几十亿去研发per system。
3、Hadoop给您带来哪些更多的机会？
     hadoop对数据的重要性起了非常大的作用，单单不说hadoop纯开发职位，由于分布式的极大发展，很多企业的大量垃圾数据得以加工和处理，产生了很多开发职位和架构分析管理职位，最近的互联网分析师的流行，绝对离不开hadoop之类的推动。个人来看，hadoop相对传统BI开发难度大，人才少，待遇会大大高于传统IT职位。

dreamtime

nannan5000 发表于 2012-4-18 19:55
1、这个问题客观的来看，Hadoop提供的是一类思路。通过分布式实现高可用。
     2、Hadoop的 ...

我对hadoop的了解仅限于概念。hadoop不能像gp这样的mpp的数据库那样弄一台stand by的master吗？