【大话IT】大数据时代，Hadoop是最好的框架？

lbj06

都沒聽過

东风玖哥

1.什么是Hadoop？
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。实现了HDFS，容错性非常高，并且能在廉价硬件上部署，极适合超大数据集的项目。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

2.为什么组织从传统的数据仓库工具转移到基于Hadoop生态系统的智能数据中心？
（1）高可靠性：Hadoop按位存储和处理数据的能力值得人们信赖。
（2）高扩展性：Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。
（3）高效性：Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。
（4）高容错性：Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。
（5）低成本：与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比，hadoop是开源的，项目的软件成本因此会大大降低。

3.更智能&更大的数据中心架构与传统的数据仓库架构有何不同？
（1）面向大数据：数据中心架构的设计概念不同于传统数据中心的集散控制系统。数据中心架构会提供优化快速的传输机制，海量数据的高度并行处理，让大数据分析应用具备不同的特点。
（2）对任务的变化和适应：应用程序的资源使用的优先级
（3）智能管理：数据中心架构涉及到大量的硬件资源和高密度计算，需要更高的智能化管理
（4）高扩展性：大数据的应用程序需要在DCS系统中以高吞吐量低延迟的环境下访问
（5）开放的、基于标准和灵活的服务层：传统的数据仓库架构的存储UI存在于不用的协议层上，会导致无法动态的分配资源

4.相较Spark等5种大数据框架，基于Hadoop的数据中心的好处是什么？
（1）Spark没有文件管理功能，因而必须依赖Hadoop分布式文件系统(HDFS)或另外某种解决方案。
（2）Hadoop占用内存比Spark更小
（3）Spark无法进行分布式数据的存储

qingduo04

路过支持！！！

carniege

hadoop有很大局限性的

zhj149

是或不是等过十年再论

初识orcl

1.什么是Hadoop？
hadoop就是把一群计算机整合成一台计算机，从而提高计算机的性能
2.为什么组织从传统的数据仓库工具转移到基于Hadoop生态系统的智能数据中心？
因为存储的数据更多，机器成本更廉价，大数据计算速度快捷；未来是数据时代，大家都开始挖掘现有数据的价值；
3.更智能&更大的数据中心架构与传统的数据仓库架构有何不同？
感觉比较类似，不过hadoop相对来说可能更稳定一些，数据备份相对更简单，备份充足；
4.相较Spark等5种大数据框架，基于Hadoop的数据中心的好处是什么？
理解还是hadoop框架的优势，成本低廉，易于自主开发功能，数据存储高效。

liklstar

哦，大家都在关心这个？
Hadoop也好，Spark也罢，不过是一个具体的有形的产品或软件。把它们搞会、用熟，有多大意义呢？顶多是编编程序，做做项目，卖卖经验而以？还是局限于某一个或几个具体的软件、开源软件或产品的灵活巧妙的运用。
如果大家对分布式系统这个知识体系、计算机网络这个科学技术领域、大数据这个学术方向的基础理论知识体系有一些基本的认识和掌握，并积累一些科研或工程技术经验，那麽就可以独立承担科研或工程技术任务，岂不更好？！

Nero-zch

Hadoop分布式文件系统(HDFS)，对这个有兴趣！

jieforest

1.什么是Hadoop？
Hadoop起源于Google。Google公司于2003年和2004年发表了两篇描述Google技术的学术论文：谷歌文件系统（GFS）（http://research.google.com/archive/gfs.html）和MapReduce （http://research.google.com/archive/mapreduce.html）。它们提供了一个高效处理极大规模数据的平台。
与此同时，Doug Cutting正在研究开源的网页搜索引擎Nutch。他一直致力于系统原理的工作，当Google的GFS和MapReduce论文发表后，引起了他的强烈共鸣。Doug开始着手实现这些Google系统，不久之后，Hadoop诞生了。Hadoop早期以Lucene子项目的形式出现，不久之后成了Apache开源基金会的顶级项目。因此，从本质上来讲，Hadoop是一个实现了MapReduce和GFS技术的开源平台，它可以在由低成本硬件组成的集群上处理极大规模的数据集。作为一个顶级项目，Hadoop项目包含许多组件子项目。

2.为什么组织从传统的数据仓库工具转移到基于Hadoop生态系统的智能数据中心？
主要因素还是在于企业组织在生产运营中产生的数据越来越大，使用传统的数据仓库工具显得越来越力不从心。企业组织经过多方面了解、评估之后，开始考虑建立基于Hadoop生态系统的智能数据中心。

3.更智能&更大的数据中心架构与传统的数据仓库架构有何不同？
传统的数据仓库架构主要包含数据流入流出的过程，通常分为三层：源数据层、数据仓库层、数据应用层。
源数据层：日志、数据库、文件系统、媒体文件
数据仓库层：聚合数据、多维数据、业务模型、关系型数据
数据应用层：报表展示、实时查询、数据分析、数据挖掘
而智能化的数据中心架构大致分四层：数据采集层、数据存储&分析层、数据共享层、数据应用层。
数据采集层的任务就是把数据从各种数据源中采集和存储到数据存储上，期间有可能会做一些简单的清洗。
数据共享层指的是前面数据分析与计算后的结果存放的地方。

4.相较Spark等5种大数据框架，基于Hadoop的数据中心的好处是什么？
好处有：
1）基于Hadoop的数据中心在技术方面显得更成熟、稳定；
2）相关的IT从业人员也更多，更易于招聘；
3）基于Hadoop的商业解决方案也更多，哪怕是不懂这些的公司也更易于实施。

lnln

spark 并没有定义底层的存储，spark 可以替代hadoop 的map reduce , spark 并没排斥hadoop hdfs