【大话IT】初探企业大数据选型：Hadoop是否已失宠？

丸喵喵

获奖公布：

路由器：

renxiao2003

T-恤：

aloki

jieforest

help01

xiaomaoyu1

话题背景：Gartner在《2017年数据管理技术成熟度曲线》报告中指出Hadoop到达生产成熟期前即被淘汰（如下图），70%的Hadoop部署无法实现节约成本和收入增长的目标。当然，这并不是Gartner第一次唱衰Hadoop，早在五年前，Gartner研究总监Svetlana Sicular在其博客发表了一篇题为“大数据光环的幻灭”的文章，暗指Hadoop即将过时，大数据泡沫即将随着用户失败案例的增多而破裂。

在国内，大多数企业的大数据架构都基于Hadoop生态，Hadoop生态在大数据领域的标准地位相当稳固，Gartner的这一报告又该如何解读呢？这一结论到底是危言耸听还是确有远见呢？

讨论问题：

1、您对Gartner的报告结论如何看待？就国内现状而言，Hadoop在传统企业的受欢迎程度会和互联网企业相同吗？

2、您认为Hadoop生态最大的优势和劣势分别是什么？Spark生态也在渐渐完善，其机器学习方面的能力更强，未来与Hadoop生态的关系会是什么样的？

3、您认为Hadoop生态中表现最好、生命力最旺盛的组件有哪些？为什么？最容易被替换、表现欠佳的组件又有哪些呢？为什么？

4、您所在的公司属于什么行业？

活动时间：2018年5月30日——2018年7月30日

活动奖品：活动结束后我们会抽取1位优质回复赠送路由器一台，4位获奖者赠送itpub18周年纪念T-恤，参与奖：秀才徽章一枚。

Ryan-liumin

沙发  

houbao408

4位获奖者赠送itpub18周年纪念T-恤

hai503

图有点参考价值，不过Gartner 现在管得这么“宽”了吗？

13572207795

1.大数据杀熟的新闻被曝光之后，对弱势群体不利 大数据的缺点一下子暴露出来
2.应该加强大数据用到制造业 农业等领域 弥补有些领域的投机取巧
本人公司从事金融行业

wmxcn2000

本话题，要讨论 2 个月？平时不都是 1 个月，或 2 周吗？

aloki

1、您对Gartner的报告结论如何看待？就国内现状而言，Hadoop在传统企业的受欢迎程度会和互联网企业相同吗？
我觉Gartner的报告的有点危言耸听了。Hadoop即使在使用的过程存在问题，但并不是没办法解决的。就国内现状而言，Hadoop在传统企业的受欢迎程度会和互联网企业相同，几乎覆盖全行业。

2、您认为Hadoop生态最大的优势和劣势分别是什么？Spark生态也在渐渐完善，其机器学习方面的能力更强，未来与Hadoop生态的关系会是什么样的？
Hadoop优势是可扩展性，容错性，支持从GB到PB级别多种业务的需求,支持PB级别海量数据批处理的需求；劣势是使用门槛略高，技术迭代快导致学习成本和运维成本升高。
Spark大部分情况下与Hadoop配合出现，Spark作为通用计算引擎，而Hadoop提供存储和资源管理框架等服务。

3、您认为Hadoop生态中表现最好、生命力最旺盛的组件有哪些？为什么？最容易被替换、表现欠佳的组件又有哪些呢？为什么？
Hadoop生态中表现最好、生命力最旺盛的组件有HDFS、ZooKeeper以及HBase。因为无论是Spark还是Flink，底层的文件系统都是HDFS，很少有第三方厂商基于开源再造一个文件系统，HDFS在某种程度上奠定了大数据的基础。此外不少系统集成了ZooKeeper，因为它是分布式应用程序协调服务很关键的工具。在海量数据存储方面，目前看起来比较靠谱的方案依旧是HBase。无论是时间序列数据库还是图数据库底层往往都是HBase，这也说明其性能的优异。
最容易被替换、表现欠佳的组件有MapReduce、Hive、Mahout和Yarn。因为随着硬件越来越成熟，Spark的优化工作越来越好，企业很可能倾向于在内存中计算，MapReduce、Hive这类组件可能被Spark等替换掉。此外，Hadoop在机器学习方面确实不太擅长，Mahout等组件表现不佳，成为不少企业选择Spark的原因之一。最后，资源管理器Yarn与Hadoop的绑定过于紧，而实际上，有很多资源调度管理方法可供选择，比如Kubernetes等，对各种应用的支持某种程度上比Yarn更完善，无论是外部类型应用，大数据应用还是机器学习应用均可处理。

4、您所在的公司属于什么行业？
我所在的公司属于服务业

nv2118

一到专业问题的时候就发现，我是混进来的。我只能回答一个问题：
4、您所在的公司属于什么行业？
答：仪器仪表

丸喵喵

wmxcn2000 发表于 2018-6-1 09:52
本话题，要讨论 2 个月？平时不都是 1 个月，或 2 周吗？

嗯嗯，想采取更多的样本

zxzc99

参与奖：秀才徽章一枚