【大话IT】唯快不破！关于大数据查询分析引擎的两三事

pastime_Wang

1：您第一个使用的分布式引擎是什么？目前还在用吗？为什么？

Re: 不知道 Hive 算不算一个，Hive 实际为使用 Map-Reduce 而在外面封装了一层SQL, 由于使用SQL语言，所以学习成本对于DBA来讲比较低, 容易上手
但缺点是SQL的问题域比实际 Mapduce 要窄很多, 比如一些数据挖掘算法，推荐算法等，用SQL很难表达，不得不编写Map-Reduce完成.
虽然目前还在使用，但仅限于简单的大数据抽取，转换和聚合等等。

---------------------------------------------------------
2：开源数据库厂商，相比传统数据库厂商，拥有那些优势呢？说说你对开源分布式引擎的未来展望。

开源厂商的优势：

1. 可以基于开源数据库进行定制开发，自主可控
2. 成本控制较好，相对传统数据库厂商具有一定的优势
3. 作为开源主要技术主要贡献者，推进开源项目的发展
4. 在某些核心技术或功能上处于先进或主导地位，传统数据库厂商可能受底层架构限制，很难适合新的发展要求

未来展望: 传统关系型数据库系统将逐渐萎缩，可能会出现多种(4~6)完全不同的数据库架构类型，每一类中都会有1~2家成功的厂商

不会再有"万能"的数据库，混用方案将会变得越来越流行，同时我比较看好开源的 postgres, 功能强大, 核心技术成熟
---------------------------------------------------------
3：分析一下大数据与OLAP混合技术架构的优势和特点 ?

1. 极速OLAP引擎, 削减Hadoop环境中处理超过百亿行数据时的查询延迟时间
2. Hadoop上的ANSI SQL接口, 提供ANSI SQL并支持大部分ANSI SQL查询功能
3. 利用MOLAP cube（立方体）对数百亿行数据进行查询   

---------------------------------------------------------
4：针对目前的大数据的4V特点，hadoop有哪些优势和弊端？

Hadoop的主要优点：

1. Hadoop集群的横向扩展性，Hadoop可以扩展至数千个节点，对数据持续增长，数据量特别巨大的需求很合适
2. Hadoop是开源项目, 成本是其另一大优势        
3. Hadoop生态群活跃，社区成熟度高, 开源项目丰富

Hadoop的不足之处：

1. Hadoop不适合做实时分析系统
2. 缺乏专业的支持服务
3. Hadoop可以支持百亿的数据量，但很难应对秒级响应的需求  

王江玉

对大数据分析的项目来说，技术往往不是最关键的，关键在于谁的生态系统更强，技术上一时的领先并不足以保证项目的最终成功。
虽然说开源软件因为其强大的成本优势而拥有极其强大的力量，但是传统数据库厂商仍会尝试推出性能、稳定性、维护服务等指标上更加强大的产品与之 进行差异化竞争，并同时参与开源社区、借力开源软件来丰富自己的产品线、提升自己的竞争力，并通过更多的高附加值服务来满足某些消费者需求。毕竟，这些厂 商往往已在并行数据库等传统领域积累了大量的技术和经验，这些底蕴还是非常深厚的。总的来看，未来的大数据分析技术将会变得越来越成熟、越来越便宜、越来 越易用；相应的，用户将会更容易更方便地从自己的大数据中挖掘出有价值的商业信息。

shenlanyouyu

1：您第一个使用的分布式引擎是什么？目前还在用吗？为什么？
Hadoop，自学弄过，但是没有产品经验。
2：开源数据库厂商，相比传统数据库厂商，拥有那些优势呢？说说你对开源分布式引擎的未来展望。
开源数据库，有开源社区的支持，技术跟进更快，能够定制出适应特定应用场景的数据库产品。其次，能够自由获得源码，其策略确保了自由性，避免锁定某家公司或平台。
3：分析一下大数据与OLAP混合技术架构的优势和特点 ?
4：针对目前的大数据的4V特点，hadoop有哪些优势和弊端？
Hadoop是一个能够对大数据进行分布式存储和处理的软件框架，它具有高可靠性、高扩展、容错、高效、低成本的特点，
Hadoop的优点：
（1）高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖;
（2）高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。
（3）高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。
（4）高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。
Hadoop的缺点：
（1）不适合低延迟数据访问。
Hadoop设计的目的是大吞吐量，所以并没有针对低延迟数据访问做一些优化。
（2）无法高效存储大量小文件。
由于NameNode把文件的MetaData存储在内存中，所以大量的小文件会产生大量的MetaData。。
（3）不支持多用户写入及任意修改文件。
Hadoop现在还不支持多人写入，任意修改的功能，每次写入都会添加在文件末尾。
现在我个人觉得Spark挺火的。Hadoop是非常耗费计算资源的，与Hadoop相比，Spark真正的优势在于速度，Spark的大部分操作都是在内存中，而Hadoop的MapReduce系统会在每次操作之后将所有数据写回到物理存储介质上。

houbao408

支持