查看: 36385|回复: 13

【大话IT】唯快不破!关于大数据查询分析引擎的两三事

[复制链接]
认证徽章
论坛徽章:
57
目光如炬
日期:2016-03-13 22:00:00射手座
日期:2016-03-11 13:49:54目光如炬
日期:2016-03-06 22:00:01火眼金睛
日期:2016-02-29 22:00:01火眼金睛
日期:2016-01-31 22:00:00猴赛雷
日期:2016-01-27 14:13:262016猴年福章
日期:2016-01-27 14:12:45秀才
日期:2016-01-25 14:55:31目光如炬
日期:2016-01-17 22:00:01射手座
日期:2016-01-15 14:30:33
发表于 2016-5-6 10:05 | 显示全部楼层 |阅读模式
获奖公布:
参与者各发一个秀才徽章,感谢大家!
话题背景:

毫无疑问,我们已经进入了大数据(Big Data)时代。人类的生产生活每天都在产生大量的数据,并且产生的速度越来越快。根据IDC和EMC的联合调查,到2020年全球数据总量将达到40ZB。 今天我们就来谈谈大数据查询分析,大数据查询分析是云计算中核心问题之一,自Google公司提出MapReduce分布式处理框架以来,以Hadoop为代表的开源软件受到越来越多公司的重视和青睐。各种优秀的SQL on Hadoop引擎不断涌现,比如Impala,SparkSQL,Phoenix等等。
随着时数据量的日渐增加,量级已经拓展到了超大规模,如何做到秒反应,延迟降到最低,今天为大家带来一款Hadoop系统中的一个成员:Apache Kylin ! Apache Kylin是一个开源的分布式分析引擎,于2014年11月加入Apache孵化器项目,于2015年11月正式毕业成为Apache 顶级项目。
那么,相比其他分布式分析引擎Apache Kylin的亮点在哪里?
Kylin 的核心: Kylin OLAP引擎基础框架,包括元数据(Metadata)引擎,查询引擎,Job引擎及存储引擎等,同时包括REST服务器以响应客户端请求。
可扩展超快OLAP引擎轻松解决上百亿规模数据查询延迟。
搭载Hadoop ANSI SQL 接口为Hadoop提供标准SQL支持大部分查询功能。
其次在传统界面上引入第三方界面,使得用户操作界面更加美观易用。
在性能方面,Apache Kylin最新1.5也提供了相对之前版本两倍的性能提升,带来更好的用户体验。

话题讨论:

1:您第一个使用的分布式引擎是什么?目前还在用吗?为什么?
2:开源数据库厂商,相比传统数据库厂商,拥有那些优势呢?说说你对开源分布式引擎的未来展望。
3:分析一下大数据与OLAP混合技术架构的优势和特点 ?
4:针对目前的大数据的4V特点,hadoop有哪些优势和弊端?

活动奖励:

精美礼品10个。

活动时间:

2016年5月6日-6月6日。




认证徽章
论坛徽章:
54
ITPUB15周年纪念
日期:2017-02-19 21:29:36双子座
日期:2015-11-26 23:31:18天蝎座
日期:2015-11-23 18:37:14天枰座
日期:2015-11-23 10:05:24秀才
日期:2015-11-11 09:48:44摩羯座
日期:2015-11-05 17:21:49射手座
日期:2015-10-26 15:35:30狮子座
日期:2015-10-09 09:25:42双子座
日期:2015-08-26 10:23:172015年新春福章
日期:2015-06-02 14:55:00
发表于 2016-5-6 10:54 | 显示全部楼层
请问,Kylin SQL引擎对SQL标准的支持程度,如对SQL99,SQL2003的兼容程度?

使用道具 举报

回复
认证徽章
论坛徽章:
2109
亚特兰大老鹰
日期:2015-01-05 11:33:18亚特兰大老鹰
日期:2015-01-05 11:33:18亚特兰大老鹰
日期:2015-01-05 11:33:18亚特兰大老鹰
日期:2015-01-05 11:33:18亚特兰大老鹰
日期:2015-01-05 11:33:18亚特兰大老鹰
日期:2015-01-05 11:33:18亚特兰大老鹰
日期:2015-01-05 11:33:18亚特兰大老鹰
日期:2015-01-05 11:33:18亚特兰大老鹰
日期:2015-01-05 11:33:18亚特兰大老鹰
日期:2015-01-05 11:33:18
发表于 2016-5-6 11:51 | 显示全部楼层
支持  

使用道具 举报

回复
认证徽章
论坛徽章:
4543
菠菜神灯
日期:2016-10-27 15:43:20菠菜神灯
日期:2016-10-27 16:05:30菠菜神灯
日期:2016-10-27 16:05:30菠菜神灯
日期:2015-07-24 14:56:20菠菜神灯
日期:2016-10-27 16:05:302014年世界杯参赛球队: 波黑
日期:2019-10-12 17:35:042014年世界杯参赛球队: 葡萄牙
日期:2019-10-12 17:34:51菠菜神灯
日期:2015-04-17 18:02:23菠菜神灯
日期:2015-04-17 18:02:23菠菜神灯
日期:2016-10-27 16:05:30
发表于 2016-5-6 15:29 | 显示全部楼层
支持。。。。。。。。。。。

使用道具 举报

回复
认证徽章
论坛徽章:
836
状元
日期:2015-11-12 10:18:05榜眼
日期:2015-11-12 10:18:05探花
日期:2015-11-12 10:18:05进士
日期:2015-11-12 10:18:05举人
日期:2015-09-11 13:42:08秀才
日期:2015-09-17 09:11:05至尊黑钻
日期:2015-11-20 18:17:09紫钻
日期:2015-11-20 18:18:06粉钻
日期:2015-11-20 18:17:23绿钻
日期:2015-11-20 18:17:48
发表于 2016-5-6 16:03 | 显示全部楼层

1:您第一个使用的分布式引擎是什么?目前还在用吗?为什么?
这种分布式引擎是啥子,如果说是文中说的那些,我能说我一个都没用过,我只用过分布式数据库,
nosql的,couchbase算么,虽然不在用了,但是我觉得还是个不错的东西

2:开源数据库厂商,相比传统数据库厂商,拥有那些优势呢?说说你对开源分布式引擎的未来展望。
开源的优势我觉得就是让人有了可定制的可能,传统数据库只能是给你啥你用啥,开源的东西你不爽了你可以自己修改修改。
未来展望真不好说,我估计到最后也就是一家独大,几家小的分食剩余市场罢了

3:分析一下大数据与OLAP混合技术架构的优势和特点 ?
优势我觉得应该是进一步提升了类似hadoop这样的大数据量处理时的效率和时间吧,再来就是可以用一些熟悉的标准sql之类的操作?
交互性能,集成性能强些,再来就是开源吧,这个最主要,感觉。

4:针对目前的大数据的4V特点,hadoop有哪些优势和弊端
优点:
高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖;
高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的,这些集簇可以方便地扩展到数以千计的节点中。
高效性。Hadoop能够在节点之间动态地移动数据,并保证各个节点的动态平衡,因此处理速度非常快。
高容错性。Hadoop能够自动保存数据的多个副本,并且能够自动将失败的任务重新分配。
缺点:
不适合低延迟数据访问。
无法高效存储大量小文件。
不支持多用户写入及任意修改文件。

使用道具 举报

回复
论坛徽章:
76
山治
日期:2019-03-27 22:55:03秀才
日期:2016-01-25 15:02:04双子座
日期:2016-01-19 20:35:54秀才
日期:2016-01-13 12:14:26秀才
日期:2015-12-25 15:31:10秀才
日期:2015-12-18 09:28:57秀才
日期:2015-12-14 14:56:09秀才
日期:2015-12-14 14:51:16秀才
日期:2015-11-30 09:13:06处女座
日期:2015-11-27 12:27:01
发表于 2016-5-6 16:43 | 显示全部楼层
hbase作为底层存储引擎?我实在没了解这个设计的原因是什么?为了利用hbase索引?

使用道具 举报

回复
论坛徽章:
78
生肖徽章2007版:牛
日期:2012-08-02 22:43:00紫蛋头
日期:2012-12-08 09:43:38鲜花蛋
日期:2012-11-17 12:02:07鲜花蛋
日期:2013-02-05 21:53:34复活蛋
日期:2012-11-17 12:02:07SQL极客
日期:2013-12-09 14:13:35SQL数据库编程大师
日期:2013-12-06 13:59:43SQL大赛参与纪念
日期:2013-12-06 14:10:50ITPUB季度 技术新星
日期:2012-11-27 10:16:10最佳人气徽章
日期:2013-03-19 17:24:25
发表于 2016-5-6 17:36 | 显示全部楼层
wolfop 发表于 2016-5-6 16:43
hbase作为底层存储引擎?我实在没了解这个设计的原因是什么?为了利用hbase索引?

我也想了一下,可能有这两点考虑吧。
一是查询不太需要关联,而且总是从cube中返回一部分数据
二是增量cube可能需要修改数据吧

使用道具 举报

回复
认证徽章
论坛徽章:
98
秀才
日期:2016-02-18 10:06:46山治
日期:2017-02-21 16:18:12秀才
日期:2017-02-22 15:14:12秀才
日期:2017-02-22 15:16:26秀才
日期:2017-02-22 15:18:00秀才
日期:2017-03-01 13:53:39秀才
日期:2017-03-20 13:42:20秀才
日期:2017-03-27 17:52:06秀才
日期:2017-03-28 15:11:09秀才
日期:2017-03-28 15:59:38
发表于 2016-5-9 11:43 | 显示全部楼层
好的支持一下

使用道具 举报

回复
认证徽章
论坛徽章:
12
秀才
日期:2016-05-20 15:09:32秀才
日期:2017-07-11 13:54:02秀才
日期:2017-06-29 10:06:08秀才
日期:2017-06-29 10:05:55秀才
日期:2017-06-29 10:05:55秀才
日期:2017-05-17 11:39:09弗兰奇
日期:2017-05-13 09:39:40技术图书徽章
日期:2016-05-20 15:09:52秀才
日期:2016-05-20 15:09:43秀才
日期:2016-05-20 15:09:43
发表于 2016-5-9 21:21 | 显示全部楼层
目前还没用过分布式引擎的路过。。。。。。

使用道具 举报

回复
论坛徽章:
0
发表于 2016-5-12 20:36 | 显示全部楼层
hawq如何?

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 
京ICP备09055130号-4  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表