ITPUB论坛－专业的IT技术社区

标题: Teradata 和Greenplum 的讨论 [打印本页]
作者: AlexWu27    时间: 2012-5-18 17:01
标题: Teradata 和Greenplum 的讨论
Teradata 和Greenplum 的讨论
有过这两个数据库经验的大侠，可以讨论讨论么？关于它们各自的优势和区别，各抒己见，谢谢了呢
作者: AlexWu27    时间: 2012-5-18 17:03
teradata是不是就是转换功能比较强呢？依附Oracle的数据库？？
作者: wangfans    时间: 2012-5-18 18:47
本帖最后由 wangfans 于 2012-5-18 18:47 编辑
AlexWu27 发表于 2012-5-18 17:03
teradata是不是就是转换功能比较强呢？依附Oracle的数据库？？

在让大家讨论之前，建议你了解下最起码的数据库知识
作者: wangkxxe    时间: 2012-5-18 22:56
和oracle嘛关系啊
作者: yibu    时间: 2012-5-21 14:18
贵和便宜的区别,包括软件和硬件
作者: kami_kang    时间: 2012-5-21 15:54
Teradata依托于硬件加软件的方式，类似于oracle的数据一体机，价格较高。据说采用ELT的方式，在LOAD时有自己高效的算法，故在处理海量数据的ETL过程表现优异。
对于Greenplum了解就更少了
作者: flywolf2000    时间: 2012-5-22 12:29
本帖最后由 flywolf2000 于 2012-5-22 12:32 编辑

1、Teradata是并行商业数据库 ，GreenPlum出身于科研；
2、Teradata采用MPP架构 GreenPlum虽然也采用这个，但是GreenPlum有一个Master Hosts节点
如图所示

Teradata架构：

在大量汇总类查询Master Hosts会是瓶颈，而且Master Host不能挂；
3、Teradata使用自己本身的数据引擎和查询工具，GreenPlum使用开源PostGrel SQL，在商业领域这一点就输了；
4、空间利用率方面，Teradata是有效空间使用系数3.61(裸空间除以这个数，根据Raid1、文件管理等算出真正用户能够使用的空间系数)，
GreenPlum由于是临近节点互为镜像（GreenPlum假设有10个节点，1号节点存储2号节点的数据镜像，2存3，3存4...10存1），空间使用系数为10左右，
所以同样容量规划下，空间利用TD比GP要强；
5、高可用性方面，TD在一个Clique下只要有一个节点还生存，数据就不会丢，系统运行只不过会慢；GP是由于4中提及到的互为备份的因素，相邻两个节点
同时挂了，数据就要丢失；
6、高并发访问方面TD远高于GP；
7、可信赖方面，2009年以前世界上最大的商业数据仓库是建立在GreenPlum上的，客户是Ebay，Teradata在Ebay是做深度挖掘平台的，在2010年
Ebay将GreenPlum踢出,全部换成Teradata，主要原因就是：不可信任（计算的数据可信度不高）。
8、TD由于都是专有设备价格比较昂贵，GP采用的普通的PC和IDE硬盘价格非常便宜；
9、GP的产品介于结构化与非结构化数据之间，TD是结构化数据，不过10年收购的Aster Data是非结构化数据库，但是需要整合；
10、GP的产品采用行列混合存储技术，TD在新发布的14.0产品才有；

暂时想到就这些吧
作者: wangfans    时间: 2012-5-22 13:30
本帖最后由 wangfans 于 2012-5-22 13:30 编辑
flywolf2000 发表于 2012-5-22 12:29
1、Teradata是并行商业数据库 ，GreenPlum出身于科研；
2、Teradata采用MPP架构 GreenPlum虽然也采用这个， ...

认真学习飞狼哥的总结！
作者: wolfop    时间: 2012-5-22 16:53
flywolf2000 发表于 2012-5-22 12:29
1、Teradata是并行商业数据库 ，GreenPlum出身于科研；
2、Teradata采用MPP架构 GreenPlum虽然也采用这个， ...

没更新：
TD的2690系列一个clique就两个节点，宕机后果是什么我看也一样；而66XX系列是专门的冷备节点，也没有clique这个概念。

作者: flywolf2000    时间: 2012-5-22 22:37
wolfop 发表于 2012-5-22 16:53
没更新：
TD的2690系列一个clique就两个节点，宕机后果是什么我看也一样；而66XX系列是专门的冷备节点， ...

扯淡，谁告诉你66系列没有clique概念的？一个clique配置多少个节点不是固定的，2690现在多数都配置成2+1的，但是也可以配置成3而不加热备节点的。
作者: wolfop    时间: 2012-5-23 10:53
本帖最后由 wolfop 于 2012-5-23 10:55 编辑
flywolf2000 发表于 2012-5-22 22:37
扯淡，谁告诉你66系列没有clique概念的？一个clique配置多少个节点不是固定的，2690现在多数都配置成2+1的 ...

准确地说66XX里面所谓的clique根本只是一个逻辑概念，和26XX系列固定的完全不同。1+1,2+1,3+1,2+0,3+0随便配，至少在做benchmark的时候为了提升性能+0是可以，生产就是另外一回事了。
至于2690，你怎么在一个clique内配置成2+1？一个clique就两个节点。
作者: flywolf2000    时间: 2012-5-23 11:18
wolfop 发表于 2012-5-23 10:53
准确地说66XX里面所谓的clique根本只是一个逻辑概念，和26XX系列固定的完全不同。1+1,2+1,3+1,2+0,3+0随便 ...

2690的说错了，2690都是2个节点一个 clique。
作者: bravezzy    时间: 2012-5-23 17:51
flywolf2000 发表于 2012-5-22 12:29
1、Teradata是并行商业数据库 ，GreenPlum出身于科研；
2、Teradata采用MPP架构 GreenPlum虽然也采用这个， ...

动不动扩容就要几千万，还要长时间停机，让人无法忍受。现实情况就是一大堆国内TD的超级客户都要用其它产品替代TD。 比如福建移动，山西移动，工行，建行，travelsky，中国电信。
作者: flywolf2000    时间: 2012-5-24 11:22
本帖最后由 flywolf2000 于 2012-5-24 11:39 编辑
bravezzy 发表于 2012-5-23 17:51
动不动扩容就要几千万，还要长时间停机，让人无法忍受。现实情况就是一大堆国内TD的超级客户都要用其它产 ...


只要是Shared Nothing结构的数据库扩容的话都涉及到数据重新分布，你是没接触过其他并行数据库，Netezza从TwinFin6扩容到Twinfin12的话，你知道是怎么扩容么？IBM需要拉过来一个TwinFin12将数据
导进去，如果从TwinFin12变成TwinFin6的话，就必须拉过来一个TwinFin6导数；GreenPlum扩容也需要停机；Oracle 的Extradata不是Shared Nothing结构，理论上理论上是可以实现在线扩容，但实际上扩容的时候也需要停机，事实上，大量用户反馈，Exadata非常不稳定，存在大量Bug，在打补丁的时候都经常需要停机。

TD贵，其他的就便宜？Oracle的Extradata比TD还贵，而且Extradata x2-8最多扩展到8个机柜。工行的
数据量200多个TB，你知道有几个DBA么？只有2个半！同样数据量的Oracle没有个Team根本支持不了，
看一套产品是否贵，不能单看产品的价格，还要看后期维护的人员成本、技术投入、硬件维护等。如果从
全局来看我们之前比较过，从长期来看TD没有想象的贵，用我们售前老大的话——便宜没好货，好货不便宜。

建行今年扩容，工行明年扩容，这两家都是2年一扩，我就奇怪你这些消息都哪里来的，山西移动的PS单子
是今年电信Team PS最大的单子。
就算福建移动换成Oracle Extradata这也是正常的，你不看多少Oracle换成TD？今年最大的一个就是
PICC（中国人寿）Oracle 迁移到TD。客户选择哪个厂商，产品好是一方面，更关键的还是销售的力度，
以及客户自身认知谁。

没有完美的产品，各有所长！
作者: wolfop    时间: 2012-5-24 14:58
本帖最后由 wolfop 于 2012-5-24 15:00 编辑
flywolf2000 发表于 2012-5-24 11:22
只要是Shared Nothing结构的数据库扩容的话都涉及到数据重新分布，你是没接触过其他并行数据库，Netezz ...

一个是必须停机做重分布，200TB的数据不做几周才怪呢。一个是为了升级到最新的软件版本，为了减少工作量做停机方式非rolling upgrade，根本不是一个概念。实际上的停机时间也根本不是一个数量级。难道TD升级软件就不停机？
TD的66XX系列从长远看也永远贵，没啥好说的，根本就是一个天文数字。要不也不会玩命用26XX去抢市场了。但是26XX，功能上比66XX缩减了多少，谁都知道。另外PS的单子和产品扩容是两个概念吧。
TD在CMCC被替代也不是最近的事情了吧，被DB2干掉的也不少吧，嘿嘿。
另外Exadata的扩展性根本不是只有8个机柜，我极度怀疑TD内部的竞争分析文档是谁写的，很多很搞笑的东西。
作者: flywolf2000    时间: 2012-5-24 15:31
wolfop 发表于 2012-5-24 14:58
一个是必须停机做重分布，200TB的数据不做几周才怪呢。一个是为了升级到最新的软件版本，为了减少工作量做 ...

哥们：我看的是Oracle自己发布的文档  你这火药味太浓了，那请教下您觉得哪产品更好？
作者: wolfop    时间: 2012-5-24 15:33
本帖最后由 wolfop 于 2012-5-24 15:35 编辑
flywolf2000 发表于 2012-5-24 15:31
哥们：我看的是Oracle自己发布的文档  你这火药味太浓了，那请教下您觉得哪产品更好？

你看的太旧了，嘿嘿嘿。也说明TD自己不更新自己的竞争文档。
至于哪个产品最好这个不好说，但是我们起码看到Exadata跨越了传统的share disk或者单纯的MPP，做出了一个业界唯一的混合架构。
其他产品也就在原来的MPP或者纯SHARE DISK上没只是小改变，啥根本架构创新了。
作者: roundworm    时间: 2012-5-24 16:11
bravezzy 发表于 2012-5-23 17:51
动不动扩容就要几千万，还要长时间停机，让人无法忍受。现实情况就是一大堆国内TD的超级客户都要用其它产 ...

To wolfop：
teradata是做卡车的，Oracle是做面包车的，有天Oracle做了一款皮卡，起个花名叫Exadata，你说这个算啥？卡车还是面包车？
作者: bravezzy    时间: 2012-5-24 16:30
flywolf2000 发表于 2012-5-24 16:11
我真服了，我说我看的Oracle材料11年的，从Oracle公司那边拿的，和这个“也说明TD自己不更新自己的竞争文档 ...

“2系列定位是入门级客户，一般数据集市放在这个上面和6系列功能上肯定差距很大”这话怎么不敢在电信选型PoC的会上说呢？

另外，移动的PoC TD为啥要拿实验室特殊型号产品去测呢？ 难道TD对交付给客户的产品都没有信心？
作者: roundworm    时间: 2012-5-24 16:41
本帖最后由 roundworm 于 2012-5-24 16:44 编辑
bravezzy 发表于 2012-5-24 16:30
“2系列定位是入门级客户，一般数据集市放在这个上面和6系列功能上肯定差距很大”这话怎么不敢在电信选型 ...


“实验室特殊型号”是啥？ 难道TD还有什么秘密武器？ 求真相
作者: wolfop    时间: 2012-5-24 20:45
本帖最后由 wolfop 于 2012-5-24 20:50 编辑
flywolf2000 发表于 2012-5-24 16:11
我真服了，我说我看的Oracle材料11年的，从Oracle公司那边拿的，和这个“也说明TD自己不更新自己的竞争文档 ...

你真是孤陋寡闻了，CMCC总部TD是保住了，丢给DB2的少么？陕西/云南/可能还有贵州。很多情况下TD被取代有时候是保留着一个不大的DW，客户利用新建的Datamart迁移到DB2/ORACLE。
100TB不到10小时？嘿嘿嘿，某个CMCC的省60-70TB用备份恢复的方法至少3天，还有一个省用重分布也是3天。也许ICBC的配置比较好，都是66XX，所以快点，但我是很怀疑的，靠rehash能做多快？100TB容量的DW不算是什么，再大点看看。6690还没有2690的压缩卡，到400-500TB我倒看你怎么办。
至于IBM做benchmark，2007年IBM的的POC就是用DB2，TD和IBM打的POC，可能IBM DB2还多点，比如招行，也有两个都上的。说实在的，Netzza硬件架构还算合理，但是数据库优化器就差点了。
你的关于Exadata的文档太旧了，也许你是11年获得的，但是内容是10年甚至更久以前的。
作者: wolfop    时间: 2012-5-24 20:45
roundworm 发表于 2012-5-24 16:11
To wolfop：
teradata是做卡车的，Oracle是做面包车的，有天Oracle做了一款皮卡，起个花名叫Exadata，你 ...

别绕，这种类比贴切么？
作者: wolfop    时间: 2012-5-24 20:56
呵呵，跑题了，后来的帖子越来越脱离主题了。
作者: wangkxxe    时间: 2012-5-24 21:56
呵呵，还在讨论呢
作者: wangkxxe    时间: 2012-5-24 22:10
wolfop 发表于 2012-5-24 20:56
呵呵，跑题了，后来的帖子越来越脱离主题了。

没有几贴贴题的
OLAP 有米上Exadata，还不如上低端的Teradata
作者: bravezzy    时间: 2012-5-24 22:26
wangkxxe 发表于 2012-5-24 22:10
没有几贴贴题的
OLAP 有米上Exadata，还不如上低端的Teradata

Exadata就没把低端的TD当竞争对手。根本不是一个档次产品
作者: wangkxxe    时间: 2012-5-24 22:32
bravezzy 发表于 2012-5-24 22:26
Exadata就没把低端的TD当竞争对手。根本不是一个档次产品

不想说什么，你们继续吧
作者: wolfop    时间: 2012-5-24 23:12
wangkxxe 发表于 2012-5-24 22:10
没有几贴贴题的
OLAP 有米上Exadata，还不如上低端的Teradata

自欺欺人。
如果为了省钱，用低端的Teradata还不如用Greenplum+自己攒的PC。
TD低端那种被阉割过的硬件配置，看着就好笑。
作者: flywolf2000    时间: 2012-5-25 00:56
本帖最后由 flywolf2000 于 2012-5-25 01:06 编辑
wolfop 发表于 2012-5-24 20:45
你真是孤陋寡闻了，CMCC总部TD是保住了，丢给DB2的少么？陕西/云南/可能还有贵州。很多情况下TD被取代有时 ...


1、ICBC扩容是我Team做的，Rehash10多个小时，不到一天，这个你不用质疑，Rehash不是所有的数据都Rehash，Rehash多少取决于增加的节点个数所在的比率；
2、备份和Rehash是两码事，备份的速度是否快取决于Bar Server的个数以及带库上使用的是LOT2还是LOT4再有就是Bar Server交换机上的带宽、使用单流备份与多流备份等因素，这些上去了，速度自然上去；
3、ICBC是56系列不是6系列；
4、近两年我参与的POC，IBM都是用Netezza，没看拿DB2参与POC；
5、DB2代替TD这个，我还得真打听打听。

兄台对各厂商以及各客户的情况如此了解，话语间火药味也实足，我猜您是哪个厂商售前吧？
作者: wangkxxe    时间: 2012-5-25 10:26
我晕，搞的哥儿没用过TD、EXADATA、DB2似的，greenplum没用过不敢评论，不过X宝在做greenplum到hive的迁移，原因自己去查
作者: roundworm    时间: 2012-5-25 10:40
bravezzy 发表于 2012-5-24 22:26
Exadata就没把低端的TD当竞争对手。根本不是一个档次产品

我想对客户来说，数据仓库没有什么低端、高端之说，能够满足客户的业务、技术需求的产品就是好产品，不管是Teradata还是Oracle。
从我了解的去年几个POC来看，参与竞争的产品主要是Teradata 2650、Exadata X2-2、 Netezza Twinfin，以及 Greenplum DCA， 但IBM ISAS 参与的热情似乎不是很高，此外偶尔还会有Sybase或微软的产品，但是不多。
单纯从POC的测试结果指标来看，这几家厂商的设备可以说是各有千秋，因此基本上可以认为上面这些设备是属于同一个级别的。至于哪个地方Teradata替换了Oracle，或者是Oracle替换了Teradata，我觉得这些都属于正常的商业行为，与各家的技术优劣真的没多大关系。所以大家就不要互相攻击啦。
作者: roundworm    时间: 2012-5-25 10:45
roundworm 发表于 2012-5-25 10:40
我想对客户来说，数据仓库没有什么低端、高端之说，能够满足客户的业务、技术需求的产品就是好产品，不管 ...

By the way， 这里毕竟是技术论坛，不是客户办公室，希望各位能多点理性的技术探讨，而不是毫无根据的恶意诽谤和攻击。
作者: wolfop    时间: 2012-5-25 21:48
flywolf2000 发表于 2012-5-25 00:56
1、ICBC扩容是我Team做的，Rehash10多个小时，不到一天，这个你不用质疑，Rehash不是所有的数据都Rehas ...

备份恢复是没办法的办法，为了加快速度。不同节点数的MPP架构备份恢复可不是简单的靠IO性能，嘿嘿嘿。
作者: wolfop    时间: 2012-5-25 21:57
roundworm 发表于 2012-5-25 10:40
我想对客户来说，数据仓库没有什么低端、高端之说，能够满足客户的业务、技术需求的产品就是好产品，不管 ...

你这明显就把TD的66XX拔到了凌驾在别的产品之上了？



欢迎光临 ITPUB论坛－专业的IT技术社区 (http://www.itpub.net/) Powered by Discuz! X3.2