DB2千万或亿级的数据如何存储性能才最好？

cuixuezheng · 发表于 2009-6-19 09:52

有几张表的数据量比较大，现近一亿，需要和一个几十万的小表做merge，现在发现性能特别差，甚至执行不出来。这些大表如何存储或者其他方式，可以提升性能？现在已经在用的列上建了索引，还没有找到合适的分区方式。

zealot_tang · 发表于 2009-6-19 10:31

这么大的表不建分区恐怕是很难操作的，把索引和表数据建在分别的表空间吧，可以提高读写效率

cuixuezheng · 发表于 2009-6-19 11:03

现在是不知道用哪些键做分区，用到的键都比较多而且散，也不好做分区。另外，DB2 LUW可以做分区索引吗？

Germin · 发表于 2009-6-19 12:36

分区键在主键里面选一个散列较好的就可以了

上亿的数据是比较慢，sql优化下，时间应该还是在可以忍受的氛围内

diablo2 · 发表于 2009-6-19 14:07

上亿应该还可以啦

cuixuezheng · 发表于 2009-6-19 14:17

这方面各位有什么经验，可以分享一下吗？

unixnewbie · 发表于 2009-6-20 07:53

原帖由 cuixuezheng 于 19/6/2009 16:17 发表
这方面各位有什么经验，可以分享一下吗？

通常这些大表都通过一定逻辑来组织的。比如时间，地域等等。另外找query条件中共同用到的column，再考虑cardinality对storage的影响。综合后考虑用table partitioning（v9.1或以上）+ MDC （V8.1或以上)。建议你看看IBM网站上的db2 best practice文章。

不过使用以上feature时需考虑是否有外键以用到这个partition了的table。如果外键是enforced的，那就会有可能产生很多NW LOCK，影响insert的性能。这个是IBM infor center以及Best practice不会告诉你的。必须看technote以及PMR。”血“的教训啊。

diablo2 · 发表于 2009-6-20 12:57

LS的，什么时候来上海
阿

bpmfhu · 发表于 2009-6-20 22:16

原帖由 unixnewbie 于 2009-6-20 07:53 发表

通常这些大表都通过一定逻辑来组织的。比如时间，地域等等。另外找query条件中共同用到的column，再考虑cardinality对storage的影响。综合后考虑用table partitioning（v9.1或以上）+ MDC （V8.1或以上)。建议你看看IBM网站上的db2 best practice文章。

不过使用以上feature时需考虑是否有外键以用到这个partition了的table。如果外键是enforced的，那就会有可能产生很多NW LOCK，影响insert的性能。这个是IBM infor center以及Best practice不会告诉你的。必须看technote以及PMR。”血“的教训啊。

我记得我在dw系统里面用partition+mqt的时候，也碰到这个问题...

[ 本帖最后由 bpmfhu 于 2009-6-20 22:22 编辑 ]

unixnewbie · 发表于 2009-6-23 11:13

原帖由 diablo2 于 20/6/2009 14:57 发表
LS的，什么时候来上海
阿

您老又不在上海，我去为何