对于T级海量数据的数据库应该如何设计和管理？

hzlsuzhou · 发表于 2006-1-3 16:55

不小了。这个大小只是数据文件，那些日志什么的，都转储了。关键是要保持响应能力。我们的数据库可不是电信，移动，人家的都是T级的，不过电信也没有那么高的实时查询要求（？反正我的查话费账单没那么快）。又要7*24，又要保证每个weblogic server (2 instance) 能有200左右的并发（用多线程模拟的压力，无时间间隔）。没有那么好的硬件，早就挂了。

hzlsuzhou · 发表于 2006-1-3 16:58

反正觉得，系统优化是一个整体工程，真是费劲。要调的东西真是太多了

Iampoor · 发表于 2006-1-4 11:13

最初由 hzlsuzhou 发布
[B]不小了。这个大小只是数据文件，那些日志什么的，都转储了。关键是要保持响应能力。我们的数据库可不是电信，移动，人家的都是T级的，不过电信也没有那么高的实时查询要求（？反正我的查话费账单没那么快）。又要7*24，又要保证每个weblogic server (2 instance) 能有200左右的并发（用多线程模拟的压力，无时间间隔）。没有那么好的硬件，早就挂了。 [/B]

电信类数据库都是7×24小时的，尤其核心数据库，实时相应速度要求也很高。你查话单慢是因为电信的库绝大部分数据都是话单，假如是1T的库，应该多一半是详单，呵呵。帐单响应1秒内也差不多了（从用户界面上感觉到的）。你的库那么小，机器性能那么高，再有响应问题就真得好好调了。

maydaymayday · 发表于 2007-3-20 11:16

eXtremeDB支持T级的实时数据在国内的金融电信电力航空消费电子等领域也都验证了这一嵌入式的实时数据管理技术又了解这个的朋友吗过来探讨一下

tony110893 · 发表于 2007-3-21 08:29

主要是系统设计,高效的设计能消除很多性能隐患

Fenng · 发表于 2007-3-21 14:24

最初由 hzlsuzhou 发布
[B]补充一点，我们的Server是sun的，32个CPU,16G 内存，使用的是存储池. 数据库是oracle 9i. [/B]

这么牛的机器 15G 的数据对付不了？

mugen · 发表于 2007-3-21 14:46

15g的db需要这么好的硬件啊?
pc server都可以

tony110893 · 发表于 2007-4-11 09:04

主要看系统的瓶颈在哪儿

rollingpig · 发表于 2007-4-11 10:52

暴殄天物啊……

这样吧，扔个statspack上来，帮你看看

rollingpig · 发表于 2007-4-11 11:00

还是简单说两句
1。性能方面
a. 对big table的访问要保证有非常合适的index,保证多数访问能够限定到尽可能少的rows source
b. 考虑到历史数据的处理，尽量使用分区表
c. 适当建立summary table, 以满足可能出现的统计查询

2。存储方面
这个，有需求就会有产品，市场的大容量Storage还是有的。

3。备份
可以考虑使用存储上的一些类似于snap shot的功能来达到快速全备份。
另外，如果使用rman backup, 则两次全备之间的间隔可以稍大。
当然，做好历史分区的规划，也可以降低backup的压力

对于T级海量数据的数据库应该如何设计和管理？

T级数据