可能国内最大海量数据仓库如何规划高手请近

liyihongcug · 发表于 2006-9-26 16:25

现在仓库数据加速增长，一天可能2000-3000万记录，每天备份数据将达到2-3G。5台PC最强配置。
以往的建立模式面临（SQLSERVER2000）强劲挑战，现在增量更新2000万数据实际要2-3天，这样数据仓库的更新已经跟不上形势。
基本想法升级SQLSERVER2000（我怀疑SQLSERVER2000不能承受300G的立方体）。安装2005发现确实更强大，但是担心他的海量数据处理能力，数据量一个月达到80G，三个月300G，6个月将近TB级别（原有windows体系结构已经快到极限）

借问是否SQLSERVER2000能否承受300G的立方体？？？
SQLSERVER2005能否支持TB性能很好，如果升级如何规划？？
有动机迁移到oracle +linux，但是硬件成本|+人力成本又太昂贵。

oracle 的海量号称最强，可是建设时间实在漫长；头疼拉！！！！

waterfireman · 发表于 2006-9-26 17:57

teradata

bq_wang · 发表于 2006-9-26 18:51

说句实话，SQLServer2000基本上是不能胜任的，否则后期的维护、备份、任务调度、稳定性、死锁一系列的问题，包括数据库结构和表结构的设置都要经过反复的考虑，而且SQLServer2000的OLAP也存在不稳定的情况，通常4个G的数据处理下来就需要一整天的时间了

innovate511 · 发表于 2006-9-26 19:13

超大数据用teradata虽然好, 但必须要用NCR的硬件才能显示其威力.

其实6个月数据不到一个TB, Oracal/DB2都应是不错的选择, 选择SQL SERVER的话, 硬件设备要跟上才行.

BTW, 这个离国内最大数据仓库差很远吧, 据说中国移动的数据量是百TB级的.

liyihongcug · 发表于 2006-9-27 09:15

对不起，数据量确实跟移动差很远。

SQLSERVER2000确实性能针对海量数据总体感觉不好，我的2G数据的整整花了3天（简直是反复测试，黑白颠倒）
，我用的是增量更新。

用teradata不大现实，当前的公司不可能再投入硬件。

现在只能设想SQLSERVER2005，看他能不能在海量处理数据方面有没有突破。本来很中意ORACLE，但是程序修改实在太多，不可能要程序员去大规模的修改。

我怀疑SQLSERVER2005的能力？？？

wangyong23 · 发表于 2006-9-27 09:56

那是不太现实的,在PC运行上T的数据,以我个人经历过的项目,那基本上是不可能.如果真的不想投资硬件也就只有想办法减少数据量,比如就做一个数据集市.海量数据库并不是什么数据库能在PC能解决的,ORALCE在PC再怎么强也只有那么强.

itpub888 · 发表于 2006-9-27 10:02

你说应当怎样配置？用Oracle吗？

最初由 bq_wang 发布
[B]说句实话，SQLServer2000基本上是不能胜任的，否则后期的维护、备份、任务调度、稳定性、死锁一系列的问题，包括数据库结构和表结构的设置都要经过反复的考虑，而且SQLServer2000的OLAP也存在不稳定的情况，通常4个G的数据处理下来就需要一整天的时间了 [/B]

liyihongcug · 发表于 2006-9-27 15:09

通过查证2005能够支持

liyihongcug · 发表于 2006-9-27 15:38

2000 在支持2G以上立方体存在问题

itpub888 · 发表于 2006-9-27 23:59

在哪里可以查证？

最初由 liyihongcug 发布
[B]通过查证2005能够支持 [/B]

[精华] 可能国内最大海量数据仓库如何规划高手请近

浏览过的版块

[精华] 可能国内最大海量数据仓库 如何规划 高手请近

浏览过的版块

[精华] 可能国内最大海量数据仓库如何规划高手请近