ITPUB??ì3
新一届的微软MVP评选已经开始,欢迎各位推荐!
ITPUB论坛 » 数据仓库与数据挖掘 » 可能国内最大海量数据仓库 如何规划 高手请近

标题: [精华] 可能国内最大海量数据仓库 如何规划 高手请近
离线 liyihongcug
高级会员



精华贴数 1
个人空间 0
技术积分 9579 (124)
社区积分 1043 (931)
注册日期 2004-7-15
论坛徽章:8
会员2007贡献徽章铁扇公主授权会员2008年新春纪念徽章开发板块每日发贴之星数据库板块每日发贴之星
开发板块每日发贴之星ITPUB新首页上线纪念徽章    

发表于 2006-9-26 16:25 
遇到最大海量数据仓库 如何规划 高手请近

现在仓库数据加速增长,一天可能2000-3000万记录,每天备份数据将达到2-3G。5台PC最强配置。
  以往的建立模式面临(SQLSERVER2000)强劲挑战,现在增量更新2000万数据实际要2-3天,这样数据仓库的更新已经跟不上形势。
   基本想法升级SQLSERVER2000(我怀疑SQLSERVER2000不能承受300G的立方体)。安装2005发现确实更强大,但是担心他的海量数据处理能力,数据量一个月达到80G,三个月300G,6个月将近TB级别  (原有windows体系结构已经快到极限)

   借问是否SQLSERVER2000能否承受300G的立方体???
SQLSERVER2005能否支持TB性能很好,如果升级如何规划??
有动机迁移到oracle +linux,但是硬件成本|+人力成本又太昂贵。

   oracle 的海量号称最强,可是建设时间实在漫长;头疼拉!!!!


只看该作者    顶部
离线 waterfireman
初级会员



精华贴数 0
个人空间 0
技术积分 10 (87040)
社区积分 0 (376715)
注册日期 2005-4-28
论坛徽章:0
      
      

发表于 2006-9-26 17:57 
teradata


只看该作者    顶部
离线 bq_wang
我想飞得更高!


精华贴数 18
个人空间 2403
技术积分 17546 (53)
社区积分 49801 (11)
注册日期 2002-2-7
论坛徽章:15
现任管理团队成员ITPUB元老授权会员生肖徽章2007版:牛ITPUB新首页上线纪念徽章 
      

发表于 2006-9-26 18:51 
说句实话,SQLServer2000基本上是不能胜任的,否则后期的维护、备份、任务调度、稳定性、死锁一系列的问题,包括数据库结构和表结构的设置都要经过反复的考虑,而且SQLServer2000的OLAP也存在不稳定的情况,通常4个G的数据处理下来就需要一整天的时间了


__________________
鸿图霸业谈笑中,不胜人生一场醉。厌倦江湖萌退意,不辞长作天涯人。
-------------------------------
MSN:baoqiangwang@hotmail.com
Mail:windboy@vip.sina.com  QQ:326444779
-------------------------------

-------------------------------




只看该作者    顶部
离线 innovate511
资深会员



精华贴数 4
个人空间 0
技术积分 2152 (735)
社区积分 1176 (858)
注册日期 2004-9-10
论坛徽章:13
会员2007贡献徽章生肖徽章:猪生肖徽章:狗生肖徽章:鸡生肖徽章:猴生肖徽章:羊
生肖徽章:马生肖徽章:蛇生肖徽章:龙生肖徽章:兔生肖徽章:虎生肖徽章:牛

发表于 2006-9-26 19:13 
超大数据用teradata虽然好, 但必须要用NCR的硬件才能显示其威力.

其实6个月数据不到一个TB, Oracal/DB2都应是不错的选择, 选择SQL SERVER的话, 硬件设备要跟上才行.

BTW, 这个离国内最大数据仓库差很远吧, 据说中国移动的数据量是百TB级的.


__________________
欢迎交流DW&BI 技术/行业/项目管理(近8年/电信、制造、信贷、零售专业经验,有国际大公司项目和海外做项目经验/Architecture,data model,develop,test)。
欢迎到http://innovate511.itpub.net/讨论数据仓库
只看该作者    顶部
离线 liyihongcug
高级会员



精华贴数 1
个人空间 0
技术积分 9579 (124)
社区积分 1043 (931)
注册日期 2004-7-15
论坛徽章:8
会员2007贡献徽章铁扇公主授权会员2008年新春纪念徽章开发板块每日发贴之星数据库板块每日发贴之星
开发板块每日发贴之星ITPUB新首页上线纪念徽章    

发表于 2006-9-27 09:15 
对不起,数据量确实跟移动差很远。

SQLSERVER2000确实性能针对海量数据总体感觉不好,我的2G数据的整整花了3天(简直是反复测试,黑白颠倒)
,我用的是增量更新。


用teradata不大现实,当前的公司不可能再投入硬件。

现在只能设想SQLSERVER2005,看他能不能在海量处理数据方面有没有突破。本来很中意ORACLE,但是程序修改实在太多,不可能要程序员去大规模的修改。

我怀疑SQLSERVER2005的能力???


只看该作者    顶部
离线 wangyong23
一般会员



精华贴数 0
个人空间 0
技术积分 76 (20342)
社区积分 2 (28014)
注册日期 2005-10-29
论坛徽章:0
      
      

发表于 2006-9-27 09:56 
那是不太现实的,在PC运行上T的数据,以我个人经历过的项目,那基本上是不可能.如果真的不想投资硬件也就只有想办法减少数据量,比如就做一个数据集市.海量数据库并不是什么数据库能在PC能解决的,ORALCE在PC再怎么强也只有那么强.


只看该作者    顶部
离线 itpub888
老会员



精华贴数 0
个人空间 0
技术积分 954 (1951)
社区积分 26 (6675)
注册日期 2004-10-12
论坛徽章:2
会员2007贡献徽章ITPUB新首页上线纪念徽章    
      

发表于 2006-9-27 10:02 
你说应当怎样配置?用Oracle吗?

QUOTE:
最初由 bq_wang 发布
说句实话,SQLServer2000基本上是不能胜任的,否则后期的维护、备份、任务调度、稳定性、死锁一系列的问题,包括数据库结构和表结构的设置都要经过反复的考虑,而且SQLServer2000的OLAP也存在不稳定的情况,通常4个G的数据处理下来就需要一整天的时间了




只看该作者    顶部
离线 liyihongcug
高级会员



精华贴数 1
个人空间 0
技术积分 9579 (124)
社区积分 1043 (931)
注册日期 2004-7-15
论坛徽章:8
会员2007贡献徽章铁扇公主授权会员2008年新春纪念徽章开发板块每日发贴之星数据库板块每日发贴之星
开发板块每日发贴之星ITPUB新首页上线纪念徽章    

发表于 2006-9-27 15:09 
通过查证2005能够支持


只看该作者    顶部
离线 liyihongcug
高级会员



精华贴数 1
个人空间 0
技术积分 9579 (124)
社区积分 1043 (931)
注册日期 2004-7-15
论坛徽章:8
会员2007贡献徽章铁扇公主授权会员2008年新春纪念徽章开发板块每日发贴之星数据库板块每日发贴之星
开发板块每日发贴之星ITPUB新首页上线纪念徽章    

发表于 2006-9-27 15:38 
2000 在支持2G以上立方体存在问题


只看该作者    顶部
离线 itpub888
老会员



精华贴数 0
个人空间 0
技术积分 954 (1951)
社区积分 26 (6675)
注册日期 2004-10-12
论坛徽章:2
会员2007贡献徽章ITPUB新首页上线纪念徽章    
      

发表于 2006-9-27 23:59 
在哪里可以查证?

QUOTE:
最初由 liyihongcug 发布
通过查证2005能够支持




只看该作者    顶部
相关内容


CopyRight 1999-2006 itpub.net All Right Reserved.
北京皓辰广域网络信息技术有限公司. 版权所有
E-mail:Webmaster@itpub.net
京ICP证:010037号 联系我们 法律顾问