首页
论坛
门户
空间
手机版
IXPUB
插件
收藏
设置
注册
登录
商店
搜索
培训
Wiki
Blog
归档
丛书
退出
ITPUB论坛
»
数据仓库与数据挖掘
» 可能国内最大海量数据仓库 如何规划 高手请近
‹‹ 上一主题
|
下一主题 ››
77
1/8
1
2
3
4
5
6
7
8
››
投票
交易
悬赏
活动
评价
|
打印
|
推荐
|
订阅
|
收藏
标题:
[精华]
可能国内最大海量数据仓库 如何规划 高手请近
liyihongcug
高级会员
精华贴数 1
个人空间
0
技术积分 9579 (124)
社区积分 1043 (931)
注册日期 2004-7-15
论坛徽章:8
#1
使用道具
发表于 2006-9-26 16:25
遇到最大海量数据仓库 如何规划 高手请近
现在仓库数据加速增长,一天可能2000-3000万记录,每天备份数据将达到2-3G。5台PC最强配置。
以往的建立模式面临(SQLSERVER2000)强劲挑战,现在增量更新2000万数据实际要2-3天,这样数据仓库的更新已经跟不上形势。
基本想法升级SQLSERVER2000(我怀疑SQLSERVER2000不能承受300G的立方体)。安装2005发现确实更强大,但是担心他的海量数据处理能力,数据量一个月达到80G,三个月300G,6个月将近TB级别 (原有windows体系结构已经快到极限)
借问是否SQLSERVER2000能否承受300G的立方体???
SQLSERVER2005能否支持TB性能很好,如果升级如何规划??
有动机迁移到oracle +linux,但是硬件成本|+人力成本又太昂贵。
oracle 的海量号称最强,可是建设时间实在漫长;头疼拉!!!!
只看该作者
waterfireman
初级会员
精华贴数 0
个人空间
0
技术积分 10 (87040)
社区积分 0 (376715)
注册日期 2005-4-28
论坛徽章:0
#2
使用道具
发表于 2006-9-26 17:57
teradata
只看该作者
bq_wang
我想飞得更高!
精华贴数 18
个人空间
2403
技术积分 17546 (53)
社区积分 49801 (11)
注册日期 2002-2-7
论坛徽章:15
#3
使用道具
发表于 2006-9-26 18:51
说句实话,SQLServer2000基本上是不能胜任的,否则后期的维护、备份、任务调度、稳定性、死锁一系列的问题,包括数据库结构和表结构的设置都要经过反复的考虑,而且SQLServer2000的OLAP也存在不稳定的情况,通常4个G的数据处理下来就需要一整天的时间了
__________________
鸿图霸业谈笑中,不胜人生一场醉。厌倦江湖萌退意,不辞长作天涯人。
-------------------------------
MSN:baoqiangwang@hotmail.com
Mail:windboy@vip.sina.com QQ:326444779
-------------------------------
-------------------------------
只看该作者
innovate511
资深会员
精华贴数 4
个人空间
0
技术积分 2152 (735)
社区积分 1176 (858)
注册日期 2004-9-10
论坛徽章:13
#4
使用道具
发表于 2006-9-26 19:13
超大数据用teradata虽然好, 但必须要用NCR的硬件才能显示其威力.
其实6个月数据不到一个TB, Oracal/DB2都应是不错的选择, 选择SQL SERVER的话, 硬件设备要跟上才行.
BTW, 这个离国内最大数据仓库差很远吧, 据说中国移动的数据量是百TB级的.
__________________
欢迎交流DW&BI 技术/行业/项目管理(近8年/电信、制造、信贷、零售专业经验,有国际大公司项目和海外做项目经验/Architecture,data model,develop,test)。
欢迎到http://innovate511.itpub.net/讨论数据仓库
只看该作者
liyihongcug
高级会员
精华贴数 1
个人空间
0
技术积分 9579 (124)
社区积分 1043 (931)
注册日期 2004-7-15
论坛徽章:8
#5
使用道具
发表于 2006-9-27 09:15
对不起,数据量确实跟移动差很远。
SQLSERVER2000确实性能针对海量数据总体感觉不好,我的2G数据的整整花了3天(简直是反复测试,黑白颠倒)
,我用的是增量更新。
用teradata不大现实,当前的公司不可能再投入硬件。
现在只能设想SQLSERVER2005,看他能不能在海量处理数据方面有没有突破。本来很中意ORACLE,但是程序修改实在太多,不可能要程序员去大规模的修改。
我怀疑SQLSERVER2005的能力???
只看该作者
wangyong23
一般会员
精华贴数 0
个人空间
0
技术积分 76 (20342)
社区积分 2 (28014)
注册日期 2005-10-29
论坛徽章:0
#6
使用道具
发表于 2006-9-27 09:56
那是不太现实的,在PC运行上T的数据,以我个人经历过的项目,那基本上是不可能.如果真的不想投资硬件也就只有想办法减少数据量,比如就做一个数据集市.海量数据库并不是什么数据库能在PC能解决的,ORALCE在PC再怎么强也只有那么强.
只看该作者
itpub888
老会员
精华贴数 0
个人空间
0
技术积分 954 (1951)
社区积分 26 (6675)
注册日期 2004-10-12
论坛徽章:2
#7
使用道具
发表于 2006-9-27 10:02
你说应当怎样配置?用Oracle吗?
QUOTE:
最初由 bq_wang 发布
说句实话,SQLServer2000基本上是不能胜任的,否则后期的维护、备份、任务调度、稳定性、死锁一系列的问题,包括数据库结构和表结构的设置都要经过反复的考虑,而且SQLServer2000的OLAP也存在不稳定的情况,通常4个G的数据处理下来就需要一整天的时间了
只看该作者
liyihongcug
高级会员
精华贴数 1
个人空间
0
技术积分 9579 (124)
社区积分 1043 (931)
注册日期 2004-7-15
论坛徽章:8
#8
使用道具
发表于 2006-9-27 15:09
通过查证2005能够支持
只看该作者
liyihongcug
高级会员
精华贴数 1
个人空间
0
技术积分 9579 (124)
社区积分 1043 (931)
注册日期 2004-7-15
论坛徽章:8
#9
使用道具
发表于 2006-9-27 15:38
2000 在支持2G以上立方体存在问题
只看该作者
itpub888
老会员
精华贴数 0
个人空间
0
技术积分 954 (1951)
社区积分 26 (6675)
注册日期 2004-10-12
论坛徽章:2
#10
使用道具
发表于 2006-9-27 23:59
在哪里可以查证?
QUOTE:
最初由 liyihongcug 发布
通过查证2005能够支持
只看该作者
77
1/8
1
2
3
4
5
6
7
8
››
投票
交易
悬赏
活动
相关内容
ITPUB论坛
≡ 数据库技术 ≡
> Oracle数据库管理
> Oracle开发
> Oracle Developer Suite
> Oracle入门与认证
> Oracle专题深入讨论
> Oracle新技术/11g
> Oracle电子文档
> Oracle Application Server套件
> IBM数据库产品
> MS SQL Server
> Sybase管理与开发
> MySQL及其它开源数据库
> 内存数据库
> 数据仓库与数据挖掘
> 移动及嵌入式数据库
≡ 企业信息化 ≡
> ERP产品与实践
> CRM产品与实践
> HR产品与实践
> 物流
> 供应链
> 供应链建模与仿真
> 物流设备与系统工程
> 企业管理咨询
> 管理协同与办公自动化
> IT服务管理
> 数据中心建设
> ERP二次开发
> Oracle ERP
> EBS相关文档
> PeopleSoft与JDE
> SAP R/3
> SAP Business One开发与快速实施
> SAP财务及CRM
> SAP后勤及HR
> mySAP ERP
> 系统开发及跨应用设置
> SAP相关文档
> 国外其它ERP产品
> 国内ERP产品
≡ 开发技术 ≡
> Java入门与认证版
> Java web开发及框架技术
> Java企业开发
> ASP.NET【已迁移到微软开发技术论坛】
> .Net企业开发与应用【已迁移到微软开发技术论坛】
> WEB程序开发
> WEB 2.0技术
> 动态语言
> 移动与游戏开发
≡ 系统设计与项目管理 ≡
> 系统分析与UML
> 系统分析与UML精华区
> 项目管理
> 项目过程
> 软件测试
> 算法讨论与研究
≡ IBM软件技术园地 ≡
> IBM数据库产品
> Lotus
> Tivoli
> Websphere
> Rational
> 与SOA相关的IBM产品与技术
> IBM软件技术精英协会
> 软件技术精英活动专版
≡ 操作系统与硬件 ≡
> AIX及IBM产品【已迁移到IXPUB】
> HP-UX及HP产品【已迁移到IXPUB】
> Solaris及SUN产品【已迁移到IXPUB】
> Linux及其应用 【已迁移到IXPUB】
> 其它UNIX系统【已迁移到IXPUB】
> windows系统及微软相关产品 【已迁移到IXPUB】
> 存储设备与容灾技术 【已迁移到IXPUB】
> 服务器 【已迁移到IXPUB】
≡ 行业纵向讨论区 ≡
> IT业界评论与展望
> 政府与教育事业
> 中国政府信息主管联盟
> 电信行业
> 金融行业
> 医卫行业
> 制造行业
> 电力行业
> 信息安全与审计
≡ 会员交流 ≡
> IT职业生涯
> 招聘求职商务信息
> 体育世界
> 体育博彩专版
> 旅游,驴友
> 汽车世界
> 外语角
> 数码摄影
> 你的故事我的歌
> 音乐推荐区
> 电子图书与IT文档资料
> 软件交流
> 软件交流精华区
≡ ITPUB产品与服务 ≡
> ITPUB地面活动专版
> BLOG天地
> WIKI世界
> 授权用户区
> 站务管理
≡ 微软开发技术 ≡
> 开发工具和语言
> .NET Framework 相关
> Visual Basic/VB.net
> Visual C#
> Visual C++/vc.net
> Visual Studio
> .NET软件架构与模式
> .NET开发辅助工具及框架
> Web开发
> ASP.NET与AJAX
> Web相关技术讨论(IIS等)
> Silverlight 技术
> 微软企业级产品技术
> SQL Server
> windows server
> SharePoint
> Exchange Server
> Biztalk
> 嵌入式及移动开发
> Windows Embedded 嵌入式技术
> Windows 移动设备
> Office开发
> Microsoft office system
> Office Business Application
> 微软产品用户交流区
> .Net电子书籍&&书籍介绍
> .Net人才交流
技术积分榜
社区积分榜
徽章
电子杂志
会员
团队
统计
邮箱
游乐场
帮助
TOP
CopyRight 1999-2006 itpub.net All Right Reserved.
北京皓辰广域网络信息技术有限公司. 版权所有
E-mail:Webmaster@itpub.net
京ICP证:010037号
联系我们
法律顾问
控制面板首页
编辑个人资料
积分交易
公众用户组
好友列表
升级个人空间
基本概况
论坛排行
主题排行
发帖排行
积分排行
在线时间
管理团队
管理统计