首页
论坛
门户
空间
手机版
IXPUB
插件
收藏
设置
注册
登录
商店
搜索
培训
Wiki
Blog
归档
丛书
退出
ITPUB论坛
»
数据仓库与数据挖掘
» 可能国内最大海量数据仓库 如何规划 高手请近
‹‹ 上一主题
|
下一主题 ››
77
5/8
‹‹
1
2
3
4
5
6
7
8
››
投票
交易
悬赏
活动
评价
|
打印
|
推荐
|
订阅
|
收藏
标题:
[精华]
可能国内最大海量数据仓库 如何规划 高手请近
liyihongcug
高级会员
精华贴数 1
个人空间
0
技术积分 9579 (125)
社区积分 1043 (932)
注册日期 2004-7-15
论坛徽章:8
#41
使用道具
发表于 2006-10-13 15:23
楼上
SQLSERVER 2005支持性能很好,我顺利迁移到2005,1亿的数据不到20分钟完成。
我说的海量数据是在windwos平台下(在这个平台这个数据规模应该还没有谁去体验),不在其他软件或硬件平台。
你可不可小看sqlserver2005,他提供整套的解决方案,包括数据库
数据仓库 数据挖掘 et工具 excel 报表 而且在windows平台他应该是最强的。
TB相信对于2005不过小菜,现在的问题只是PC能够支持多大
当然现在没有钱拉,有钱就不会在软硬件最大性价比的情况追求海量数据库的最大化,现在10几亿的大表在几天内应该可以在2005跑起来
只看该作者
bq_wang
我想飞得更高!
精华贴数 18
个人空间
2403
技术积分 17548 (53)
社区积分 49822 (11)
注册日期 2002-2-7
论坛徽章:15
#42
使用道具
发表于 2006-10-16 08:54
恭喜楼主,有什么心得可以告诉大家,呵呵!
__________________
鸿图霸业谈笑中,不胜人生一场醉。厌倦江湖萌退意,不辞长作天涯人。
-------------------------------
MSN:baoqiangwang@hotmail.com
Mail:windboy@vip.sina.com QQ:326444779
-------------------------------
-------------------------------
只看该作者
liyihongcug
高级会员
精华贴数 1
个人空间
0
技术积分 9579 (125)
社区积分 1043 (932)
注册日期 2004-7-15
论坛徽章:8
#43
使用道具
发表于 2006-10-16 10:23
1对2005的仓库能力很感动唯一不足的是对c的tempdb要求高,我在处理2。2 亿的数据发现必须每半个小时(收缩数据库)处理一次,否则很快会把c盘消耗完
如果sqlserver能够牺牲安全性,完成自动的收缩(定时间)大表就好了。(我的数据库至少达到10亿)如果这样全部处理,可能我整天要不停的收缩。什么事情都干不了。
2关于数据仓库的网上发布能力很质疑,以及组建开发能力觉得花时间太长。想问一下如何在.net 下开发数据仓库应用
第1问题基本解决,现在不知道如何进行网上发布,基本能找到的方法没有成功
只看该作者
bq_wang
我想飞得更高!
精华贴数 18
个人空间
2403
技术积分 17548 (53)
社区积分 49822 (11)
注册日期 2002-2-7
论坛徽章:15
#44
使用道具
发表于 2006-10-16 21:40
好像通过IIS和Report Service可以实现网上发布,但是俺没有具体作过!
日志问题是个大问题,如果不收缩,对数据库性能影响很大!
__________________
鸿图霸业谈笑中,不胜人生一场醉。厌倦江湖萌退意,不辞长作天涯人。
-------------------------------
MSN:baoqiangwang@hotmail.com
Mail:windboy@vip.sina.com QQ:326444779
-------------------------------
-------------------------------
只看该作者
liyihongcug
高级会员
精华贴数 1
个人空间
0
技术积分 9579 (125)
社区积分 1043 (932)
注册日期 2004-7-15
论坛徽章:8
#45
使用道具
发表于 2006-10-17 08:35
cube 的发布如果用report serivice 太简单
(主要是功能方面)不能实现象2005仓库工具的任意纬度的查询和调整。
用owc工具又觉得`太复杂。使用组建开发觉得不 划算。
公司限于成本不可能去买第3方控件。
现在矛盾中。选择少就没有事情,问题是头绪多了,也是一件麻烦事情
只看该作者
bq_wang
我想飞得更高!
精华贴数 18
个人空间
2403
技术积分 17548 (53)
社区积分 49822 (11)
注册日期 2002-2-7
论坛徽章:15
#46
使用道具
发表于 2006-10-17 19:20
是的,随便一个报表工具都是几十万的
IIS和Report Service虽然简单了一些,功能弱了一些,还是能够讲究一用的
如果VBA写得好的话,也可以到Excel中用一下!
__________________
鸿图霸业谈笑中,不胜人生一场醉。厌倦江湖萌退意,不辞长作天涯人。
-------------------------------
MSN:baoqiangwang@hotmail.com
Mail:windboy@vip.sina.com QQ:326444779
-------------------------------
-------------------------------
只看该作者
liyihongcug
高级会员
精华贴数 1
个人空间
0
技术积分 9579 (125)
社区积分 1043 (932)
注册日期 2004-7-15
论坛徽章:8
#47
使用道具
发表于 2006-10-18 10:24
我的省 city 之间用雪花 浏览没有问题
但是查询发现不能按层次查询
我在仓库例子程序adventure works看到
层次结构和级别 下有如下结构
如 stat-province (第1层)
city
|_ state-province 为第2层。
而我建立的没有 |—— 这个符号
releationship type Rigid 这个是如何做的???
cardinality 关系是如何设定的饿??
原来是主外键之间联系!!!!
我用的是sqlserver2005 正版 的 楼下同志
只看该作者
imissher
版主
精华贴数 7
个人空间
0
技术积分 7880 (161)
社区积分 2526 (501)
注册日期 2003-6-12
论坛徽章:61
#48
使用道具
发表于 2006-10-18 13:16
SQL Server2000 AS就别用了吧,那是个免费的东西,这么大的数据量在这上跑太不负责任了吧。
只看该作者
liyihongcug
高级会员
精华贴数 1
个人空间
0
技术积分 9579 (125)
社区积分 1043 (932)
注册日期 2004-7-15
论坛徽章:8
#49
使用道具
发表于 2006-10-19 16:37
SQL2005仓库对tb级别的海量数据在windows平台上优势明显。
如何设计新的cube 统计某地查看某广告超过2次3次n次的人数
某地(城市或省或 几个省)
广告(某一个品牌或几个品牌)
看了广告2次 3次或10次等 的人 这个用cookie字段来统计
如果搞过仓库应该知道一般只有count discount sum 等,好象没有上面提到专门聚合函数。
问一下语句如何写,如何应用到仓库中
也就是统计某个字段的重复字段值的次数(重复2 3 4 n)的情况
就是统计某个字段的重复字段值的次数(重复2 3 4 n)的情况
select count(*) from
(select cookie from mytest
group by cookie
having (count(aid)>n)
)
这个确实比较复杂 关于表的自连接
这里有一个外界输入变量
如果单独cube ,如count(cookie)等就太简单。
这个cube好象不能在sql2005里简单实现,可能需要多种方式组合实现????
只看该作者
liyihongcug
高级会员
精华贴数 1
个人空间
0
技术积分 9579 (125)
社区积分 1043 (932)
注册日期 2004-7-15
论坛徽章:8
#50
使用道具
发表于 2006-10-24 14:40
SQLSERVER2005功能强大 但是对硬件有很高的要求(内存512M基本失败)他的维度表的数据的修改可以直接在 cube中体现
此外+报表+EXCEL可以说在windows下是非常好的仓库TOOL
当然有钱可以考虑象oracle,但是好象一般用来搞cognos来做
需要展现工具(他的价格是高的),可以说sqlserver2005是功能最好的性价比最高的在windows系列平台下的数据仓库
MYSQL的功能在5.0后也开始强大,加入了存储过程和触发器
据说MYSQL的CLUSTER 功能强劲,可惜没有数据仓库,在这个平台下(LINUX)也可以一试拉
现在主要精力投入到 LINUX 9+MYSQL5+ECLIPSE
其中涉及MYSQL的3台主机CLUSTER 感觉应用在国内还有点点新
只看该作者
77
5/8
‹‹
1
2
3
4
5
6
7
8
››
投票
交易
悬赏
活动
相关内容
ITPUB论坛
≡ 数据库技术 ≡
> Oracle数据库管理
> Oracle开发
> Oracle Developer Suite
> Oracle入门与认证
> Oracle专题深入讨论
> Oracle新技术/11g
> Oracle电子文档
> Oracle Application Server套件
> IBM数据库产品
> MS SQL Server
> Sybase管理与开发
> MySQL及其它开源数据库
> 内存数据库
> 数据仓库与数据挖掘
> 移动及嵌入式数据库
≡ 企业信息化 ≡
> ERP产品与实践
> CRM产品与实践
> HR产品与实践
> 物流
> 供应链
> 供应链建模与仿真
> 物流设备与系统工程
> 企业管理咨询
> 管理协同与办公自动化
> IT服务管理
> 数据中心建设
> ERP二次开发
> Oracle ERP
> EBS相关文档
> PeopleSoft与JDE
> SAP R/3
> SAP Business One开发与快速实施
> SAP财务及CRM
> SAP后勤及HR
> mySAP ERP
> 系统开发及跨应用设置
> SAP相关文档
> 国外其它ERP产品
> 国内ERP产品
≡ 开发技术 ≡
> Java入门与认证版
> Java web开发及框架技术
> Java企业开发
> ASP.NET【已迁移到微软开发技术论坛】
> .Net企业开发与应用【已迁移到微软开发技术论坛】
> WEB程序开发
> WEB 2.0技术
> 动态语言
> 移动与游戏开发
≡ 系统设计与项目管理 ≡
> 系统分析与UML
> 系统分析与UML精华区
> 项目管理
> 项目过程
> 软件测试
> 算法讨论与研究
≡ IBM软件技术园地 ≡
> IBM数据库产品
> Lotus
> Tivoli
> Websphere
> Rational
> 与SOA相关的IBM产品与技术
> IBM软件技术精英协会
> 软件技术精英活动专版
≡ 操作系统与硬件 ≡
> AIX及IBM产品【已迁移到IXPUB】
> HP-UX及HP产品【已迁移到IXPUB】
> Solaris及SUN产品【已迁移到IXPUB】
> Linux及其应用 【已迁移到IXPUB】
> 其它UNIX系统【已迁移到IXPUB】
> windows系统及微软相关产品 【已迁移到IXPUB】
> 存储设备与容灾技术 【已迁移到IXPUB】
> 服务器 【已迁移到IXPUB】
≡ 行业纵向讨论区 ≡
> IT业界评论与展望
> 政府与教育事业
> 中国政府信息主管联盟
> 电信行业
> 金融行业
> 医卫行业
> 制造行业
> 电力行业
> 信息安全与审计
≡ 会员交流 ≡
> IT职业生涯
> 招聘求职商务信息
> 体育世界
> 体育博彩专版
> 旅游,驴友
> 汽车世界
> 外语角
> 数码摄影
> 你的故事我的歌
> 音乐推荐区
> 电子图书与IT文档资料
> 软件交流
> 软件交流精华区
≡ ITPUB产品与服务 ≡
> ITPUB地面活动专版
> BLOG天地
> WIKI世界
> 授权用户区
> 站务管理
≡ 微软开发技术 ≡
> 开发工具和语言
> .NET Framework 相关
> Visual Basic/VB.net
> Visual C#
> Visual C++/vc.net
> Visual Studio
> .NET软件架构与模式
> .NET开发辅助工具及框架
> Web开发
> ASP.NET与AJAX
> Web相关技术讨论(IIS等)
> Silverlight 技术
> 微软企业级产品技术
> SQL Server
> windows server
> SharePoint
> Exchange Server
> Biztalk
> 嵌入式及移动开发
> Windows Embedded 嵌入式技术
> Windows 移动设备
> Office开发
> Microsoft office system
> Office Business Application
> 微软产品用户交流区
> .Net电子书籍&&书籍介绍
> .Net人才交流
技术积分榜
社区积分榜
徽章
电子杂志
会员
团队
统计
邮箱
游乐场
帮助
TOP
CopyRight 1999-2006 itpub.net All Right Reserved.
北京皓辰广域网络信息技术有限公司. 版权所有
E-mail:Webmaster@itpub.net
京ICP证:010037号
联系我们
法律顾问
控制面板首页
编辑个人资料
积分交易
公众用户组
好友列表
升级个人空间
基本概况
论坛排行
主题排行
发帖排行
积分排行
在线时间
管理团队
管理统计