ITPUB??ì3
新一届的微软MVP评选已经开始,欢迎各位推荐!
ITPUB论坛 » 数据仓库与数据挖掘 » 可能国内最大海量数据仓库 如何规划 高手请近

标题: [精华] 可能国内最大海量数据仓库 如何规划 高手请近
离线 liyihongcug
高级会员



精华贴数 1
个人空间 0
技术积分 9579 (125)
社区积分 1043 (932)
注册日期 2004-7-15
论坛徽章:8
会员2007贡献徽章铁扇公主授权会员2008年新春纪念徽章开发板块每日发贴之星数据库板块每日发贴之星
开发板块每日发贴之星ITPUB新首页上线纪念徽章    

发表于 2006-10-13 15:23 
楼上
SQLSERVER 2005支持性能很好,我顺利迁移到2005,1亿的数据不到20分钟完成。
我说的海量数据是在windwos平台下(在这个平台这个数据规模应该还没有谁去体验),不在其他软件或硬件平台。

你可不可小看sqlserver2005,他提供整套的解决方案,包括数据库
数据仓库 数据挖掘  et工具  excel 报表 而且在windows平台他应该是最强的。
   TB相信对于2005不过小菜,现在的问题只是PC能够支持多大


当然现在没有钱拉,有钱就不会在软硬件最大性价比的情况追求海量数据库的最大化,现在10几亿的大表在几天内应该可以在2005跑起来


只看该作者    顶部
离线 bq_wang
我想飞得更高!


精华贴数 18
个人空间 2403
技术积分 17548 (53)
社区积分 49822 (11)
注册日期 2002-2-7
论坛徽章:15
现任管理团队成员ITPUB元老授权会员生肖徽章2007版:牛ITPUB新首页上线纪念徽章 
      

发表于 2006-10-16 08:54 
恭喜楼主,有什么心得可以告诉大家,呵呵!


__________________
鸿图霸业谈笑中,不胜人生一场醉。厌倦江湖萌退意,不辞长作天涯人。
-------------------------------
MSN:baoqiangwang@hotmail.com
Mail:windboy@vip.sina.com  QQ:326444779
-------------------------------

-------------------------------




只看该作者    顶部
离线 liyihongcug
高级会员



精华贴数 1
个人空间 0
技术积分 9579 (125)
社区积分 1043 (932)
注册日期 2004-7-15
论坛徽章:8
会员2007贡献徽章铁扇公主授权会员2008年新春纪念徽章开发板块每日发贴之星数据库板块每日发贴之星
开发板块每日发贴之星ITPUB新首页上线纪念徽章    

发表于 2006-10-16 10:23 
1对2005的仓库能力很感动唯一不足的是对c的tempdb要求高,我在处理2。2 亿的数据发现必须每半个小时(收缩数据库)处理一次,否则很快会把c盘消耗完
如果sqlserver能够牺牲安全性,完成自动的收缩(定时间)大表就好了。(我的数据库至少达到10亿)如果这样全部处理,可能我整天要不停的收缩。什么事情都干不了。
2关于数据仓库的网上发布能力很质疑,以及组建开发能力觉得花时间太长。想问一下如何在.net 下开发数据仓库应用



第1问题基本解决,现在不知道如何进行网上发布,基本能找到的方法没有成功


只看该作者    顶部
离线 bq_wang
我想飞得更高!


精华贴数 18
个人空间 2403
技术积分 17548 (53)
社区积分 49822 (11)
注册日期 2002-2-7
论坛徽章:15
现任管理团队成员ITPUB元老授权会员生肖徽章2007版:牛ITPUB新首页上线纪念徽章 
      

发表于 2006-10-16 21:40 
好像通过IIS和Report Service可以实现网上发布,但是俺没有具体作过!
日志问题是个大问题,如果不收缩,对数据库性能影响很大!


__________________
鸿图霸业谈笑中,不胜人生一场醉。厌倦江湖萌退意,不辞长作天涯人。
-------------------------------
MSN:baoqiangwang@hotmail.com
Mail:windboy@vip.sina.com  QQ:326444779
-------------------------------

-------------------------------




只看该作者    顶部
离线 liyihongcug
高级会员



精华贴数 1
个人空间 0
技术积分 9579 (125)
社区积分 1043 (932)
注册日期 2004-7-15
论坛徽章:8
会员2007贡献徽章铁扇公主授权会员2008年新春纪念徽章开发板块每日发贴之星数据库板块每日发贴之星
开发板块每日发贴之星ITPUB新首页上线纪念徽章    

发表于 2006-10-17 08:35 
cube 的发布如果用report serivice 太简单
(主要是功能方面)不能实现象2005仓库工具的任意纬度的查询和调整。

用owc工具又觉得`太复杂。使用组建开发觉得不 划算。

公司限于成本不可能去买第3方控件。

现在矛盾中。选择少就没有事情,问题是头绪多了,也是一件麻烦事情


只看该作者    顶部
离线 bq_wang
我想飞得更高!


精华贴数 18
个人空间 2403
技术积分 17548 (53)
社区积分 49822 (11)
注册日期 2002-2-7
论坛徽章:15
现任管理团队成员ITPUB元老授权会员生肖徽章2007版:牛ITPUB新首页上线纪念徽章 
      

发表于 2006-10-17 19:20 
是的,随便一个报表工具都是几十万的
IIS和Report Service虽然简单了一些,功能弱了一些,还是能够讲究一用的
如果VBA写得好的话,也可以到Excel中用一下!


__________________
鸿图霸业谈笑中,不胜人生一场醉。厌倦江湖萌退意,不辞长作天涯人。
-------------------------------
MSN:baoqiangwang@hotmail.com
Mail:windboy@vip.sina.com  QQ:326444779
-------------------------------

-------------------------------




只看该作者    顶部
离线 liyihongcug
高级会员



精华贴数 1
个人空间 0
技术积分 9579 (125)
社区积分 1043 (932)
注册日期 2004-7-15
论坛徽章:8
会员2007贡献徽章铁扇公主授权会员2008年新春纪念徽章开发板块每日发贴之星数据库板块每日发贴之星
开发板块每日发贴之星ITPUB新首页上线纪念徽章    

发表于 2006-10-18 10:24 
我的省  city 之间用雪花 浏览没有问题

但是查询发现不能按层次查询

我在仓库例子程序adventure works看到
层次结构和级别  下有如下结构
如 stat-province   (第1层)

city  
|_ state-province   为第2层。

而我建立的没有 |——  这个符号

releationship type  Rigid  这个是如何做的???

cardinality  关系是如何设定的饿??

原来是主外键之间联系!!!!


我用的是sqlserver2005  正版  的  楼下同志


只看该作者    顶部
离线 imissher
版主


精华贴数 7
个人空间 0
技术积分 7880 (161)
社区积分 2526 (501)
注册日期 2003-6-12
论坛徽章:61
现任管理团队成员ITPUB元老授权会员ITPUB新首页上线纪念徽章  
      

发表于 2006-10-18 13:16 
SQL Server2000 AS就别用了吧,那是个免费的东西,这么大的数据量在这上跑太不负责任了吧。


只看该作者    顶部
离线 liyihongcug
高级会员



精华贴数 1
个人空间 0
技术积分 9579 (125)
社区积分 1043 (932)
注册日期 2004-7-15
论坛徽章:8
会员2007贡献徽章铁扇公主授权会员2008年新春纪念徽章开发板块每日发贴之星数据库板块每日发贴之星
开发板块每日发贴之星ITPUB新首页上线纪念徽章    

发表于 2006-10-19 16:37 
SQL2005仓库对tb级别的海量数据在windows平台上优势明显。

如何设计新的cube 统计某地查看某广告超过2次3次n次的人数

某地(城市或省或 几个省)
广告(某一个品牌或几个品牌)
看了广告2次 3次或10次等 的人 这个用cookie字段来统计

如果搞过仓库应该知道一般只有count discount sum 等,好象没有上面提到专门聚合函数。

问一下语句如何写,如何应用到仓库中

也就是统计某个字段的重复字段值的次数(重复2 3 4 n)的情况


就是统计某个字段的重复字段值的次数(重复2 3 4 n)的情况
select count(*) from
(select cookie from mytest
group by cookie
having (count(aid)>n)


)
这个确实比较复杂 关于表的自连接

这里有一个外界输入变量
如果单独cube ,如count(cookie)等就太简单。
这个cube好象不能在sql2005里简单实现,可能需要多种方式组合实现????


只看该作者    顶部
离线 liyihongcug
高级会员



精华贴数 1
个人空间 0
技术积分 9579 (125)
社区积分 1043 (932)
注册日期 2004-7-15
论坛徽章:8
会员2007贡献徽章铁扇公主授权会员2008年新春纪念徽章开发板块每日发贴之星数据库板块每日发贴之星
开发板块每日发贴之星ITPUB新首页上线纪念徽章    

发表于 2006-10-24 14:40 
SQLSERVER2005功能强大 但是对硬件有很高的要求(内存512M基本失败)他的维度表的数据的修改可以直接在 cube中体现
此外+报表+EXCEL可以说在windows下是非常好的仓库TOOL
当然有钱可以考虑象oracle,但是好象一般用来搞cognos来做
需要展现工具(他的价格是高的),可以说sqlserver2005是功能最好的性价比最高的在windows系列平台下的数据仓库
MYSQL的功能在5.0后也开始强大,加入了存储过程和触发器
据说MYSQL的CLUSTER 功能强劲,可惜没有数据仓库,在这个平台下(LINUX)也可以一试拉
现在主要精力投入到 LINUX 9+MYSQL5+ECLIPSE
其中涉及MYSQL的3台主机CLUSTER 感觉应用在国内还有点点新


只看该作者    顶部
相关内容


CopyRight 1999-2006 itpub.net All Right Reserved.
北京皓辰广域网络信息技术有限公司. 版权所有
E-mail:Webmaster@itpub.net
京ICP证:010037号 联系我们 法律顾问