ITPUB??ì3
ITPUB论坛 » 数据仓库与数据挖掘 » 关于数据仓库 — ODS概念

标题: [原创] 关于数据仓库 — ODS概念
在线/呼叫 bq_wang
我想飞得更高!


精华贴数 18
个人空间 2923
技术积分 17284 (54)
社区积分 49414 (10)
注册日期 2002-2-7
论坛徽章:16
现任管理团队成员ITPUB元老授权会员2008北京奥运纪念徽章:垒球2008北京奥运纪念徽章:自行车ITPUB新首页上线纪念徽章
      

发表于 2006-12-20 15:46 
在ODS前可以有一个数据暂存区,即为了避免与业务数据库的直接交互,而是用一些平面文件,XML文件,临时表,之类的。
实际上在数据仓库项目中,数据暂存区、ODS、数据集市,数据仓库区,这四项都并非必选的;后面的三项只要拥有一项,就可以认为是数据仓库了。
而他们的转换也并非局限在一点上,要视乎业务需要和所设计的框架而定!
仅是个人看法,请指正,


__________________
鸿图霸业谈笑中,不胜人生一场醉。厌倦江湖萌退意,不辞长作天涯人。
-------------------------------
MSN:baoqiangwang@hotmail.com
Mail:windboy@vip.sina.com  QQ:326444779
-------------------------------

-------------------------------




只看该作者    顶部
离线 innovate511
资深会员



精华贴数 4
个人空间 0
技术积分 2108 (734)
社区积分 1169 (831)
注册日期 2004-9-10
论坛徽章:13
会员2007贡献徽章生肖徽章:猪生肖徽章:狗生肖徽章:鸡生肖徽章:猴生肖徽章:羊
生肖徽章:马生肖徽章:蛇生肖徽章:龙生肖徽章:兔生肖徽章:虎生肖徽章:牛

发表于 2006-12-20 18:36 
我在ttnn google群里把数据仓库和建筑业做了形象的比较。

在我们看来,很多简单的建筑,比如农舍,这些甚至根本不需要钢筋水泥就可以建起来。而类似摩天大厦的建筑,光是钢筋水泥这些建筑材料是不行的了,需要设计其架构,地基要打好,然后内部房间布置和装修规范,然后运用规范的建筑建设思路去建筑,才能建成稳固的摩天大楼。

同样,数据仓库小到你只分析一个星型模型,数据上千条,你可以用my sql都没关系,而业务庞大的世界500强企业或者中国、美国这样大国的国家级数据仓库,就必须从选材到项目架构设计、模型设计、开发、测试流程、项目管理各个层次都要做好才行。那么这种大型项目目前使用“材料”,也就是我们的数据库就很有讲究了,超大型项目使用teradata, DB2的多点,其次Oracle, SQL\Sybase的比较少了,使用my sql的可能没有。

然后就是物理架构设计和逻辑架构组织,其中物理架构就是厂家常宣传的XX数据仓库解决方案,主要是如何是数据库效率更高,稳定性更好。而逻辑架构则需要项目实施者自己去根据实际情况设计,一般几大常见的组织结构一个都不会少,甚至会多出一些中间层在常见组织结构中作为过滤和缓冲,提高项目稳定性和效率。从另一角度看,对开发和测试的要求也会高很多,这和建筑业的摩天大楼的建设地位是一样的,各个细节一个都不能少。同样,如果是简单的项目,就如你搭建一个农舍似的,焉需用牛刀,就不需要打什么地基了吧?


__________________
欢迎交流DW&BI 技术/行业/项目管理(近8年/电信、制造、信贷、零售专业经验,有国际大公司项目和海外做项目经验/Architecture,data model,develop,test)。
欢迎到http://innovate511.itpub.net/讨论数据仓库
只看该作者    顶部
离线 gary_yang2002
一门蒙牛


精华贴数 0
个人空间 0
技术积分 104 (15877)
社区积分 83 (3686)
注册日期 2005-5-11
论坛徽章:1
ITPUB新首页上线纪念徽章     
      

发表于 2006-12-20 19:26 
比喻很形象,很贴切啊,一切由业务驱动!


__________________
来的来了,走的走了,我们还要求什么?嗯...
只看该作者    顶部
在线/呼叫 bq_wang
我想飞得更高!


精华贴数 18
个人空间 2923
技术积分 17284 (54)
社区积分 49414 (10)
注册日期 2002-2-7
论坛徽章:16
现任管理团队成员ITPUB元老授权会员2008北京奥运纪念徽章:垒球2008北京奥运纪念徽章:自行车ITPUB新首页上线纪念徽章
      

发表于 2006-12-20 19:47 
个人倒是认为不管草舍也好,摩天大楼也好,框架都是一样的,地基、骨架、外面的耗材、装修等等都应该有,也就是说流程是一样的,草舍可以作适当的裁减,地基不用那么多东西、骨架不用钢材等等,甚至不用装修也可以。



__________________
鸿图霸业谈笑中,不胜人生一场醉。厌倦江湖萌退意,不辞长作天涯人。
-------------------------------
MSN:baoqiangwang@hotmail.com
Mail:windboy@vip.sina.com  QQ:326444779
-------------------------------

-------------------------------




只看该作者    顶部
离线 jiew9404202
一般会员



精华贴数 0
个人空间 0
技术积分 114 (14805)
社区积分 8 (12021)
注册日期 2006-4-16
论坛徽章:0
      
      

发表于 2007-3-12 16:16 
感觉还是斑竹有水平,阐述的比较通彻和全面


只看该作者    顶部
离线 zzy_911_78
一般会员



精华贴数 1
个人空间 0
技术积分 372 (5150)
社区积分 141 (2801)
注册日期 2005-11-7
论坛徽章:2
会员2007贡献徽章ITPUB新首页上线纪念徽章    
      

发表于 2007-3-12 16:54 
我一直将ods层,理解成staging area层和数据仓库层的一种过渡,具有两个层的一些特点又不同于任何一个层,满足一些两个层无法实现或者说是实现起来很麻烦的一些功能。


只看该作者    顶部
离线 zhonghua936
初级会员



精华贴数 0
个人空间 0
技术积分 38 (33664)
社区积分 0 (997312)
注册日期 2006-6-21
论坛徽章:0
      
      

发表于 2007-5-25 16:22 
其实需要统筹考虑的,ODS可以作为EDW的补充和支持
在规划EDW的时候,应该合理考虑ODS的地位和作用


只看该作者    顶部
离线 xx_adam
老会员



精华贴数 1
个人空间 0
技术积分 1010 (1774)
社区积分 3 (20835)
注册日期 2005-9-20
论坛徽章:15
蓝色妖姬紫蜘蛛九尾狐狸玉石琵琶玉兔嫦娥
红孩儿铁扇公主生肖徽章2007版:鸡生肖徽章2007版:虎生肖徽章2007版:兔生肖徽章2007版:鼠

发表于 2007-5-26 21:17 
这个东西可以细分的,视需求而定,如果数据源非常复杂,需要多步转换的,可以用ods,甚至hds,也有比较简单,直接从业务系统经过转换直接进dw的.


只看该作者    顶部
离线 davidhealth
初级会员



精华贴数 0
个人空间 0
技术积分 18 (56888)
社区积分 0 (302307)
注册日期 2005-3-11
论坛徽章:0
      
      

发表于 2007-5-28 16:24 
个人认为判断DW是否需要ODS有两点:
1、数据源太复杂。
2、客户需要实时报表。
曾经碰到过要求在数据仓库出实时报表的需求。我们就是通过建立ODS,且通过消息中间件建立ODS与数据源连接,实现数据实时同步的


只看该作者    顶部
离线 0yingzi0
初级会员


精华贴数 0
个人空间 0
技术积分 72 (20969)
社区积分 0 (1230903)
注册日期 2006-12-31
论坛徽章:0
      
      

发表于 2007-5-29 23:57 


QUOTE:
最初由 gary_yang2002 发布
想了解一下ods在保持实时性方面是怎么实现的

是业务系统完成ods的加载呢,还是做一个接近实时的etl过程,或者其它一些方法?


**********************************************************
具体实践的例子吗?
而且这个实时性的完成,是否会牺牲较多的性能那?还是说这个损耗比较小,可以忽略不计


只看该作者    顶部
相关内容


CopyRight 1999-2006 itpub.net All Right Reserved.
北京皓辰广域网络信息技术有限公司. 版权所有
E-mail:Webmaster@itpub.net
京ICP证:010037号 联系我们 法律顾问