首页
论坛
门户
空间
手机版
IXPUB
插件
收藏
设置
注册
登录
商店
搜索
培训
Wiki
Blog
归档
丛书
退出
ITPUB论坛
»
数据仓库与数据挖掘
» 关于数据仓库 — ODS概念
‹‹ 上一主题
|
下一主题 ››
35
2/4
‹‹
1
2
3
4
››
投票
交易
悬赏
活动
评价
|
打印
|
推荐
|
订阅
|
收藏
标题:
[原创]
关于数据仓库 — ODS概念
bq_wang
我想飞得更高!
精华贴数 18
个人空间
2923
技术积分 17284 (54)
社区积分 49414 (10)
注册日期 2002-2-7
论坛徽章:16
#11
使用道具
发表于 2006-12-20 15:46
在ODS前可以有一个数据暂存区,即为了避免与业务数据库的直接交互,而是用一些平面文件,XML文件,临时表,之类的。
实际上在数据仓库项目中,数据暂存区、ODS、数据集市,数据仓库区,这四项都并非必选的;后面的三项只要拥有一项,就可以认为是数据仓库了。
而他们的转换也并非局限在一点上,要视乎业务需要和所设计的框架而定!
仅是个人看法,请指正,
__________________
鸿图霸业谈笑中,不胜人生一场醉。厌倦江湖萌退意,不辞长作天涯人。
-------------------------------
MSN:baoqiangwang@hotmail.com
Mail:windboy@vip.sina.com QQ:326444779
-------------------------------
-------------------------------
只看该作者
innovate511
资深会员
精华贴数 4
个人空间
0
技术积分 2108 (734)
社区积分 1169 (831)
注册日期 2004-9-10
论坛徽章:13
#12
使用道具
发表于 2006-12-20 18:36
我在ttnn google群里把数据仓库和建筑业做了形象的比较。
在我们看来,很多简单的建筑,比如农舍,这些甚至根本不需要钢筋水泥就可以建起来。而类似摩天大厦的建筑,光是钢筋水泥这些建筑材料是不行的了,需要设计其架构,地基要打好,然后内部房间布置和装修规范,然后运用规范的建筑建设思路去建筑,才能建成稳固的摩天大楼。
同样,数据仓库小到你只分析一个星型模型,数据上千条,你可以用my sql都没关系,而业务庞大的世界500强企业或者中国、美国这样大国的国家级数据仓库,就必须从选材到项目架构设计、模型设计、开发、测试流程、项目管理各个层次都要做好才行。那么这种大型项目目前使用“材料”,也就是我们的数据库就很有讲究了,超大型项目使用teradata, DB2的多点,其次Oracle, SQL\Sybase的比较少了,使用my sql的可能没有。
然后就是物理架构设计和逻辑架构组织,其中物理架构就是厂家常宣传的XX数据仓库解决方案,主要是如何是数据库效率更高,稳定性更好。而逻辑架构则需要项目实施者自己去根据实际情况设计,一般几大常见的组织结构一个都不会少,甚至会多出一些中间层在常见组织结构中作为过滤和缓冲,提高项目稳定性和效率。从另一角度看,对开发和测试的要求也会高很多,这和建筑业的摩天大楼的建设地位是一样的,各个细节一个都不能少。同样,如果是简单的项目,就如你搭建一个农舍似的,焉需用牛刀,就不需要打什么地基了吧?
__________________
欢迎交流DW&BI 技术/行业/项目管理(近8年/电信、制造、信贷、零售专业经验,有国际大公司项目和海外做项目经验/Architecture,data model,develop,test)。
欢迎到http://innovate511.itpub.net/讨论数据仓库
只看该作者
gary_yang2002
一门蒙牛
精华贴数 0
个人空间
0
技术积分 104 (15877)
社区积分 83 (3686)
注册日期 2005-5-11
论坛徽章:1
#13
使用道具
发表于 2006-12-20 19:26
比喻很形象,很贴切啊,一切由业务驱动!
__________________
来的来了,走的走了,我们还要求什么?嗯...
只看该作者
bq_wang
我想飞得更高!
精华贴数 18
个人空间
2923
技术积分 17284 (54)
社区积分 49414 (10)
注册日期 2002-2-7
论坛徽章:16
#14
使用道具
发表于 2006-12-20 19:47
个人倒是认为不管草舍也好,摩天大楼也好,框架都是一样的,地基、骨架、外面的耗材、装修等等都应该有,也就是说流程是一样的,草舍可以作适当的裁减,地基不用那么多东西、骨架不用钢材等等,甚至不用装修也可以。
__________________
鸿图霸业谈笑中,不胜人生一场醉。厌倦江湖萌退意,不辞长作天涯人。
-------------------------------
MSN:baoqiangwang@hotmail.com
Mail:windboy@vip.sina.com QQ:326444779
-------------------------------
-------------------------------
只看该作者
jiew9404202
一般会员
精华贴数 0
个人空间
0
技术积分 114 (14805)
社区积分 8 (12021)
注册日期 2006-4-16
论坛徽章:0
#15
使用道具
发表于 2007-3-12 16:16
感觉还是斑竹有水平,阐述的比较通彻和全面
只看该作者
zzy_911_78
一般会员
精华贴数 1
个人空间
0
技术积分 372 (5150)
社区积分 141 (2801)
注册日期 2005-11-7
论坛徽章:2
#16
使用道具
发表于 2007-3-12 16:54
我一直将ods层,理解成staging area层和数据仓库层的一种过渡,具有两个层的一些特点又不同于任何一个层,满足一些两个层无法实现或者说是实现起来很麻烦的一些功能。
只看该作者
zhonghua936
初级会员
精华贴数 0
个人空间
0
技术积分 38 (33664)
社区积分 0 (997312)
注册日期 2006-6-21
论坛徽章:0
#17
使用道具
发表于 2007-5-25 16:22
其实需要统筹考虑的,ODS可以作为EDW的补充和支持
在规划EDW的时候,应该合理考虑ODS的地位和作用
只看该作者
xx_adam
老会员
精华贴数 1
个人空间
0
技术积分 1010 (1774)
社区积分 3 (20835)
注册日期 2005-9-20
论坛徽章:15
#18
使用道具
发表于 2007-5-26 21:17
这个东西可以细分的,视需求而定,如果数据源非常复杂,需要多步转换的,可以用ods,甚至hds,也有比较简单,直接从业务系统经过转换直接进dw的.
只看该作者
davidhealth
初级会员
精华贴数 0
个人空间
0
技术积分 18 (56888)
社区积分 0 (302307)
注册日期 2005-3-11
论坛徽章:0
#19
使用道具
发表于 2007-5-28 16:24
个人认为判断DW是否需要ODS有两点:
1、数据源太复杂。
2、客户需要实时报表。
曾经碰到过要求在数据仓库出实时报表的需求。我们就是通过建立ODS,且通过消息中间件建立ODS与数据源连接,实现数据实时同步的
只看该作者
0yingzi0
初级会员
精华贴数 0
个人空间
0
技术积分 72 (20969)
社区积分 0 (1230903)
注册日期 2006-12-31
论坛徽章:0
#20
使用道具
发表于 2007-5-29 23:57
QUOTE:
最初由 gary_yang2002 发布
想了解一下ods在保持实时性方面是怎么实现的
是业务系统完成ods的加载呢,还是做一个接近实时的etl过程,或者其它一些方法?
**********************************************************
具体实践的例子吗?
而且这个实时性的完成,是否会牺牲较多的性能那?还是说这个损耗比较小,可以忽略不计
只看该作者
35
2/4
‹‹
1
2
3
4
››
投票
交易
悬赏
活动
相关内容
ITPUB论坛
≡ 数据库技术 ≡
> Oracle数据库管理
> Oracle开发
> Oracle Developer Suite
> Oracle入门与认证
> Oracle专题深入讨论
> Oracle新技术/11g
> Oracle电子文档
> Oracle Application Server套件
> IBM数据库产品
> MS SQL Server
> Sybase管理与开发
> MySQL及其它开源数据库
> 内存数据库
> 数据仓库与数据挖掘
> 移动及嵌入式数据库
≡ 企业信息化 ≡
> ERP产品与实践
> CRM产品与实践
> HR产品与实践
> 物流
> 供应链
> 供应链建模与仿真
> 物流设备与系统工程
> 企业管理咨询
> 管理协同与办公自动化
> IT服务管理
> 数据中心建设
> ERP二次开发
> Oracle ERP
> EBS相关文档
> PeopleSoft与JDE
> SAP R/3
> SAP Business One开发与快速实施
> SAP财务及CRM
> SAP后勤及HR
> mySAP ERP
> 系统开发及跨应用设置
> SAP相关文档
> 国外其它ERP产品
> 国内ERP产品
≡ 开发技术 ≡
> Java入门与认证版
> Java web开发及框架技术
> Java企业开发
> ASP.NET【已迁移到微软开发技术论坛】
> .Net企业开发与应用【已迁移到微软开发技术论坛】
> WEB程序开发
> WEB 2.0技术
> 动态语言
> 移动与游戏开发
≡ 系统设计与项目管理 ≡
> 系统分析与UML
> 系统分析与UML精华区
> 项目管理
> 项目过程
> 软件测试
> 算法讨论与研究
≡ IBM软件技术园地 ≡
> IBM数据库产品
> Lotus
> Tivoli
> Websphere
> Rational
> 与SOA相关的IBM产品与技术
> IBM软件技术精英协会
> 软件技术精英活动专版
≡ 操作系统与硬件 ≡
> AIX及IBM产品【已迁移到IXPUB】
> HP-UX及HP产品【已迁移到IXPUB】
> Solaris及SUN产品【已迁移到IXPUB】
> Linux及其应用 【已迁移到IXPUB】
> 其它UNIX系统【已迁移到IXPUB】
> windows系统及微软相关产品 【已迁移到IXPUB】
> 存储设备与容灾技术 【已迁移到IXPUB】
> 服务器 【已迁移到IXPUB】
≡ 行业纵向讨论区 ≡
> IT业界评论与展望
> 政府与教育事业
> 中国政府信息主管联盟
> 电信行业
> 金融行业
> 医卫行业
> 制造行业
> 电力行业
> 信息安全与审计
≡ 会员交流 ≡
> IT职业生涯
> 招聘求职商务信息
> 旅游,驴友
> 汽车世界
> 外语角
> 数码摄影
> 你的故事我的歌
> 音乐推荐区
> 电子图书与IT文档资料
> 软件交流
> 软件交流精华区
≡ ITPUB产品与服务 ≡
> ITPUB地面活动专版
> BLOG天地
> WIKI世界
> 授权用户区
> 站务管理
≡ 微软开发技术 ≡
> 开发工具和语言
> .NET Framework 相关
> Visual Basic/VB.net
> Visual C#
> Visual C++/vc.net
> Visual Studio
> .NET软件架构与模式
> .NET开发辅助工具及框架
> Web开发
> ASP.NET与AJAX
> Web相关讨论(IIS等)
> Silverlight 技术
> Office开发
> Microsoft office system
> Office Business Application
> 微软企业级产品技术
> windows server
> SharePoint
> Exchange Server
> Biztalk
> 嵌入式及移动开发
> Windows Embedded 嵌入式技术
> Windows 移动设备
> 微软产品用户交流区
> .Net电子书籍&&书籍介绍
> .Net人才交流
技术积分榜
社区积分榜
徽章
电子杂志
会员
团队
统计
邮箱
游乐场
帮助
TOP
CopyRight 1999-2006 itpub.net All Right Reserved.
北京皓辰广域网络信息技术有限公司. 版权所有
E-mail:Webmaster@itpub.net
京ICP证:010037号
联系我们
法律顾问
控制面板首页
编辑个人资料
积分交易
公众用户组
好友列表
升级个人空间
基本概况
论坛排行
主题排行
发帖排行
积分排行
在线时间
管理团队
管理统计