查看: 7919|回复: 49

话题讨论:DB2数据仓库运行与维护最佳实践

[复制链接]
论坛徽章:
10
2012新春纪念徽章
日期:2012-01-04 11:57:56马上有对象
日期:2014-02-19 11:55:14马上有钱
日期:2014-02-19 11:55:14马上有房
日期:2014-02-19 11:55:14马上有车
日期:2014-02-19 11:55:14优秀写手
日期:2013-12-18 09:29:08版主1段
日期:2013-06-07 02:21:02现任管理团队成员
日期:2013-06-06 02:21:02ITPUB 11周年纪念徽章
日期:2012-10-09 18:16:00马上加薪
日期:2014-02-19 11:55:14
发表于 2012-8-27 17:41 | 显示全部楼层 |阅读模式
汉字博大精深,数据仓库比数据库多一字,却变了乾坤。数据仓库不能理解为大的数据库,不过数据仓库确实跟数据库关系紧密。那么什么是数据仓库呢?
William HInmon 在《构建数据仓库》(Building the Data Warehouse)一书中对数据仓库的定义:
Data Warehouse is a subject-oriented, integrated, time-variant, and nonvolatile collection of data in support of management’s decision making process.
上面的话用中文来说:数据仓库就是面向主题的(subject-oriented)、集成的(integrated)、反映历史变化(time-variant)的、相对稳定(nonvolatile)的数据集合,它可用以支持经营管理中的决策制定过程。
l         面向主题,是指数据仓库中的数据是按照一定的主题域进行组织的。
l         集成,是指数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的,是关于整个企业的一致的全局信息。
l         反映历史变化,是指数据仓库中的数据系统记录了企业从过去某一时点(如开始应用数据仓库的时点)到目前的各个阶段的信息。
l         相对稳定,是指一旦数据进入数据仓库以后,一般情况下将被长期保留,也就是数据仓库中一般有大量的查询操作,但修改和删除操作很少,通常只需要定期的加载、刷新。
那么数据仓库出现的现实依据是什么?
数据处理模式主要划分为两大类:操作型处理和分析型处理。操作型处理也叫事务型处理,是指对数据库的日常操作,它通常是对一条或一组记录的查询或修改,满足了响应时间、数据的安全性和完整性的需要。分析型处理则用于管理人员的决策分析,往往是大规模的、批量的计算作业,经常要访问大量的历史数据。
由此可以看到,传统数据库系统能够完成企业的日常事务处理工作,但很难实现数据分析处理的要求,也无法满足数据处理多样化的需求。随着用户需求的发展,操作型处理和分析型处理的分离就成为一种必然选择。
本周重点讨论一下DB2数据仓库中的运行和维护方法,欢迎大家踊跃参与!

活动时间:
8月27日~9月7日

活动奖励:
活动结束将选出5位幸运会员,赠送《运筹帷幄DB2:从Oracle运维转型》著作一本!
htyansp
jxzkin
shadowfalao
dannyzhang
yanggq
论坛徽章:
43
2015年新春福章
日期:2015-03-06 11:58:392015年新春福章
日期:2015-03-04 14:53:16itpub13周年纪念徽章
日期:2014-09-30 08:13:41itpub13周年纪念徽章
日期:2014-09-30 08:13:49凯迪拉克
日期:2013-12-25 11:13:34凯迪拉克
日期:2013-12-24 13:01:42保时捷
日期:2013-08-02 17:00:00保时捷
日期:2013-08-06 12:54:15劳斯莱斯
日期:2013-10-29 12:57:11林肯
日期:2013-12-19 16:13:50
发表于 2012-8-27 17:57 | 显示全部楼层
本帖最后由 kingdom_168 于 2012-8-27 17:57 编辑

DB2 不熟悉啊!!!支持一下!!!

使用道具 举报

回复
论坛徽章:
16
ITPUB9周年纪念徽章
日期:2010-10-08 09:32:262013年新春福章
日期:2013-04-08 17:42:48紫蛋头
日期:2013-03-18 12:34:29双黄蛋
日期:2013-03-11 13:04:122013年新春福章
日期:2013-02-25 14:51:24奥运纪念徽章
日期:2012-11-15 10:00:34复活蛋
日期:2012-10-31 14:26:15ITPUB 11周年纪念徽章
日期:2012-10-09 18:14:48奥运会纪念徽章:蹦床
日期:2012-09-10 10:35:46奥运会纪念徽章:花样游泳
日期:2012-09-01 12:56:56
发表于 2012-8-27 17:57 | 显示全部楼层
本帖最后由 htyansp 于 2012-8-27 17:58 编辑

DPF
表分区
并行操作

使用道具 举报

回复
论坛徽章:
10
2012新春纪念徽章
日期:2012-01-04 11:57:56马上有对象
日期:2014-02-19 11:55:14马上有钱
日期:2014-02-19 11:55:14马上有房
日期:2014-02-19 11:55:14马上有车
日期:2014-02-19 11:55:14优秀写手
日期:2013-12-18 09:29:08版主1段
日期:2013-06-07 02:21:02现任管理团队成员
日期:2013-06-06 02:21:02ITPUB 11周年纪念徽章
日期:2012-10-09 18:16:00马上加薪
日期:2014-02-19 11:55:14
 楼主| 发表于 2012-8-27 18:14 | 显示全部楼层
htyansp 发表于 2012-8-27 17:57
DPF
表分区
并行操作

首先,谈一下MPP架构吧。
每个数据库分区都有自己独立的服务器环境,即独立的CPU、内存以及磁盘。服务器之间通过高速网络连接,这种环境也被叫做MPP环境,或者Shared-Nothing架构,如图4-3所示。Shared-Nothing这个名字准确地描述了在这个环境中资源的管理方式,与SMP环境不同,MPP环境是由相对独立的、不共享的数据库分区组成。
在这种环境中,尽管一个数据库被物理上分割成多个数据库分区,但从逻辑上看它依然是一个整体。当处理查询时,协调节点(Coordinator Node)将工作负载分配到各个分区上,这些分区基于自己管理的数据进行并行处理,随后按照工作要求,将执行结果返回给协调节点,协调节点合并所有结果,再返回给应用。

使用道具 举报

回复
论坛徽章:
10
2012新春纪念徽章
日期:2012-01-04 11:57:56马上有对象
日期:2014-02-19 11:55:14马上有钱
日期:2014-02-19 11:55:14马上有房
日期:2014-02-19 11:55:14马上有车
日期:2014-02-19 11:55:14优秀写手
日期:2013-12-18 09:29:08版主1段
日期:2013-06-07 02:21:02现任管理团队成员
日期:2013-06-06 02:21:02ITPUB 11周年纪念徽章
日期:2012-10-09 18:16:00马上加薪
日期:2014-02-19 11:55:14
 楼主| 发表于 2012-8-27 18:14 | 显示全部楼层
本帖最后由 王飞鹏2011 于 2012-8-27 18:15 编辑
kingdom_168 发表于 2012-8-27 17:57
DB2 不熟悉啊!!!支持一下!!!


呵呵,DB2在DPF/MPP架构很领先,目前电信和金融行业用的很多。

使用道具 举报

回复
招聘 : 系统架构师
认证徽章
论坛徽章:
369
秀才
日期:2015-08-10 09:03:20巨蟹座
日期:2015-09-09 14:25:25巨蟹座
日期:2015-09-10 09:03:46秀才
日期:2015-09-11 10:43:06摩羯座
日期:2015-09-20 17:10:27秀才
日期:2015-09-21 09:46:16秀才
日期:2015-09-21 11:16:42秀才
日期:2015-10-08 17:57:58天枰座
日期:2015-10-28 18:28:29秀才
日期:2015-09-06 10:42:32
发表于 2012-8-27 18:55 | 显示全部楼层
在什么环境下可以跑呢?有没有可以自行搭建poc环境测试呢?

使用道具 举报

回复
论坛徽章:
16
ITPUB9周年纪念徽章
日期:2010-10-08 09:32:262013年新春福章
日期:2013-04-08 17:42:48紫蛋头
日期:2013-03-18 12:34:29双黄蛋
日期:2013-03-11 13:04:122013年新春福章
日期:2013-02-25 14:51:24奥运纪念徽章
日期:2012-11-15 10:00:34复活蛋
日期:2012-10-31 14:26:15ITPUB 11周年纪念徽章
日期:2012-10-09 18:14:48奥运会纪念徽章:蹦床
日期:2012-09-10 10:35:46奥运会纪念徽章:花样游泳
日期:2012-09-01 12:56:56
发表于 2012-8-28 08:57 | 显示全部楼层
王飞鹏2011 发表于 2012-8-27 18:14
首先,谈一下MPP架构吧。
每个数据库分区都有自己独立的服务器环境,即独立的CPU、内存以及磁盘。服务器 ...

MPP架构感觉点类似 分布式数据库

使用道具 举报

回复
论坛徽章:
3
咸鸭蛋
日期:2012-07-26 15:01:18ITPUB 11周年纪念徽章
日期:2012-10-09 18:09:192013年新春福章
日期:2013-02-25 14:51:24
发表于 2012-8-28 09:09 | 显示全部楼层
MPP架构很不错感觉

使用道具 举报

回复
论坛徽章:
4
奥运会纪念徽章:游泳
日期:2012-07-28 15:39:12ITPUB 11周年纪念徽章
日期:2012-10-10 13:11:142014年新春福章
日期:2014-02-18 16:43:09马上有钱
日期:2014-02-18 16:43:09
发表于 2012-8-28 17:39 | 显示全部楼层
企业运行产生的历史数据,用数据说话,让数据增值。
需要分析数据中暗藏的玄机或者规律。

使用道具 举报

回复
论坛徽章:
10
2012新春纪念徽章
日期:2012-01-04 11:57:56马上有对象
日期:2014-02-19 11:55:14马上有钱
日期:2014-02-19 11:55:14马上有房
日期:2014-02-19 11:55:14马上有车
日期:2014-02-19 11:55:14优秀写手
日期:2013-12-18 09:29:08版主1段
日期:2013-06-07 02:21:02现任管理团队成员
日期:2013-06-06 02:21:02ITPUB 11周年纪念徽章
日期:2012-10-09 18:16:00马上加薪
日期:2014-02-19 11:55:14
 楼主| 发表于 2012-8-28 20:30 | 显示全部楼层
jindows 发表于 2012-8-28 17:39
企业运行产生的历史数据,用数据说话,让数据增值。
需要分析数据中暗藏的玄机或者规律。

嗯,其实第一代数据仓库,是teradata和db2 dpf,当时50T的数据就是海量数据了。现在运营商上P的数据都很常见,db2目前就可以支持这么大的容量。后面的发展,降低成本是关键。毕竟数据量越大,需要的存储越大,需要的处理器资源就越多。

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 
京ICP备09055130号-4  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表