ITPUB论坛－专业的IT技术社区

标题: 创建10个大型表的关联视图，用union 产生的速度变慢，请教应如何优化！ [打印本页]

作者: xyongxu 时间: 2004-5-10 15:46
标题: 创建10个大型表的关联视图，用union 产生的速度变慢，请教应如何优化！
创建10个大型表的关联视图，用union 产生的速度变慢，请教应如何优化！每张表大约有200万条，每张表代表一天的数据，计保存10天，每天0：00删除第10天前的数据，用10张表删除时用truncate table 速度快，若用delete 语句则系统会出问题，由于用union 语句建立视图，用select 速度很慢，请教大家应如何优化视图。谢谢！
每张表用BEGINTIME,UNITID建立了唯一性索引！10张表每条记录都不会重复！

create or replace view unittrend as
( select UNITID,TRENDINDEX,BEGINTIME,TRENDVALUE,LABEL from unittrend_0
   union
   select UNITID,TRENDINDEX,BEGINTIME,TRENDVALUE,LABEL from unittrend_1
   union
   select UNITID,TRENDINDEX,BEGINTIME,TRENDVALUE,LABEL from unittrend_2
   union
   select UNITID,TRENDINDEX,BEGINTIME,TRENDVALUE,LABEL from unittrend_3
   union
   select UNITID,TRENDINDEX,BEGINTIME,TRENDVALUE,LABEL from unittrend_4
   union
   select UNITID,TRENDINDEX,BEGINTIME,TRENDVALUE,LABEL from unittrend_5
   union
   select UNITID,TRENDINDEX,BEGINTIME,TRENDVALUE,LABEL from unittrend_6
   union
   select UNITID,TRENDINDEX,BEGINTIME,TRENDVALUE,LABEL from unittrend_7
   union
   select UNITID,TRENDINDEX,BEGINTIME,TRENDVALUE,LABEL from unittrend_8
   union
   select UNITID,TRENDINDEX,BEGINTIME,TRENDVALUE,LABEL from unittrend_9
   )

作者: jlandzpa 时间: 2004-5-10 15:51
先改成union all.

作者: xyongxu 时间: 2004-5-10 16:04
能否说详细些吗？谢谢！

作者: dlinger 时间: 2004-5-10 16:28
如果这些表你已知没有重复的数据需要筛选，将union
改成union all。
union 会导致排序，尤其你的结果集很大，会做disk sort。

作者: xyongxu 时间: 2004-5-12 10:37
明白了，谢谢！

作者: jenting 时间: 2004-5-13 14:53
如果對查詢資料即時性不那麼care,建議採用物化視圖(materiliazed view),可以讓user感受到大幅效能提升.

作者: xyongxu 时间: 2004-5-14 09:43
採用物化視圖(materiliazed view),能否说详细些吗,应如何写sql 语句？谢谢！

作者: jiang 时间: 2004-5-14 09:49
create or replace view unittrend as
( select UNITID,TRENDINDEX,BEGINTIME,TRENDVALUE,LABEL from unittrend_0
union
select UNITID,TRENDINDEX,BEGINTIME,TRENDVALUE,LABEL from unittrend_1
union
select UNITID,TRENDINDEX,BEGINTIME,TRENDVALUE,LABEL from unittrend_2
union
select UNITID,TRENDINDEX,BEGINTIME,TRENDVALUE,LABEL from unittrend_3
union
select UNITID,TRENDINDEX,BEGINTIME,TRENDVALUE,LABEL from unittrend_4
union
select UNITID,TRENDINDEX,BEGINTIME,TRENDVALUE,LABEL from unittrend_5
union
select UNITID,TRENDINDEX,BEGINTIME,TRENDVALUE,LABEL from unittrend_6
union
select UNITID,TRENDINDEX,BEGINTIME,TRENDVALUE,LABEL from unittrend_7
union
select UNITID,TRENDINDEX,BEGINTIME,TRENDVALUE,LABEL from unittrend_8
union
select UNITID,TRENDINDEX,BEGINTIME,TRENDVALUE,LABEL from unittrend_9
)

象这种没有 where 条件, 若也没有重复的数据需要筛选, materiliazed view 还是不用的好

作者: xjtwm 时间: 2004-5-14 10:21
I think you should use the partition table.

作者: xyongxu 时间: 2004-5-14 10:28
每张表用BEGINTIME,UNITID建立了唯一性索引！10张表每条记录都不会重复！

作者: xyongxu 时间: 2004-5-14 10:43
以前我也用一个表，分10个区，然后每天定时对该表的特定分区进行删除（在实时采集存储过程里），但删除过程太慢了，影响了实时采集存储过程的实时数据采集。

作者: eygle 时间: 2004-5-14 11:14
why delete?
You can truncate partition.

作者: xyongxu 时间: 2004-5-14 11:40
只是用delete 语句删除分区内容。805版能用truncate partition???能简单举例吗。

作者: eygle 时间: 2004-5-14 11:49
ORACLE8的分区管理[zt]
--------------------------------------------------------------------------------
摘要：本篇文章介绍了ORACLE数据库的新特性—分区管理，并用例子说明使用方法。
关键词：ORACLE，分区

一、分区概述：
　　为了简化数据库大表的管理，ORACLE8推出了分区选项。分区将表分离在若干不同的表空间上，用分而治之的方法来支撑无限膨胀的大表，给大表在物理一级的可管理性。将大表分割成较小的分区可以改善表的维护、备份、恢复、事务及查询性能。针对当前社保及电信行业的大量日常业务数据，可以推荐使用ORACLE8的该选项。

二、分区的优点：
1 、增强可用性：如果表的一个分区由于系统故障而不能使用，表的其余好的分区仍然可以使用；
2 、减少关闭时间：如果系统故障只影响表的一部分分区，那么只有这部分分区需要修复，故能比整个大表修复花的时间更少；
3 、维护轻松：如果需要重建表，独立管理每个分区比管理单个大表要轻松得多；
4 、均衡I/O:可以把表的不同分区分配到不同的磁盘来平衡I/O改善性能；
5 、改善性能：对大表的查询、增加、修改等操作可以分解到表的不同分区来并行执行，可使运行速度更快；
6 、分区对用户透明，最终用户感觉不到分区的存在。

三、分区的管理：

1 、分区表的建立：
　　某公司的每年产生巨大的销售记录，DBA向公司建议每季度的数据放在一个分区内，以下示范的是该公司1999年的数据(假设每月产生30M的数据)，操作如下：
STEP1、建立表的各个分区的表空间：
CREATE TABLESPACE ts_sale1999q1
DATAFILE ‘/u1/oradata/sales/sales1999_q1.dat’
SIZE 100M
DEFAULT STORAGE (INITIAL 30m NEXT 30m MINEXTENTS 3 PCTINCREASE 0)
CREATE TABLESPACE ts_sale1999q2
DATAFILE ‘/u1/oradata/sales/sales1999_q2.dat’
SIZE 100M
DEFAULT STORAGE (INITIAL 30m NEXT 30m MINEXTENTS 3 PCTINCREASE 0)
CREATE TABLESPACE ts_sale1999q3
DATAFILE ‘/u1/oradata/sales/sales1999_q3.dat’
SIZE 100M
DEFAULT STORAGE (INITIAL 30m NEXT 30m MINEXTENTS 3 PCTINCREASE 0)
CREATE TABLESPACE ts_sale1999q4
DATAFILE ‘/u1/oradata/sales/sales1999_q4.dat’
SIZE 100M
DEFAULT STORAGE (INITIAL 30m NEXT 30m MINEXTENTS 3 PCTINCREASE 0)
STEP2、建立基于分区的表：
CREATE TABLE sales
(invoice_no NUMBER,
...
sale_date DATE NOT NULL )
PARTITION BY RANGE (sale_date)
(PARTITION sales1999_q1
VALUES LESS THAN (TO_DATE(‘1999-04-01’,’YYYY-MM-DD’)
TABLESPACE ts_sale1999q1,
PARTITION sales1999_q2
VALUES LESS THAN (TO_DATE(‘1999-07-01’,’YYYY-MM-DD’)
TABLESPACE ts_sale1999q2,
PARTITION sales1999_q3
VALUES LESS THAN (TO_DATE(‘1999-10-01’,’YYYY-MM-DD’)
TABLESPACE ts_sale1999q3,
PARTITION sales1999_q4
VALUES LESS THAN (TO_DATE(‘2000-01-01’,’YYYY-MM-DD’)
TABLESPACE ts_sale1999q4 );

2 、分区表的扩容：

到了1999年年底，DBA应向表中加入2000年的表空间，同样是每季度一个表空间，由于公司业务欣欣向荣，预计每个分区为40M，操作如下。
STEP1、建立表空间：
CREATE TABLESPACE ts_sale2000q1
DATAFILE ‘/u1/oradata/sales/sales2000_q1.dat’
SIZE 130M
DEFAULT STORAGE (INITIAL 40m NEXT 40m MINEXTENTS 3 PCTINCREASE 0)
其他表空间ts_sale2000q2,ts_sale2000q3,ts_sales2000q4如法炮制。
STEP2、为表添加表空间：
ALTER TABLE sales
ADD PARTITION sales2000_q1
VALUES LESS THAN (TO_DATE(‘2000-04-01’,’YYYY-MM-DD’)
TABLESPACE ts_sale2000q1;
其他分区sales2000_q1，sales2000_q1，sales2000_q1如法炮制。

3 、删除不必要的分区：

公司规定：销售的明细数据两年内必须保存在线。到2001年，DBA必须将1999年的数据备份（备份方法见5、EXPORT分区），将1999年的分区删除，将空间供后来的数据使用。如此循环，永远保持两年的销售数据在线。

STEP1、DROP 分区：
ALTER TABLE sales
DROP PARTION sales1999_q1;
ALTER TABLE sales
DROP PARTION sales1999_q2;
ALTER TABLE sales
DROP PARTION sales1999_q3;
ALTER TABLE sales
DROP PARTION sales1999_q4;
STEP2、利用操作系统的工具删除以上表空间占用的文件（表空间基于裸设备无须次步）,UNIX系统为例：
oracle$ rm /u1/oradata/sales/sales1999_q1.dat
oracle$ rm /u1/oradata/sales/sales1999_q2.dat
oracle$ rm /u1/oradata/sales/sales1999_q3.dat
oracle$ rm /u1/oradata/sales/sales1999_q4.dat

4 、分区的其他操作：

分区的其他操作包括截短分区（truncate），将存在的分区划分为多个分区(split)，交换分区(exchange)，重命名（rename）,为分区建立索引等。DBA可以根据适当的情况使用。
以下仅说明分裂分区（split）,例如该公司1999年第四季度销售明细数据急剧增加（因为庆国庆、迎千禧、贺回归），DBA向公司建议将第四季度的分区划分为两个分区，每个分区放两个月份的数据，操作如下：
STEP1、按（1）的方法建立两个分区的表空间ts_sales1999q4p1,
ts_sales1999q4p2；
STEP2、给表添加两个分区sales1999_q4_p1,sales1999_q4_p2;
STEP3、分裂分区：
ALTER TABLE sales
SPLIT PARTITON sales1999_q4
AT TO_DATE (‘1999-11-01’,’YYYY-MM-DD’)
INTO (partition sales1999_q4_p1, partition sales1999_q4_p2)

5 、查看分区信息：

DBA要查看表的分区信息，可查看数据字典USER_EXTENTS,操作如下：
SVRMGRL>SELECT * FROM user_extents WHERE SEGMENT_NAME=’SALES’;
SEGMENT_NA PARTITION_ SEGMENT_TYPE TABLESPACE
---------- ------------ --------------- --------------
SALES SALES1999_Q1 TABLE PARTITION TS_SALES1999Q1
SALES SALES1999_Q2 TABLE PARTITION TS_SALES1999Q2
SALES SALES1999_Q3 TABLE PARTITION TS_SALES1999Q3
SALES SALES1999_Q4 TABLE PARTITION TS_SALES1999Q4
SALES SALES2000_Q1 TABLE PARTITION TS_SALES1999Q1
SALES SALES2000_Q2 TABLE PARTITION TS_SALES1999Q2
SALES SALES2000_Q3 TABLE PARTITION TS_SALES1999Q3
SALES SALES2000_Q4 TABLE PARTITION TS_SALES1999Q4

5 、EXPORT分区：

ORACLE8的EXPORT 工具可在表的分区以及导出数据，例如到2001年，DBA必须将1999年的数据按分区导出，操作如下：
oracle$ exp sales/sales_password tables=sales:sales1999_q1 rows=Y
file=sales1999_q1.dmp
oracle$ exp sales/sales_password tables=sales:sales1999_q2 rows=Y
file=sales1999_q2.dmp
oracle$ exp sales/sales_password tables=sales:sales1999_q3 rows=Y
file=sales1999_q3.dmp
oracle$ exp sales/sales_password tables=sales:sales1999_q4 rows=Y
file=sales1999_q4.dmp

6 、IMPORT分区：

ORACLE8的IMPORT 工具可在表的分区以及导入数据，例如在2001年，用户要查看1999年的数据，DBA必须导入1999年的数据，使之在线，操作如下：
STEP1、建立表的1999年的四个表空间和相应的分区，参照（2）；
STEP2、导入数据：
oracle$ imp sales/sales_password FILE =sales1999_q1.dmp
TABLES = (sales:sales1999_q1) IGNORE=y
oracle$ imp sales/sales_password FILE =sales1999_q2.dmp
TABLES = (sales:sales1999_q2) IGNORE=y
oracle$ imp sales/sales_password FILE =sales1999_q3.dmp
TABLES = (sales:sales1999_q3) IGNORE=y
oracle$ imp sales/sales_password FILE =sales1999_q4.dmp
TABLES = (sales:sales1999_q4) IGNORE=y

作者: rollingpig 时间: 2004-5-14 12:38
union ten big table ?
very vrey bad db design

partition will be best solution in this situation.

作者: xyongxu 时间: 2004-5-15 08:12
非常感谢大家的大力帮助!

作者: xiaomayi 时间: 2004-6-17 09:08
正好也遇到这个问题。
现在是用union all建的视图，能否详细说明物化視圖(materiliazed view)？

作者: 李迪 时间: 2004-9-21 08:19
如果﹐我用16塊磁盤做raid 0 + 1 這樣分区有效果嗎﹐我想效果可能不明顯吧﹖

作者: ZALBB 时间: 2004-9-21 09:12
采用分区表，可truncate 某个分区，这样快些。

作者: xzh2000 时间: 2004-9-21 09:22

最初由 xiaomayi 发布
[B]正好也遇到这个问题。
现在是用union all建的视图，能否详细说明物化視圖(materiliazed view)？ [/B]

mview可以参考expert one on one oracle 第13章

作者: rchsh 时间: 2004-9-21 09:52
根据业务采取分表和分区
如果你的业务的分区特性很明显的话,采取分区是最好的了

如果业务的分区特性不是很明显的话,只能采取分表了,如果要查询所有数据表的数据的话,只能采取union all 了

物化视图在处理这么大的数据量的系统中是不建议使用的

作者: d.c.b.a 时间: 2004-9-21 13:31
看一下Data Warehouse Guide就知道了.

作者: muzijiang 时间: 2005-3-23 20:50
好东东,有参考价值

欢迎光临 ITPUB论坛－专业的IT技术社区 (http://www.itpub.net/)