数据库调优的三板斧[已结贴]

Lyoohan

单从数据量看,全国可能就是某个省的好几十倍,
如果做多个表连接,每个表都是好几十E行的数据量,那就非常庞大了
如果取单个省份肯定能大幅提高查询效率(大幅减小单次的查询量),全国的数据只用把省份的结果相加就行;
相反,如果用全国的数据会给服务器带来很重的负担,占用大量资源,严重妨碍其他后台作业,这个是我亲身体会过的

kelsoncong

Lyoohan 发表于 2012-6-26 16:20
单从数据量看,全国可能就是某个省的好几十倍,
如果做多个表连接,每个表都是好几十E行的数据量,那就非常庞大 ...

恩,我有点明白你的意思了, 这个目的是不是减少单次运行的数据量的大小? 但是实际上总的运算量并没有发生变化?

koham

我的几板斧：
1. 查看执行计划；
2. 收集统计信息
3. 打补丁

如果还是达不到目标，那么只能看源代码，进行深层次的调整了。

jump2009

为什么不用merge操作

yobyin

kelsoncong 发表于 2012-6-25 10:10
继续：

然后继续看看数据库的配置，这样一个充斥这中间数据，全是大数据装载的环境，居然是开启了归档和 ...

俺这个有些个疑问。 我一直认为，只有ctas  or sqlldr 这种才减少redo 的产生。
在insert 这种sql 无论你加不加nologgin  redo 都会产生的。

kelsoncong

jump2009 发表于 2012-6-26 18:15
为什么不用merge操作

merge操作类似于update+insert，基本还是比较低效的

kelsoncong

yobyin 发表于 2012-6-26 19:21
俺这个有些个疑问。 我一直认为，只有ctas  or sqlldr 这种才减少redo 的产生。
在insert 这种sql 无论你 ...

的却是，不过这斧头的核心不是奔着nologging去的，主要目的是关归档，反正也联系了甲方DBA了，也就顺带让他把logging关掉

newkid

kelsoncong 发表于 2012-6-26 20:32
的却是，不过这斧头的核心不是奔着nologging去的，主要目的是关归档，反正也联系了甲方DBA了，也就顺带让 ...

第一板斧：
delete from ta where week='xxx';
insert into ta select * from tranTa where week='xxx';

改用CTAS然后用PARTITION EXCHANGE怎么样？

周应侯

ding

yobyin

kelsoncong 发表于 2012-6-25 11:17
继续

做个分层聚合的兄弟可能有过经验，那就是聚合后的数据的排序其实还是非常有规律性的。

俺还有问题， 压缩之后是查询的快了，可是这也会让insert  ,这里你的压力是在etl 这。
compress 后，时间不更长了吗。 再说能支持在线compress 吗