楼主: lingyuhihi

各位老大,帮忙啊 优化大数据量sql

[复制链接]
论坛徽章:
7
ITPUB学员
日期:2011-04-08 09:44:05ITPUB十周年纪念徽章
日期:2011-11-01 16:24:04紫蛋头
日期:2011-12-26 14:20:322012新春纪念徽章
日期:2012-01-04 11:53:54奥运会纪念徽章:花样游泳
日期:2012-06-25 12:17:162013年新春福章
日期:2013-02-25 14:51:24优秀写手
日期:2013-12-25 06:00:13
发表于 2012-1-18 15:36 | 显示全部楼层
哈,你怎么看到的?
我有个想法,
把adtPaid做成按月 时间分区 partition_by_MM
尝试一下 将 insert 后面的 select 部分结果集 创建成单独的表(普通表)。
例如 , create table part_by_12 as select xxxxxxxx ;
然后通过分区表的分区切换,将新添加的 子分区 和 part_by_12 进行置换。 (置换过程不需要时间,因为只涉及数据字典修改,不会产生IO)

性能消耗存在于 create table   as  select  部分。

以上只是猜想。并未实际测试过。你可以测试一下。

效果好请记得告诉我,效果不好也可以回来锤我~哈哈


使用道具 举报

回复
论坛徽章:
4
2011新春纪念徽章
日期:2011-02-18 11:43:33ITPUB十周年纪念徽章
日期:2011-11-01 16:25:222013年新春福章
日期:2013-02-25 14:51:24优秀写手
日期:2014-03-22 06:00:12
 楼主| 发表于 2012-1-18 16:00 | 显示全部楼层
本帖最后由 lingyuhihi 于 2012-1-18 16:01 编辑
花好月不圆 发表于 2012-1-18 15:34
claim.T_CRT_TM > to_date('2011-07-10', 'YYYY-MM-DD')   -- AND claim.T_CRT_TM


这个sql的最终结果是50多万条记录

使用道具 举报

回复
论坛徽章:
114
授权会员
日期:2005-10-30 17:05:332013年新春福章
日期:2013-02-25 14:51:24奔驰
日期:2013-08-01 21:18:36宝马
日期:2013-12-04 21:52:282014年新春福章
日期:2014-02-18 16:41:11马上有车
日期:2014-02-18 16:41:11马上有车
日期:2014-02-19 11:55:14马上有房
日期:2014-02-19 11:55:14马上有钱
日期:2014-02-19 11:55:14马上有对象
日期:2014-02-19 11:55:14
发表于 2012-1-18 16:05 | 显示全部楼层
本帖最后由 花好月不圆 于 2012-1-18 16:10 编辑
lingyuhihi 发表于 2012-1-18 16:00
这个sql的最终结果是50多万条记录

既然这样 ,就拆分成一个procedure ,分几部完成看看
  这么点数据,全表扫描也要不了半个小时把 不知道什么硬件配置

使用道具 举报

回复
论坛徽章:
4
2011新春纪念徽章
日期:2011-02-18 11:43:33ITPUB十周年纪念徽章
日期:2011-11-01 16:25:222013年新春福章
日期:2013-02-25 14:51:24优秀写手
日期:2014-03-22 06:00:12
 楼主| 发表于 2012-1-18 16:19 | 显示全部楼层
花好月不圆 发表于 2012-1-18 16:05
既然这样 ,就拆分成一个procedure ,分几部完成看看
  这么点数据,全表扫描也要不了半个小时把 不知道什么 ...

啥意思?
硬件配置是没办法升级了,就是4cpu 16g的dell server

使用道具 举报

回复
论坛徽章:
5
ITPUB9周年纪念徽章
日期:2010-10-08 09:28:51数据库板块每日发贴之星
日期:2011-07-22 01:01:02蜘蛛蛋
日期:2011-08-24 14:10:13ITPUB十周年纪念徽章
日期:2011-11-01 16:24:042012新春纪念徽章
日期:2012-01-04 11:54:26
发表于 2012-1-18 16:23 | 显示全部楼层
我靠 你又改SQL了....

使用道具 举报

回复
论坛徽章:
4
2011新春纪念徽章
日期:2011-02-18 11:43:33ITPUB十周年纪念徽章
日期:2011-11-01 16:25:222013年新春福章
日期:2013-02-25 14:51:24优秀写手
日期:2014-03-22 06:00:12
 楼主| 发表于 2012-1-18 16:25 | 显示全部楼层
lbs1988 发表于 2012-1-18 16:23
我靠 你又改SQL了....

本想只贴出一部份,但怕有问题,所以就全贴出来了,抱歉

使用道具 举报

回复
论坛徽章:
7
ITPUB学员
日期:2011-04-08 09:44:05ITPUB十周年纪念徽章
日期:2011-11-01 16:24:04紫蛋头
日期:2011-12-26 14:20:322012新春纪念徽章
日期:2012-01-04 11:53:54奥运会纪念徽章:花样游泳
日期:2012-06-25 12:17:162013年新春福章
日期:2013-02-25 14:51:24优秀写手
日期:2013-12-25 06:00:13
发表于 2012-1-18 16:34 | 显示全部楼层
lingyuhihi 发表于 2012-1-18 16:00
这个sql的最终结果是50多万条记录

服了U。 有空我自己试试哈哈。一会要去赶火车啦~~~
你们继续~

使用道具 举报

回复
论坛徽章:
4
2011新春纪念徽章
日期:2011-02-18 11:43:33ITPUB十周年纪念徽章
日期:2011-11-01 16:25:222013年新春福章
日期:2013-02-25 14:51:24优秀写手
日期:2014-03-22 06:00:12
 楼主| 发表于 2012-1-18 17:01 | 显示全部楼层
老大们,帮帮忙吧

使用道具 举报

回复
论坛徽章:
4
2011新春纪念徽章
日期:2011-02-18 11:43:33ITPUB十周年纪念徽章
日期:2011-11-01 16:25:222013年新春福章
日期:2013-02-25 14:51:24优秀写手
日期:2014-03-22 06:00:12
 楼主| 发表于 2012-1-18 17:35 | 显示全部楼层
KAERTIGER 发表于 2012-1-18 16:34
服了U。 有空我自己试试哈哈。一会要去赶火车啦~~~
你们继续~

不好意思,一路顺风

使用道具 举报

回复
论坛徽章:
4
2011新春纪念徽章
日期:2011-02-18 11:43:33ITPUB十周年纪念徽章
日期:2011-11-01 16:25:222013年新春福章
日期:2013-02-25 14:51:24优秀写手
日期:2014-03-22 06:00:12
 楼主| 发表于 2012-1-18 20:40 | 显示全部楼层
看来老大们都回家过年了

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

PostgreSQL中国大会,参会票抢购!

由 PostgreSQL中文社区与ITPUB联合主办的第九届《PostgreSQL 中国技术大会》将在北京隆重召开。PostgreSQL 作为功能最强的的开源关系型数据库之一,得到了越来越多企业的推广和运用,也越来越受到广大技术爱好者的欢迎和重视。这将是 PostgreSQL 的又一次交流盛会。
----------------------------------------
时间:2019年11月29~11月30日

点击报名>>
TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 
京ICP备09055130号-4  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表