查看: 1870|回复: 3

[性能调整] 到底怎么优化这个 晕了 给点建议

[复制链接]
论坛徽章:
0
发表于 2011-6-27 23:08 | 显示全部楼层 |阅读模式
sql优化:不理解的问题,这是正常吗。高手帮我看下


我今天处理数据,发现一个问题让我非常不理解
-------> vd_date 意思是当前数据。可以理解为任意一天 ,如 2011-06-23 <-------
insert into  table_temp1
select
        distinct
        url_id,
        org_url
from  tw_wap_wg_list (这个清单表大概有4亿条数据)
where  statis_date=vd_date;
commit;
我是把一个清单表的数据进行滤重,滤重后数据大概为 1亿条数据(未处理前是4亿条),这段花费我大概1小时10分的时间。
注意,奇怪的问题出现了。

insert into  table_result
      (
         statis_date,
         url_id,
         org_url,
         part
       )
select
      vd_date,
      url_id,
      org_url,
      mod(rownum,10)        <--------------------(这个处理时因为table_result这个表有个分区字段part,是0~9.因为以后会用到这个字段 所以我用这个平均分数据放到不同的分区里)
from  table_temp1
----------- 就这个普通的插入 竟然花费了我6个多小时的时间(才1亿数据,而且就是插入,上面的对4亿数据进行滤重在插入才花费了1个多小时) 很是不理解。
请大侠们帮我分析下是怎么回事,如果是因为我用到的 mod(rownum,10) 的原因 请帮分析下怎么优化。谢谢
论坛徽章:
311
行业板块每日发贴之星
日期:2012-07-12 18:47:29双黄蛋
日期:2011-08-12 17:31:04咸鸭蛋
日期:2011-08-18 15:13:51迷宫蛋
日期:2011-08-18 16:58:25紫蛋头
日期:2011-08-31 10:57:28ITPUB十周年纪念徽章
日期:2011-09-27 16:30:47蜘蛛蛋
日期:2011-10-20 15:51:25迷宫蛋
日期:2011-10-29 11:12:59ITPUB十周年纪念徽章
日期:2011-11-01 16:19:41鲜花蛋
日期:2011-11-09 20:33:30
发表于 2011-6-27 23:25 | 显示全部楼层
1  应该不是mod(rownum,10)的原因,这个函数很简单,不会很耗时.若不放心,可以考虑测试去掉此函数后的效率.

2  检查一下table_result表的索引,触发器的情况,或者做个10046,然后测试插入小量的数据,看看时间耗在哪?

使用道具 举报

回复
论坛徽章:
17
2008新春纪念徽章
日期:2008-02-13 12:43:032014年新春福章
日期:2014-02-18 16:42:02优秀写手
日期:2013-12-18 09:29:13奥迪
日期:2013-09-12 15:57:04凯迪拉克
日期:2013-08-26 22:55:57红旗
日期:2013-08-15 13:57:06茶鸡蛋
日期:2013-05-29 11:38:412013年新春福章
日期:2013-02-25 14:51:24ITPUB季度 技术新星
日期:2012-02-16 14:53:162012新春纪念徽章
日期:2012-01-04 11:51:22
发表于 2011-6-28 03:12 | 显示全部楼层
SORT

使用道具 举报

回复
论坛徽章:
1
ITPUB 11周年纪念徽章
日期:2012-10-09 18:08:15
发表于 2012-12-12 16:14 | 显示全部楼层
SORT?can you explan?

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

SACC2019中国系统架构师大会

【数字转型 架构演进】SACC2019中国系统架构师大会,7折限时优惠重磅来袭!
2019年10月31日~11月2日第11届中国系统架构师大会(SACC2019)将在北京隆重召开。四大主线并行的演讲模式,1个主会场、20个技术专场、超千人参与的会议规模,100+来自互联网、金融、制造业、电商等领域的嘉宾阵容,将为广大参会者提供一场最具价值的技术交流盛会。

限时七折期:2019年8月31日前


----------------------------------------

大会官网>>
TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 
京ICP备09055130号-4  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表