楼主: casper0511

更新大表的统计信息

[复制链接]
论坛徽章:
29
2010广州亚运会纪念徽章:藤球
日期:2010-11-22 15:43:49宝马
日期:2013-12-23 16:57:41马上加薪
日期:2014-03-10 14:33:48优秀写手
日期:2014-06-19 06:00:10itpub13周年纪念徽章
日期:2014-09-30 16:16:02马上有对象
日期:2014-10-13 08:46:52马上有对象
日期:2015-01-04 09:47:18喜羊羊
日期:2015-03-04 14:52:462015年新春福章
日期:2015-03-06 11:58:18沸羊羊
日期:2015-03-24 14:30:07
11#
发表于 2011-4-28 10:28 | 只看该作者
既然是采样肯定就有偏差,estimate_percent为 0.0833也太小了,比例调大些吧?
要不,也可以用SYS.DBMS_STATS.AUTO_SAMPLE_SIZE

使用道具 举报

回复
论坛徽章:
28
授权会员
日期:2009-01-04 22:12:21世界杯纪念徽章
日期:2014-07-14 11:31:462014年世界杯参赛球队: 澳大利亚
日期:2014-06-25 11:06:552014年新春福章
日期:2014-02-18 16:42:02ITPUB社区12周年站庆徽章
日期:2013-10-08 14:55:07NBA季后赛纪念徽章
日期:2013-06-21 14:52:05NBA常规赛纪念章
日期:2013-04-22 11:49:35季节之章:冬
日期:2012-11-15 16:55:18ITPUB元老
日期:2011-03-17 09:38:472014年世界杯参赛球队: 俄罗斯
日期:2014-07-17 17:21:42
12#
 楼主| 发表于 2011-4-28 11:04 | 只看该作者
还向请教下 统计更新的速度是否可以控制

这里有个表 统计一个区要5分多 degree参数给了4

partition_name                      NUM_ROWS    BLOCKS     SAMPLE_SIZE     LAST_ANALYZED
ZX_372778969_2011042401     78190       14177       78190          2011-04-26 16:54:00
ZX_372778969_2011042402     61546       10097       61546          2011-04-26 16:59:57
ZX_372778969_2011042403     56416       9077        56416          2011-04-26 17:04:45
ZX_372778969_2011042404     47128       7552        47128          2011-04-26 17:09:16
ZX_372778969_2011042405     43965       7048        43965          2011-04-26 17:13:55
ZX_372778969_2011042406     62776       11117       62776          2011-04-26 17:18:53
ZX_372778969_2011042407     119103      23357       119103         2011-04-26 17:23:21
ZX_372778969_2011042408     174607      35469       174607         2011-04-26 17:27:47
ZX_372778969_2011042409     223132      46434       223132         2011-04-26 17:32:20
ZX_372778969_2011042410     239226      50131       239226         2011-04-26 17:37:22
ZX_372778969_2011042411     235296      49112       235296         2011-04-26 17:41:41
ZX_372778969_2011042412     246683      51534       246683         2011-04-26 17:46:56
ZX_372778969_2011042413     240468      49239       240468         2011-04-26 17:53:03
ZX_372778969_2011042414     216796      43884       216796         2011-04-26 17:58:10
ZX_372778969_2011042415     203366      41334       203366         2011-04-26 18:02:59
ZX_372778969_2011042416     219376      43246       219376         2011-04-26 18:08:05
ZX_372778969_2011042417     223348      44267       223348         2011-04-26 18:13:12
ZX_372778969_2011042418     236345      48473       236345         2011-04-26 18:18:09
ZX_372778969_2011042419     231550      47197       231550         2011-04-26 18:23:12
ZX_372778969_2011042420     221440      45158       221440         2011-04-26 18:28:12
ZX_372778969_2011042421     233966      47072       233966         2011-04-26 18:33:12
ZX_372778969_2011042422     191079      37509       191079         2011-04-26 18:38:17
ZX_372778969_2011042423     147378      27437       147378         2011-04-26 18:44:30
ZX_372778969_2011042424     110812      20297       110812         2011-04-26 18:50:53

使用道具 举报

回复
论坛徽章:
47
蒙奇·D·路飞
日期:2017-03-27 08:04:23马上有车
日期:2014-02-18 16:41:112014年新春福章
日期:2014-02-18 16:41:11一汽
日期:2013-09-01 20:46:27复活蛋
日期:2013-03-13 07:55:232013年新春福章
日期:2013-02-25 14:51:24ITPUB 11周年纪念徽章
日期:2012-10-09 18:03:322012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:20
13#
发表于 2011-4-28 23:45 | 只看该作者
> 还向请教下 统计更新的速度是否可以控制

Dbms_stats is said to be faster than the old analyze. But I don't recall seeing Oracle say how to further speed up gather_xxx_stats. Maybe you can search on MOS (MyOracleSupport).

If you can't tolerate the 5 minute per partition, lower sample_size till num_rows is about to be significantly different from the actual row count. Also, tell us the major wait events during the stats collection.

Yong Huang

使用道具 举报

回复
论坛徽章:
58
生肖徽章2007版:马
日期:2009-11-06 23:12:33授权会员
日期:2013-01-10 14:38:592013年新春福章
日期:2013-02-25 14:51:24马自达
日期:2013-08-07 10:54:45红旗
日期:2013-08-09 13:48:48劳斯莱斯
日期:2013-09-12 15:56:37萤石
日期:2013-10-31 08:44:19优秀写手
日期:2013-12-18 09:29:13Jeep
日期:2014-01-14 10:53:432014年新春福章
日期:2014-02-18 16:43:09
14#
发表于 2011-4-30 22:21 | 只看该作者
哈哈

使用道具 举报

回复
论坛徽章:
28
授权会员
日期:2009-01-04 22:12:21世界杯纪念徽章
日期:2014-07-14 11:31:462014年世界杯参赛球队: 澳大利亚
日期:2014-06-25 11:06:552014年新春福章
日期:2014-02-18 16:42:02ITPUB社区12周年站庆徽章
日期:2013-10-08 14:55:07NBA季后赛纪念徽章
日期:2013-06-21 14:52:05NBA常规赛纪念章
日期:2013-04-22 11:49:35季节之章:冬
日期:2012-11-15 16:55:18ITPUB元老
日期:2011-03-17 09:38:472014年世界杯参赛球队: 俄罗斯
日期:2014-07-17 17:21:42
15#
 楼主| 发表于 2011-5-3 18:07 | 只看该作者
原帖由 Kamus 于 2011-4-29 00:52 发表


每个分区最大数据量不过20多万,收集统计信息要5min?这非常不正常,即使是100% compute也不应该这么慢。20万记录的统计信息收集应该在秒级完成。


表很宽 有900+个字段...

使用道具 举报

回复
论坛徽章:
47
蒙奇·D·路飞
日期:2017-03-27 08:04:23马上有车
日期:2014-02-18 16:41:112014年新春福章
日期:2014-02-18 16:41:11一汽
日期:2013-09-01 20:46:27复活蛋
日期:2013-03-13 07:55:232013年新春福章
日期:2013-02-25 14:51:24ITPUB 11周年纪念徽章
日期:2012-10-09 18:03:322012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:20
16#
发表于 2011-5-3 23:19 | 只看该作者
> 表很宽 有900+个字段...

The widest table I've ever worked on has 600 columns. You got a bad data modeler here!

Anyway, the statement "1300万的数据少了100万" is still true, even if you have a wide table.

Yong Huang

使用道具 举报

回复
论坛徽章:
28
授权会员
日期:2009-01-04 22:12:21世界杯纪念徽章
日期:2014-07-14 11:31:462014年世界杯参赛球队: 澳大利亚
日期:2014-06-25 11:06:552014年新春福章
日期:2014-02-18 16:42:02ITPUB社区12周年站庆徽章
日期:2013-10-08 14:55:07NBA季后赛纪念徽章
日期:2013-06-21 14:52:05NBA常规赛纪念章
日期:2013-04-22 11:49:35季节之章:冬
日期:2012-11-15 16:55:18ITPUB元老
日期:2011-03-17 09:38:472014年世界杯参赛球队: 俄罗斯
日期:2014-07-17 17:21:42
17#
 楼主| 发表于 2011-5-4 09:05 | 只看该作者
原帖由 Yong Huang 于 2011-5-3 23:19 发表
> 表很宽 有900+个字段...

The widest table I've ever worked on has 600 columns. You got a bad data modeler here!

Anyway, the statement "1300万的数据少了100万" is still true, even if you have a wide table.

Yong Huang



谢谢各位的关注~

"lower sample_size till num_rows is about to be significantly different from the actual row count" 我去测一下这个~

"a bad data modeler" 也许在modeler的眼中我是个bad developer~

使用道具 举报

回复
论坛徽章:
28
授权会员
日期:2009-01-04 22:12:21世界杯纪念徽章
日期:2014-07-14 11:31:462014年世界杯参赛球队: 澳大利亚
日期:2014-06-25 11:06:552014年新春福章
日期:2014-02-18 16:42:02ITPUB社区12周年站庆徽章
日期:2013-10-08 14:55:07NBA季后赛纪念徽章
日期:2013-06-21 14:52:05NBA常规赛纪念章
日期:2013-04-22 11:49:35季节之章:冬
日期:2012-11-15 16:55:18ITPUB元老
日期:2011-03-17 09:38:472014年世界杯参赛球队: 俄罗斯
日期:2014-07-17 17:21:42
18#
 楼主| 发表于 2011-5-15 14:40 | 只看该作者


estimate_percent取了1-15

y轴 蓝色表示各个estimate_percent取值统计信息计算出的表数据量和正确数据量之差

绿色表示执行时间

这么看起来没有明显的规律

[ 本帖最后由 casper0511 于 2011-5-15 14:43 编辑 ]

使用道具 举报

回复
论坛徽章:
47
蒙奇·D·路飞
日期:2017-03-27 08:04:23马上有车
日期:2014-02-18 16:41:112014年新春福章
日期:2014-02-18 16:41:11一汽
日期:2013-09-01 20:46:27复活蛋
日期:2013-03-13 07:55:232013年新春福章
日期:2013-02-25 14:51:24ITPUB 11周年纪念徽章
日期:2012-10-09 18:03:322012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:20
19#
发表于 2011-5-17 03:21 | 只看该作者
> y轴 蓝色表示各个estimate_percent取值统计信息计算出的表数据量和正确数据量之差

Can you try one more time to see if the line is reproducible?

> 绿色表示执行时间

Why not plot buffer gets? If you really want execution time, make absolutely sure there's no caching effect, not just DB buffer cache, but OS file system cache as well.

Yong Huang

使用道具 举报

回复
论坛徽章:
28
授权会员
日期:2009-01-04 22:12:21世界杯纪念徽章
日期:2014-07-14 11:31:462014年世界杯参赛球队: 澳大利亚
日期:2014-06-25 11:06:552014年新春福章
日期:2014-02-18 16:42:02ITPUB社区12周年站庆徽章
日期:2013-10-08 14:55:07NBA季后赛纪念徽章
日期:2013-06-21 14:52:05NBA常规赛纪念章
日期:2013-04-22 11:49:35季节之章:冬
日期:2012-11-15 16:55:18ITPUB元老
日期:2011-03-17 09:38:472014年世界杯参赛球队: 俄罗斯
日期:2014-07-17 17:21:42
20#
 楼主| 发表于 2011-5-25 17:22 | 只看该作者
原帖由 Yong Huang 于 2011-5-17 03:21 发表
> y轴 蓝色表示各个estimate_percent取值统计信息计算出的表数据量和正确数据量之差

Can you try one more time to see if the line is reproducible?

> 绿色表示执行时间

Why not plot buffer gets? If you really want execution time, make absolutely sure there's no caching effect, not just DB buffer cache, but OS file system cache as well.

Yong Huang


请问buffer gets的值是否可以参考v$sqlarea.buffer_gets?

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 未成年人举报专区 
京ICP备16024965号-8  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表