楼主: fromeast

利用rowid快速在线更新海量数据

[复制链接]
论坛徽章:
0
121#
发表于 2008-9-28 00:11 | 只看该作者
跟踪学习一下

使用道具 举报

回复
论坛徽章:
10
ITPUB元老
日期:2005-02-28 12:57:002010广州亚运会纪念徽章:保龄球
日期:2011-01-30 11:57:03祖国60周年纪念徽章
日期:2009-10-09 08:28:00参与2009年中国云计算大会纪念
日期:2009-06-05 10:02:28ITPUB北京2009年会纪念徽章
日期:2009-02-09 11:42:452009新春纪念徽章
日期:2009-01-04 14:52:28生肖徽章2007版:鼠
日期:2008-01-02 17:35:53会员2006贡献徽章
日期:2006-04-17 13:46:34授权会员
日期:2005-10-30 17:05:33ITPUB十周年纪念徽章
日期:2011-11-01 16:19:41
122#
 楼主| 发表于 2008-9-29 02:39 | 只看该作者

后记3:试验了KEEP的影响

(1)重新运行试验1(不order by rowid)
     开始的语句改成:alter table T1 storage(buffer_pool keep);
     处理速度:73~74行/秒
(2)重新运行试验2(order by rowid):
     开始的语句改成:alter table T1 storage(buffer_pool default);
     处理速度:1万条/秒
结论:从本次测试可以印证先前的推断——把表的buffer_pool属性设为keep与否,对处理速度的影响很小,以至于可以忽略。处理速度加快的原因,是因为order by rowid,按块顺序处理数据,很大程度上减少了物理读。

[ 本帖最后由 fromeast 于 2008-9-29 02:59 编辑 ]

使用道具 举报

回复
论坛徽章:
168
马上加薪
日期:2014-02-19 11:55:142012新春纪念徽章
日期:2012-02-13 15:10:582012新春纪念徽章
日期:2012-01-04 11:49:54蜘蛛蛋
日期:2011-12-05 16:08:56ITPUB十周年纪念徽章
日期:2011-11-01 16:19:41设计板块每日发贴之星
日期:2011-07-22 01:01:02ITPUB官方微博粉丝徽章
日期:2011-06-30 12:30:16管理团队成员
日期:2011-05-07 01:45:082011新春纪念徽章
日期:2011-01-25 15:42:562011新春纪念徽章
日期:2011-01-25 15:42:33
123#
发表于 2008-10-13 14:18 | 只看该作者
原帖由 xzh2000 于 2008-9-11 10:48 发表
还有n多种办法提高批量数据处理的速度...
假如需要在2个小时内处理完毕呢?楼主该如何处理?其实用不用rowid,都可以很快地处理完...


老和尚这个关子卖得太久了一点

使用道具 举报

回复
论坛徽章:
0
124#
发表于 2008-10-13 15:43 | 只看该作者
SQL不加order by rowid,访问的数据快的数量会巨大,因为其中很多块要重复访问的,
这个原因导致效率的差别;

使用道具 举报

回复
论坛徽章:
12
生肖徽章2007版:鸡
日期:2008-01-02 17:35:53奥运会纪念徽章:篮球
日期:2008-04-23 12:45:09生肖徽章2007版:兔
日期:2008-10-13 10:06:35ITPUB8周年纪念徽章
日期:2009-09-27 10:21:21祖国60周年纪念徽章
日期:2009-10-09 08:28:002010新春纪念徽章
日期:2010-03-01 11:19:50ITPUB9周年纪念徽章
日期:2010-10-08 09:31:22ITPUB 11周年纪念徽章
日期:2012-10-09 18:08:152013年新春福章
日期:2013-02-25 14:51:24
125#
发表于 2008-10-13 16:20 | 只看该作者
如果直接以t1打开游标,oracle默认按照block(rowid)顺序取数据,然后利用t2的id字段的索引select,然后update

这样会很慢吗?还是会遭遇snapshot too old?

使用道具 举报

回复
论坛徽章:
0
126#
发表于 2008-10-21 14:34 | 只看该作者
支持 支持

使用道具 举报

回复
论坛徽章:
0
127#
发表于 2008-11-3 13:43 | 只看该作者
根据楼主的方法改了下,性能提升明显,谢谢了!

使用道具 举报

回复
论坛徽章:
0
128#
发表于 2008-11-3 15:11 | 只看该作者
牛人哦,顶一下啊,终于看到原版的帖子了,崇拜一下

使用道具 举报

回复
论坛徽章:
24
生肖徽章:狗
日期:2006-09-07 10:14:43数据库板块每日发贴之星
日期:2008-07-26 01:02:20生肖徽章2007版:兔
日期:2008-10-13 11:10:11奥运会纪念徽章:铁人三项
日期:2008-10-24 13:27:21开发板块每日发贴之星
日期:2008-12-27 01:01:09生肖徽章2007版:马
日期:2009-11-18 10:45:032010新春纪念徽章
日期:2010-03-01 11:21:02ITPUB9周年纪念徽章
日期:2010-10-08 09:28:51ERP板块每日发贴之星
日期:2011-05-18 01:01:01ITPUB十周年纪念徽章
日期:2011-11-01 16:21:15
129#
发表于 2008-11-9 15:47 | 只看该作者
学习,思路可以借鉴下

使用道具 举报

回复
论坛徽章:
0
130#
发表于 2008-11-9 23:47 | 只看该作者

回复 #1 fromeast 的帖子

高人

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 未成年人举报专区 
京ICP备16024965号-8  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表