查看: 19942|回复: 33

[PL/SQL] 【讨论】该怎么提高插入数据的速度

[复制链接]
论坛徽章:
4
紫蛋头
日期:2012-12-27 10:03:502013年新春福章
日期:2013-02-25 14:51:24马自达
日期:2013-08-06 16:20:10优秀写手
日期:2014-03-04 06:00:13
发表于 2014-10-16 20:03 | 显示全部楼层 |阅读模式
   各位大神,目前我遇到这样一个问题。
在一个过程中由于业务的原因需要向同一个表中插入不同的业务数据,
每次大概有十几万左右(需要向这个表大概三次的插入动作),并且需要在同一个事物中。
请各位高手支支招。
论坛徽章:
4
紫蛋头
日期:2012-12-27 10:03:502013年新春福章
日期:2013-02-25 14:51:24马自达
日期:2013-08-06 16:20:10优秀写手
日期:2014-03-04 06:00:13
 楼主| 发表于 2014-10-16 20:08 | 显示全部楼层
补充一下:目标表现在数据有8千万左右,且数据必须先插入第一部分,经过处理才能插入第二部分数据,不能将数据一次插入到目标表中。

使用道具 举报

回复
论坛徽章:
1088
金色在线徽章
日期:2007-04-25 04:02:08金色在线徽章
日期:2007-06-29 04:02:43金色在线徽章
日期:2007-03-11 04:02:02在线时间
日期:2007-04-11 04:01:02在线时间
日期:2007-04-12 04:01:02在线时间
日期:2007-03-07 04:01:022008版在线时间
日期:2010-05-01 00:01:152008版在线时间
日期:2011-05-01 00:01:342008版在线时间
日期:2008-06-03 11:59:43ITPUB年度最佳技术原创精华奖
日期:2013-03-22 13:18:30
发表于 2014-10-16 20:14 | 显示全部楼层
批量插入。。。

使用道具 举报

回复
论坛徽章:
115
生肖徽章:狗
日期:2007-01-06 21:14:12马上有车
日期:2014-03-06 16:45:08马上加薪
日期:2014-05-09 12:27:582014年世界杯参赛球队: 英格兰
日期:2014-07-03 13:10:44青年奥林匹克运动会-竞技体操
日期:2014-09-10 15:30:57马上有钱
日期:2014-10-31 13:56:48美羊羊
日期:2015-03-04 14:48:582015年新春福章
日期:2015-03-06 11:57:31懒羊羊
日期:2015-04-23 19:26:10金牛座
日期:2015-09-17 08:21:44
发表于 2014-10-16 20:19 | 显示全部楼层
为什么不能一次插入?而且你的表有8000万行,在有索引的前提下,insert是很慢的

使用道具 举报

回复
论坛徽章:
737
季节之章:春
日期:2015-07-31 17:16:29ITPUB季度 技术新星
日期:2014-07-17 14:37:00季节之章:秋
日期:2015-07-31 17:16:14季节之章:夏
日期:2015-07-31 17:16:29股神
日期:2014-10-15 09:23:31衰神
日期:2014-10-20 22:47:12季节之章:冬
日期:2015-07-31 17:16:14红钻
日期:2014-12-16 17:51:41洛杉矶湖人
日期:2016-09-23 08:18:15布鲁克林篮网
日期:2016-09-23 08:17:18
发表于 2014-10-16 20:22 | 显示全部楼层
有分区的吧,这么大的table

lz的头像太逗了

使用道具 举报

回复
论坛徽章:
4
紫蛋头
日期:2012-12-27 10:03:502013年新春福章
日期:2013-02-25 14:51:24马自达
日期:2013-08-06 16:20:10优秀写手
日期:2014-03-04 06:00:13
 楼主| 发表于 2014-10-16 20:51 | 显示全部楼层
dingjun123 发表于 2014-10-16 20:14
批量插入。。。

插入方式 insert into .. select

使用道具 举报

回复
论坛徽章:
4
紫蛋头
日期:2012-12-27 10:03:502013年新春福章
日期:2013-02-25 14:51:24马自达
日期:2013-08-06 16:20:10优秀写手
日期:2014-03-04 06:00:13
 楼主| 发表于 2014-10-16 20:52 | 显示全部楼层
atgc 发表于 2014-10-16 20:19
为什么不能一次插入?而且你的表有8000万行,在有索引的前提下,insert是很慢的

因为只能插入第一批 经过一些业务处理 才能初始化第二部分数据

使用道具 举报

回复
论坛徽章:
115
生肖徽章:狗
日期:2007-01-06 21:14:12马上有车
日期:2014-03-06 16:45:08马上加薪
日期:2014-05-09 12:27:582014年世界杯参赛球队: 英格兰
日期:2014-07-03 13:10:44青年奥林匹克运动会-竞技体操
日期:2014-09-10 15:30:57马上有钱
日期:2014-10-31 13:56:48美羊羊
日期:2015-03-04 14:48:582015年新春福章
日期:2015-03-06 11:57:31懒羊羊
日期:2015-04-23 19:26:10金牛座
日期:2015-09-17 08:21:44
发表于 2014-10-16 20:54 | 显示全部楼层
riverliu1005 发表于 2014-10-16 20:52
因为只能插入第一批 经过一些业务处理 才能初始化第二部分数据

错,我自己开发过很多ETL流程,从来都只插一次
只是你自己没想到方法

使用道具 举报

回复
论坛徽章:
4
紫蛋头
日期:2012-12-27 10:03:502013年新春福章
日期:2013-02-25 14:51:24马自达
日期:2013-08-06 16:20:10优秀写手
日期:2014-03-04 06:00:13
 楼主| 发表于 2014-10-16 20:54 | 显示全部楼层
现在整个操作需要两分钟左右,想将速度提升到30秒以内。想了一天也没有好的方案

使用道具 举报

回复
论坛徽章:
4
紫蛋头
日期:2012-12-27 10:03:502013年新春福章
日期:2013-02-25 14:51:24马自达
日期:2013-08-06 16:20:10优秀写手
日期:2014-03-04 06:00:13
 楼主| 发表于 2014-10-16 20:55 | 显示全部楼层
atgc 发表于 2014-10-16 20:54
错,我自己开发过很多ETL流程,从来都只插一次
只是你自己没想到方法

求思路,求指教

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

DTCC2020中国数据库技术大会 限时8.5折

【架构革新 高效可控】2020年6月4日~6日第十一届中国数据库技术大会将在北京隆重召开。

大会设置2大主会场,20+技术专场,将邀请超百位行业专家,重点围绕数据架构、AI与大数据、传统企业数据库实践和国产开源数据库等内容展开分享和探讨,为广大数据领域从业人士提供一场年度盛会和交流平台。

http://dtcc.it168.com


大会官网>>
TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 
京ICP备09055130号-4  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表