楼主: earth2mars

有没比SQL*LOADER更快的文本数据导入方法?

[复制链接]
论坛徽章:
407
紫蛋头
日期:2012-05-21 10:19:41迷宫蛋
日期:2012-06-06 16:02:49奥运会纪念徽章:足球
日期:2012-06-29 15:30:06奥运会纪念徽章:排球
日期:2012-07-10 21:24:24鲜花蛋
日期:2012-07-16 15:24:59奥运会纪念徽章:拳击
日期:2012-08-07 10:54:50奥运会纪念徽章:羽毛球
日期:2012-08-21 15:55:33奥运会纪念徽章:蹦床
日期:2012-08-21 21:09:51奥运会纪念徽章:篮球
日期:2012-08-24 10:29:11奥运会纪念徽章:体操
日期:2012-09-07 16:40:00
41#
发表于 2012-12-15 16:58 | 只看该作者
yulihua49 发表于 2012-12-15 13:36
这两天抽空试了试。新的RAC系统老是在调试,状态比较乱,数据没有典型性,下周还要继续试。
dqlldr,加 ...

sqlldr parallel试了?

使用道具 举报

回复
论坛徽章:
14
2009新春纪念徽章
日期:2009-01-04 14:52:28沸羊羊
日期:2015-03-04 14:51:52优秀写手
日期:2014-03-14 06:00:13马上有房
日期:2014-02-18 16:42:022014年新春福章
日期:2014-02-18 16:42:022013年新春福章
日期:2013-02-25 14:51:24ITPUB 11周年纪念徽章
日期:2012-10-09 18:08:15蜘蛛蛋
日期:2012-06-27 21:08:142012新春纪念徽章
日期:2012-01-04 11:53:29ITPUB十周年纪念徽章
日期:2011-11-01 16:23:26
42#
发表于 2013-1-17 12:25 | 只看该作者
本帖最后由 yulihua49 于 2013-1-17 12:45 编辑
〇〇 发表于 2012-12-15 16:58
sqlldr parallel试了?


parpllel要求多文件或多表并行吗?

测试环境终于修好了。ORACLE11.2.3,单机X86-64台式机,2核。
异地加载,客户机4核,100MLAN。
还是那个数据,3992639rows,5.8G
OCI双线程加载,12‘41秒,平均5246/秒
sqlldr 直接路径加载,12‘47.5秒,平均5202/秒(网速不高,限制了它的性能)
sqlldr 非直接路径加载,19’11,平均3468.8/秒
这次的结果可重复,所以结论比较肯定。
在RAC环境下多线程肯定有优势(生产环境是RAC,但是太繁忙测不出结果)。
所以楼主的问题有肯定的答复,有比sqlldr更快的加载方法。


使用道具 举报

回复
论坛徽章:
407
紫蛋头
日期:2012-05-21 10:19:41迷宫蛋
日期:2012-06-06 16:02:49奥运会纪念徽章:足球
日期:2012-06-29 15:30:06奥运会纪念徽章:排球
日期:2012-07-10 21:24:24鲜花蛋
日期:2012-07-16 15:24:59奥运会纪念徽章:拳击
日期:2012-08-07 10:54:50奥运会纪念徽章:羽毛球
日期:2012-08-21 15:55:33奥运会纪念徽章:蹦床
日期:2012-08-21 21:09:51奥运会纪念徽章:篮球
日期:2012-08-24 10:29:11奥运会纪念徽章:体操
日期:2012-09-07 16:40:00
43#
发表于 2013-1-17 14:34 | 只看该作者
yulihua49 发表于 2013-1-17 12:25
parpllel要求多文件或多表并行吗?

测试环境终于修好了。ORACLE11.2.3,单机X86-64台式机,2核。

nice job,但是测试服务器端?

使用道具 举报

回复
论坛徽章:
14
2009新春纪念徽章
日期:2009-01-04 14:52:28沸羊羊
日期:2015-03-04 14:51:52优秀写手
日期:2014-03-14 06:00:13马上有房
日期:2014-02-18 16:42:022014年新春福章
日期:2014-02-18 16:42:022013年新春福章
日期:2013-02-25 14:51:24ITPUB 11周年纪念徽章
日期:2012-10-09 18:08:15蜘蛛蛋
日期:2012-06-27 21:08:142012新春纪念徽章
日期:2012-01-04 11:53:29ITPUB十周年纪念徽章
日期:2011-11-01 16:23:26
44#
发表于 2013-1-17 14:51 | 只看该作者
本帖最后由 yulihua49 于 2013-1-17 14:53 编辑
〇〇 发表于 2013-1-17 14:34
nice job,但是测试服务器端?


是个很破的小机器。2.9G主频,双核,2G内存。buf851M。
两个磁盘,各300G
solaris系统,X86-64

使用道具 举报

回复
论坛徽章:
520
奥运会纪念徽章:垒球
日期:2008-09-15 01:28:12生肖徽章2007版:鸡
日期:2008-11-17 23:40:58生肖徽章2007版:马
日期:2008-11-18 05:09:48数据库板块每日发贴之星
日期:2008-11-29 01:01:02数据库板块每日发贴之星
日期:2008-12-05 01:01:03生肖徽章2007版:虎
日期:2008-12-10 07:47:462009新春纪念徽章
日期:2009-01-04 14:52:28数据库板块每日发贴之星
日期:2009-02-08 01:01:03生肖徽章2007版:蛇
日期:2009-03-09 22:18:532009日食纪念
日期:2009-07-22 09:30:00
45#
发表于 2013-1-18 00:53 | 只看该作者
yulihua49 发表于 2013-1-17 12:25
parpllel要求多文件或多表并行吗?

测试环境终于修好了。ORACLE11.2.3,单机X86-64台式机,2核。

sqlldr的并行必须把数据拆成多个文件。

使用道具 举报

回复
论坛徽章:
520
奥运会纪念徽章:垒球
日期:2008-09-15 01:28:12生肖徽章2007版:鸡
日期:2008-11-17 23:40:58生肖徽章2007版:马
日期:2008-11-18 05:09:48数据库板块每日发贴之星
日期:2008-11-29 01:01:02数据库板块每日发贴之星
日期:2008-12-05 01:01:03生肖徽章2007版:虎
日期:2008-12-10 07:47:462009新春纪念徽章
日期:2009-01-04 14:52:28数据库板块每日发贴之星
日期:2009-02-08 01:01:03生肖徽章2007版:蛇
日期:2009-03-09 22:18:532009日食纪念
日期:2009-07-22 09:30:00
46#
发表于 2013-1-18 05:47 | 只看该作者
yulihua49 发表于 2013-1-17 14:51
是个很破的小机器。2.9G主频,双核,2G内存。buf851M。
两个磁盘,各300G
solaris系统,X86-64

每到春运就有人把12306的话题拿出来,你要不再来爆点料?
http://www.itpub.net/thread-1757795-1-1.html

使用道具 举报

回复
论坛徽章:
14
2009新春纪念徽章
日期:2009-01-04 14:52:28沸羊羊
日期:2015-03-04 14:51:52优秀写手
日期:2014-03-14 06:00:13马上有房
日期:2014-02-18 16:42:022014年新春福章
日期:2014-02-18 16:42:022013年新春福章
日期:2013-02-25 14:51:24ITPUB 11周年纪念徽章
日期:2012-10-09 18:08:15蜘蛛蛋
日期:2012-06-27 21:08:142012新春纪念徽章
日期:2012-01-04 11:53:29ITPUB十周年纪念徽章
日期:2011-11-01 16:23:26
47#
发表于 2013-1-18 16:43 | 只看该作者
newkid 发表于 2013-1-18 05:47
每到春运就有人把12306的话题拿出来,你要不再来爆点料?
http://www.itpub.net/thread-1757795-1-1.htm ...

没料可爆。
那帮人,懒得理他们。

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 未成年人举报专区 
京ICP备16024965号-8  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表