楼主: secooler

[精华] exp/imp迁移大表(大小11个G)的疑惑?请指教(已解决)

[复制链接]
论坛徽章:
41
马上加薪
日期:2014-02-19 11:55:14铁扇公主
日期:2012-02-21 15:02:402012新春纪念徽章
日期:2012-02-13 15:12:092012新春纪念徽章
日期:2012-02-13 15:12:092012新春纪念徽章
日期:2012-02-13 15:12:092012新春纪念徽章
日期:2012-02-13 15:12:092012新春纪念徽章
日期:2012-02-13 15:12:092012新春纪念徽章
日期:2012-01-04 11:50:44ITPUB十周年纪念徽章
日期:2011-11-01 16:21:15ITPUB年度最佳BLOG写作奖
日期:2012-03-13 17:09:53
11#
 楼主| 发表于 2007-12-2 21:31 | 只看该作者

回复 #10 blue_prince 的帖子

请问,您是用dblink的迁移方法,是简单的使用insert么?
还是使用的存储过程分段导入的?,可以考虑您的方法,不过我感觉现在数据库中一定有什么在影响我的导入。
正常不应该有这样的速度的

使用道具 举报

回复
论坛徽章:
151
2014年新春福章
日期:2014-04-17 11:38:13奥运会纪念徽章:皮划艇静水
日期:2012-07-31 15:42:58奥运会纪念徽章:田径
日期:2012-07-10 16:21:10奥运会纪念徽章:跆拳道
日期:2012-06-20 22:07:29奥运会纪念徽章:皮划艇静水
日期:2012-06-16 02:55:21奥运会纪念徽章:曲棍球
日期:2012-06-13 10:09:19蛋疼蛋
日期:2012-05-19 23:20:41迷宫蛋
日期:2012-05-16 17:35:25版主2段
日期:2012-05-15 15:24:11双黄蛋
日期:2012-03-19 19:34:04
12#
发表于 2007-12-2 22:32 | 只看该作者
基本上是简单的INSERT,其实只要网络环境和机器配置好的话,这个不成问题
insert /*+ append*/ into select /*+ parallel(t,4)*/ * from t@dblink;

使用道具 举报

回复
论坛徽章:
68
2015年新春福章
日期:2015-03-06 11:57:31奥运会纪念徽章:手球
日期:2012-09-13 15:50:49奥运会纪念徽章:水球
日期:2012-08-26 20:46:49版主1段
日期:2012-05-15 15:24:112012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-01-04 11:49:54
13#
发表于 2007-12-3 05:44 | 只看该作者
有的job 指定就得imp/exp(我经常遇到这种要求:-) ) 你试试nologging option for you table/index. 这个速度肯定不对的。

使用道具 举报

回复
论坛徽章:
15
ITPUB新首页上线纪念徽章
日期:2007-10-20 08:38:442014年新春福章
日期:2014-02-18 16:41:11ITPUB十周年纪念徽章
日期:2011-11-01 16:20:28ITPUB元老
日期:2011-05-06 08:54:442011新春纪念徽章
日期:2011-02-18 11:43:32ITPUB9周年纪念徽章
日期:2010-10-08 09:28:512010新春纪念徽章
日期:2010-03-01 11:04:59生肖徽章2007版:鼠
日期:2009-03-10 21:32:40生肖徽章2007版:猪
日期:2009-03-10 21:17:25CTO参与奖
日期:2009-01-15 11:42:46
14#
发表于 2007-12-3 08:38 | 只看该作者
同平台的话,按表空间传输,更快

使用道具 举报

回复
论坛徽章:
17
ITPUB元老
日期:2005-02-28 12:57:00ITPUB9周年纪念徽章
日期:2010-10-08 09:28:51
15#
发表于 2007-12-3 09:19 | 只看该作者
4天?估计普通PC机都导完了吧,呵呵
把约束、索引禁掉、把commit=y参数去掉再导,应该快很多的。

使用道具 举报

回复
论坛徽章:
55
体育版块博采纪念徽章
日期:2008-10-06 11:55:58双黄蛋
日期:2011-06-08 14:43:03茶鸡蛋
日期:2011-06-08 14:50:52迷宫蛋
日期:2013-07-03 14:58:31
16#
发表于 2007-12-3 09:38 | 只看该作者
把index去掉,加大buffer,应该会快一些吧
其实可以考虑下用dblink应该会更有效率

使用道具 举报

回复
论坛徽章:
9
奥运会纪念徽章:水球
日期:2008-10-24 13:17:39生肖徽章2007版:猪
日期:2009-11-17 16:40:482010新春纪念徽章
日期:2010-01-04 08:33:082010新春纪念徽章
日期:2010-03-01 11:19:50ITPUB9周年纪念徽章
日期:2010-10-08 09:28:522010广州亚运会纪念徽章:卡巴迪
日期:2010-12-06 11:00:042011新春纪念徽章
日期:2011-02-18 11:43:32ITPUB十周年纪念徽章
日期:2011-11-01 16:19:41
17#
发表于 2007-12-3 12:35 | 只看该作者
ignore=y buffer=40960000
一秒至少应该是10w记录。

使用道具 举报

回复
招聘 : 运维开发工程师
论坛徽章:
1
会员2006贡献徽章
日期:2006-04-17 13:46:34
18#
发表于 2007-12-3 12:43 | 只看该作者
先创建表,删除索引信息。表设置并行度。
如果可以分区的话。建议并行导入。即写多个脚本。每个脚本导入不同的分区内容。
+commit=y
导入完毕后并行创建索引,创建完毕后取消并行度。
使用看看imp的帮助即可


11G
数据量很小拉。而且你的机器性能那么好!!!呜呼哀哉!!

使用道具 举报

回复
论坛徽章:
190
生肖徽章:狗
日期:2006-11-23 04:26:03生肖徽章:羊
日期:2007-09-26 17:08:21生肖徽章:马
日期:2007-09-26 17:08:49授权会员
日期:2007-12-31 19:14:41生肖徽章2007版:牛
日期:2008-03-28 10:02:30奥运会纪念徽章:柔道
日期:2008-04-30 16:28:44奥运会纪念徽章:垒球
日期:2008-05-12 21:28:28奥运会纪念徽章:体操
日期:2008-06-26 10:00:41奥运会纪念徽章:沙滩排球
日期:2008-07-27 12:41:59奥运会纪念徽章:艺术体操
日期:2008-07-30 11:09:47
19#
发表于 2007-12-3 13:03 | 只看该作者
这么好机器怎么可能这么差的导入速度,
去掉 full=y,buffer加大到100M也没问题。

使用道具 举报

回复
论坛徽章:
41
马上加薪
日期:2014-02-19 11:55:14铁扇公主
日期:2012-02-21 15:02:402012新春纪念徽章
日期:2012-02-13 15:12:092012新春纪念徽章
日期:2012-02-13 15:12:092012新春纪念徽章
日期:2012-02-13 15:12:092012新春纪念徽章
日期:2012-02-13 15:12:092012新春纪念徽章
日期:2012-02-13 15:12:092012新春纪念徽章
日期:2012-01-04 11:50:44ITPUB十周年纪念徽章
日期:2011-11-01 16:21:15ITPUB年度最佳BLOG写作奖
日期:2012-03-13 17:09:53
20#
 楼主| 发表于 2007-12-3 21:31 | 只看该作者
问题已经解决,感谢大家的帮助。在去掉索引和约束后,速度惊人!超快的完成了任务,不过在重新创建索引和加约束时很是用时。
结果证明:经验很重要!

经验总结

技术经验总结:
1.根本问题是:没有将目标端的索引和约束全部去掉,估计是在不停的插入过程中一直在扫描索引,具体的原理还得深入研究;
2.在回滚段够大的情况下,可以不用加commit=y参数,频繁的提交会影响效率;
3.在表比较小的情况下可以考虑使用DBLINK迁移;
4.在迁移的过程中时刻注意各种空间是否够用(包括redolog,archivelog,undo segment,temp tablespace);
5.查找是否有其他的因素干扰任务的进展,我的任务中就是因为after类的trigger给我添乱不少;
6.多google,多查询,只有遇到问题,思考问题,解决问题才能迅速的提高。

工作经验总结:
2.还是应该对手中的任务好好研究一下,定一个,考虑周全后在定使用什么方式;
3.多向老DBA取经,不管问题多么简单,大家都有这么一个过程;
4.遇到问题不可盲目的慌张,慢启动才能快完成!
5.认真做好工作完成后的总结工作。

最后,感谢各位同行、各位朋友的帮助。

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 未成年人举报专区 
京ICP备16024965号-8  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表