楼主: lastwinner

[笔记] 一次IMP大表的加速导入过程

[复制链接]
论坛徽章:
0
发表于 2009-3-26 16:04 | 显示全部楼层
确实。1.5T整库导入确实很麻烦!咱也等着学习!导入一个200,300G的都花了一天!

使用道具 举报

回复
招聘 : 系统分析师
论坛徽章:
483
马上有钱
日期:2014-02-19 11:55:14itpub13周年纪念徽章
日期:2014-09-29 01:14:14itpub13周年纪念徽章
日期:2014-10-08 15:15:25itpub13周年纪念徽章
日期:2014-10-08 15:15:25马上有对象
日期:2014-10-12 11:58:40马上有车
日期:2014-11-16 17:11:29慢羊羊
日期:2015-02-09 17:04:38沸羊羊
日期:2015-03-04 14:43:432015年新春福章
日期:2015-03-06 11:57:31ITPUB年度最佳版主
日期:2015-03-18 15:48:48
 楼主| 发表于 2009-3-26 20:43 | 显示全部楼层
原帖由 听海★蓝心梦 于 09-3-26 12:00 发表


谢谢lastwinner指教,我还有个问题想问下:
如果我是整个库导出多个文件,那么这些数据文件可以同时开多个窗口导入么?

1、比如:exp user/passwd@service_name tables=(a_m) feedback=100000 query=""" where event_time>='2009-02-23 00:00:00' and event_time<='2009-03-05 23:59:59' """ filesize=10G file=d:\exp_db\db090223030501.dmp,d:\exp_db\db090223030502.dmp log=d:\exp_db\db0902230305.log
这样导出的两个文件,可以同时开两个窗口导入,是这样么?

2、比如:exp user/passwd@service_name feedback=100000 filesize=10G file=d:\exp_db\db090223030501.dmp,d:\exp_db\db090223030502.dmp log=d:\exp_db\db0902230305.log
这样导出的两个数据文件,是不能同时开两个窗口导入,对么?



整库的,不行

关于1和2,这样导出的两个数据文件,都是不能同时开两个窗口导入的
所谓可以同时导入的dmp文件,必然是由多个exp命令导出的文件
一个exp命令可以导出一个文件也可以导出多个文件,但都是由这一个exp命令导出的,我们可以称之为“一组”文件
一组文件是不能分开导入的,自己找个小表做下试验就知道了

使用道具 举报

回复
招聘 : 系统分析师
论坛徽章:
483
马上有钱
日期:2014-02-19 11:55:14itpub13周年纪念徽章
日期:2014-09-29 01:14:14itpub13周年纪念徽章
日期:2014-10-08 15:15:25itpub13周年纪念徽章
日期:2014-10-08 15:15:25马上有对象
日期:2014-10-12 11:58:40马上有车
日期:2014-11-16 17:11:29慢羊羊
日期:2015-02-09 17:04:38沸羊羊
日期:2015-03-04 14:43:432015年新春福章
日期:2015-03-06 11:57:31ITPUB年度最佳版主
日期:2015-03-18 15:48:48
 楼主| 发表于 2009-3-26 20:54 | 显示全部楼层
原帖由 zuohao_lu 于 09-3-26 15:57 发表



是的。INSERT在UNDO中写的信息是最少的。UPDATE次之。DELETE最多。

导出一张表可行。整个库就没办法这样了吧?托马斯张导的1.5T是整个库吧?那又是怎么做的呢?

有详细的导出导入过程就好了。

学习了!


update的undo信息才是最多的吧?


1.5T就算是整个库的,也不是不可以同时导入
举个简单的例子,假设有如下情况:
一个用户下上百张表,大部分有相互约束关系的表记录数和所占空间都不大
只有两个大表存在主外键约束关系,且与其他表无约束关系
那在导出的时候,就可以先做规划

组1,大部分有相互约束关系的表,单独的一个dmp文件
组2,两个大表中的主表,开若干个exp进程,以不同的query参数导出数据
组3,两个大表中的子表,类似上述方法导出

导入时,组1随时都可以导入,组2和组3要顺序导入
规划再好点,组2和组3导出时,设置CONSTRAINTS=N
这样组2和组3的文件就可以同时导入了
导入结束后,再手工启用约束即可



以上仅仅是一种简单情况的一个简单思路
还等老张指点指点

使用道具 举报

回复
论坛徽章:
1
2009日食纪念
日期:2009-07-22 09:30:00
发表于 2009-8-3 14:02 | 显示全部楼层
谢谢共享。

使用道具 举报

回复
论坛徽章:
17
授权会员
日期:2005-10-30 17:05:332012新春纪念徽章
日期:2012-01-04 11:49:54复活蛋
日期:2011-12-07 13:08:30ITPUB十周年纪念徽章
日期:2011-11-01 16:19:412010广州亚运会纪念徽章:棒球
日期:2011-02-23 09:25:352011新春纪念徽章
日期:2011-02-18 11:43:352010广州亚运会纪念徽章:保龄球
日期:2010-12-24 13:11:522010广州亚运会纪念徽章:体育舞蹈
日期:2010-11-29 11:20:27ITPUB9周年纪念徽章
日期:2010-10-08 09:28:522010广州亚运会纪念徽章:摔跤
日期:2010-09-14 14:57:06
发表于 2009-8-3 14:41 | 显示全部楼层
看来我得好好分类一下我的表,多个EXP导出,我的查询库每天通过EXP /imp导入,不到30G,现在每天需要三个小时,数据量再大的话,难以满足需要了

使用道具 举报

回复
认证徽章
论坛徽章:
0
发表于 2013-3-20 15:30 | 显示全部楼层
怀老师好,想请教您一个问题,我公司的linux系统是RHEL5.8,安装的Oracle11gR2的数据库,都是64位的,如何编写一个shell脚本,实现在每天凌晨1点对数据库实行自动冷备份,谢谢!

使用道具 举报

回复
认证徽章
论坛徽章:
12
ITPUB社区千里马徽章
日期:2013-06-09 10:15:34美羊羊
日期:2015-03-04 14:52:28马上有钱
日期:2014-02-18 16:43:092014年新春福章
日期:2014-02-18 16:43:09红旗
日期:2014-01-23 10:23:35优秀写手
日期:2013-12-18 09:29:13劳斯莱斯
日期:2013-12-04 13:57:24问答徽章
日期:2013-12-04 12:53:43现代
日期:2013-09-30 16:14:36现代
日期:2013-08-02 10:23:47
发表于 2013-8-1 17:16 | 显示全部楼层
imp ijx/ijx file=201307282355.dmp log=imp.log full=y buffer=1024000000 STATISTICS=none DESTROY=y

26G的 一个dmp 文件,用改命令导入花了7个多小时还没完,正在导入中,,,,导出的时候好像是一个多小时就完成了,同事导出的。。
导入库 undo 5G ,redo 8组每组500M。。。如何再加快下速度啊?

使用道具 举报

回复
认证徽章
论坛徽章:
12
ITPUB社区千里马徽章
日期:2013-06-09 10:15:34美羊羊
日期:2015-03-04 14:52:28马上有钱
日期:2014-02-18 16:43:092014年新春福章
日期:2014-02-18 16:43:09红旗
日期:2014-01-23 10:23:35优秀写手
日期:2013-12-18 09:29:13劳斯莱斯
日期:2013-12-04 13:57:24问答徽章
日期:2013-12-04 12:53:43现代
日期:2013-09-30 16:14:36现代
日期:2013-08-02 10:23:47
发表于 2013-8-1 17:16 | 显示全部楼层
可爱灰狼 发表于 2013-8-1 17:16
imp ijx/ijx file=201307282355.dmp log=imp.log full=y buffer=1024000000 STATISTICS=none DESTROY=y

...

机器配置稍差,内存2G

使用道具 举报

回复
论坛徽章:
0
发表于 2014-12-24 09:46 | 显示全部楼层
楼主您好,最近也在做这种大量的大表迁移,但是不知道通过哪种方式才能加快的导入数据呢?

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

PostgreSQL中国大会,参会票抢购!

由 PostgreSQL中文社区与ITPUB联合主办的第九届《PostgreSQL 中国技术大会》将在北京隆重召开。PostgreSQL 作为功能最强的的开源关系型数据库之一,得到了越来越多企业的推广和运用,也越来越受到广大技术爱好者的欢迎和重视。这将是 PostgreSQL 的又一次交流盛会。
----------------------------------------
时间:2019年11月29~11月30日

点击报名>>
TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 
京ICP备09055130号-4  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表