ITPUB论坛-中国最专业的IT技术社区

 找回密码
 注册
查看: 348|回复: 7

[讨论] 100G的数据量,数据泵开并行导了10个小时?why?

[复制链接]
论坛徽章:
0
发表于 2017-12-6 06:07 | 显示全部楼层 |阅读模式
这样的,生产需要导出数据做测试;
全库导出,数据量103G;

https://pan.baidu.com/s/1nvcedK1
这个是导数据期间两个小时的AWR以及相关会话的10046信息


这里贴一部分我好奇的信息:
Estimate in progress using BLOCKS method...
Processing object type DATABASE_EXPORT/SCHEMA/TABLE/TABLE_DATA
Total estimation using BLOCKS method: 102.9 GB
Processing object type DATABASE_EXPORT/TABLESPACE
Processing object type DATABASE_EXPORT/PROFILE
Processing object type DATABASE_EXPORT/SYS_USER/USER
Processing object type DATABASE_EXPORT/SCHEMA/USER
Processing object type DATABASE_EXPORT/ROLE
Processing object type DATABASE_EXPORT/GRANT/SYSTEM_GRANT/PROC_SYSTEM_GRANT
Processing object type DATABASE_EXPORT/SCHEMA/GRANT/SYSTEM_GRANT
Processing object type DATABASE_EXPORT/SCHEMA/ROLE_GRANT
Processing object type DATABASE_EXPORT/SCHEMA/DEFAULT_ROLE
Processing object type DATABASE_EXPORT/SCHEMA/TABLESPACE_QUOTA
Processing object type DATABASE_EXPORT/RESOURCE_COST
Processing object type DATABASE_EXPORT/SCHEMA/DB_LINK
Processing object type DATABASE_EXPORT/TRUSTED_DB_LINK
Processing object type DATABASE_EXPORT/SCHEMA/SEQUENCE/SEQUENCE
Processing object type DATABASE_EXPORT/SCHEMA/SEQUENCE/GRANT/OWNER_GRANT/OBJECT_GRANT
Processing object type DATABASE_EXPORT/DIRECTORY/DIRECTORY
Processing object type DATABASE_EXPORT/DIRECTORY/GRANT/OWNER_GRANT/OBJECT_GRANT
Processing object type DATABASE_EXPORT/CONTEXT
Processing object type DATABASE_EXPORT/SCHEMA/PUBLIC_SYNONYM/SYNONYM
Processing object type DATABASE_EXPORT/SCHEMA/SYNONYM
Processing object type DATABASE_EXPORT/SCHEMA/TYPE/TYPE_SPEC
Processing object type DATABASE_EXPORT/SCHEMA/TYPE/GRANT/OWNER_GRANT/OBJECT_GRANT
Processing object type DATABASE_EXPORT/SYSTEM_PROCOBJACT/PRE_SYSTEM_ACTIONS/PROCACT_SYSTEM
Processing object type DATABASE_EXPORT/SYSTEM_PROCOBJACT/PROCOBJ
Processing object type DATABASE_EXPORT/SYSTEM_PROCOBJACT/POST_SYSTEM_ACTIONS/PROCACT_SYSTEM
Processing object type DATABASE_EXPORT/SCHEMA/PROCACT_SCHEMA
Processing object type DATABASE_EXPORT/SCHEMA/TABLE/TABLE
Processing object type DATABASE_EXPORT/SCHEMA/TABLE/PRE_TABLE_ACTION
Processing object type DATABASE_EXPORT/SCHEMA/TABLE/GRANT/OWNER_GRANT/OBJECT_GRANT
Processing object type DATABASE_EXPORT/SCHEMA/TABLE/GRANT/CROSS_SCHEMA/OBJECT_GRANT
Processing object type DATABASE_EXPORT/SCHEMA/TABLE/COMMENT
中间略....
......
. . exported "WMS"."WM_VAS"                                  0 KB       0 rows
. . exported "WMS"."WM_WAVE_SERIAL"                          0 KB       0 rows
.....一直卡着


然后我查看了数据泵的job状态:
Export> Status

Job: SYS_EXPORT_FULL_01
  Operation: EXPORT                        
  Mode: FULL                           
  Remote link: link_obl_dump
  State: EXECUTING                     
  Bytes Processed: 56,876,010,088
  Percent Done: 58
  Current Parallelism: 4
  Job Error Count: 0
  Dump File: /oradata/datamove/oblbackup%u.dmp
  Dump File: /oradata/datamove/oblbackup01.dmp
    bytes written: 15,500,517,376
  Dump File: /oradata/datamove/oblbackup02.dmp
    bytes written: 11,045,007,360
  Dump File: /oradata/datamove/oblbackup03.dmp
    bytes written: 30,381,674,496
  Dump File: /oradata/datamove/oblbackup04.dmp
    bytes written: 4,096

Worker 1 Status:
  Process Name: DW00
  State: WORK WAITING                  

Worker 2 Status:
  Process Name: DW01
  State: EXECUTING                     
  Object Schema: O_DISPATCH
  Object Name: EO_INTERFACE_WORK
  Object Type: DATABASE_EXPORT/SCHEMA/TABLE/TABLE_DATA
  Completed Objects: 1
  Total Objects: 3,775
  Completed Rows: 5,454,639
  Worker Parallelism: 1

Worker 3 Status:
  Process Name: DW02
  State: WORK WAITING                  

Worker 4 Status:
  Process Name: DW03
  State: WORK WAITING                  

Export> Status

Job: SYS_EXPORT_FULL_01
  Operation: EXPORT                        
  Mode: FULL                           
  Remote link: link_obl_dump
  State: EXECUTING                     
  Bytes Processed: 56,876,010,088
  Percent Done: 58
  Current Parallelism: 4
  Job Error Count: 0
  Dump File: /oradata/datamove/oblbackup%u.dmp
  Dump File: /oradata/datamove/oblbackup01.dmp
    bytes written: 15,500,517,376
  Dump File: /oradata/datamove/oblbackup02.dmp
    bytes written: 11,045,007,360
  Dump File: /oradata/datamove/oblbackup03.dmp
    bytes written: 30,381,674,496
  Dump File: /oradata/datamove/oblbackup04.dmp
    bytes written: 4,096

Worker 1 Status:
  Process Name: DW00
  State: WORK WAITING                  

Worker 2 Status:
  Process Name: DW01
  State: EXECUTING                     
  Object Schema: O_DISPATCH
  Object Name: EO_INTERFACE_WORK
  Object Type: DATABASE_EXPORT/SCHEMA/TABLE/TABLE_DATA
  Completed Objects: 1
  Total Objects: 3,775
  Completed Rows: 5,510,934
  Worker Parallelism: 1

Worker 3 Status:
  Process Name: DW02
  State: WORK WAITING                  

Worker 4 Status:
  Process Name: DW03
  State: WORK WAITING                  

Export>

我开了四个并行,想100g四个并行也够了,然后  Completed Rows: 5,510,934 这个值一直在涨,我看了下EO_INTERFACE_WORK这张表的总rows是一千万。。
就一个并行在工作,其他三个等待中。。。

这种情况怎么分析?我用另外一台数据库通过dblink全库导数据的。。各位大神有啥吐槽的么。。_(:з」∠)_ help~

论坛徽章:
0
 楼主| 发表于 2017-12-6 07:22 | 显示全部楼层
补充几点:我在同环境下又导了该数据库其他数据;因为我看全库导这么慢,我就分业务模块导出;分业务模块导出很快,但是到了该模块还是一样慢。。那基本可以肯定IO和网络什么的应该没关系;

使用道具 举报

回复
论坛徽章:
180
红宝石
日期:2014-05-09 08:24:37萤石
日期:2014-01-03 10:25:39马上有车
日期:2014-02-18 16:41:11马上有钱
日期:2014-11-24 15:17:08马上有钱
日期:2014-11-12 09:33:24马上有房
日期:2014-11-07 08:46:05马上有钱
日期:2014-10-27 09:26:57马上有对象
日期:2014-10-28 10:28:08itpub13周年纪念徽章
日期:2014-10-10 10:38:25马上有对象
日期:2015-01-14 17:33:15
发表于 2017-12-6 08:19 | 显示全部楼层
做一个awr报表,我估计磁盘Io有问题.
另外导入的表lob字段多吗?

使用道具 举报

回复
论坛徽章:
0
 楼主| 发表于 2017-12-6 08:36 | 显示全部楼层
lfree 发表于 2017-12-6 08:19
做一个awr报表,我估计磁盘Io有问题.
另外导入的表lob字段多吗?

awr报告和trace10046文件都在上面的百度云连接,然后我确认了一件事,排除某个表不导的时候就没问题了。。这个表有blob字段

使用道具 举报

回复
认证徽章
论坛徽章:
292
蓝色妖姬
日期:2012-05-19 11:02:10蓝色妖姬
日期:2012-06-12 11:21:48蓝色妖姬
日期:2012-06-12 11:21:48玉兔
日期:2012-08-05 10:00:09玉兔
日期:2012-07-27 11:00:12马上有钱
日期:2014-06-16 15:59:19季节之章:春
日期:2012-06-20 17:38:14季节之章:夏
日期:2012-06-12 10:49:25季节之章:秋
日期:2012-06-12 10:49:25季节之章:冬
日期:2012-06-12 10:49:25
发表于 2017-12-6 09:46 | 显示全部楼层
是不是有触发器?

使用道具 举报

回复
论坛徽章:
0
 楼主| 发表于 2017-12-6 10:44 | 显示全部楼层

触发器是有的。。。有啥影响么。。

使用道具 举报

回复
认证徽章
论坛徽章:
292
蓝色妖姬
日期:2012-05-19 11:02:10蓝色妖姬
日期:2012-06-12 11:21:48蓝色妖姬
日期:2012-06-12 11:21:48玉兔
日期:2012-08-05 10:00:09玉兔
日期:2012-07-27 11:00:12马上有钱
日期:2014-06-16 15:59:19季节之章:春
日期:2012-06-20 17:38:14季节之章:夏
日期:2012-06-12 10:49:25季节之章:秋
日期:2012-06-12 10:49:25季节之章:冬
日期:2012-06-12 10:49:25
发表于 2017-12-6 10:56 | 显示全部楼层
影舞狼 发表于 2017-12-6 10:44
触发器是有的。。。有啥影响么。。

触发器对表impdp/imp效率会有影响,如果:
1、表的数据量比较大。
2、导入是全量/整个用户导入。
这种情况建议把触发器禁掉,导入数据库后再启用。
如果是导入部分表,为了保障数据的完整性和一致性,建议不要禁用触发器。

使用道具 举报

回复
认证徽章
论坛徽章:
292
蓝色妖姬
日期:2012-05-19 11:02:10蓝色妖姬
日期:2012-06-12 11:21:48蓝色妖姬
日期:2012-06-12 11:21:48玉兔
日期:2012-08-05 10:00:09玉兔
日期:2012-07-27 11:00:12马上有钱
日期:2014-06-16 15:59:19季节之章:春
日期:2012-06-20 17:38:14季节之章:夏
日期:2012-06-12 10:49:25季节之章:秋
日期:2012-06-12 10:49:25季节之章:冬
日期:2012-06-12 10:49:25
发表于 2017-12-6 11:02 | 显示全部楼层
本帖最后由 听海★蓝心梦 于 2017-12-6 11:16 编辑

不过impdp全量导入用户,触发器都是在表数据全部导入后才启用,一般不会影响表数据的导入。

......
. . imported"******"."******":"******"  7.765KB      49 rows
Processing object typeDATABASE_EXPORT/SCHEMA/TABLE/GRANT/OWNER_GRANT/OBJECT_GRANT
Processing object typeDATABASE_EXPORT/SCHEMA/TABLE/COMMENT
..............................................................
Processing object typeDATABASE_EXPORT/SCHEMA/TABLE/CONSTRAINT/REF_CONSTRAINT
Processing object typeDATABASE_EXPORT/SCHEMA/TABLE/STATISTICS/TABLE_STATISTICS
Processing object typeDATABASE_EXPORT/SCHEMA/TABLE/TRIGGER
Processing object type DATABASE_EXPORT/SCHEMA/JOB
Processing object typeDATABASE_EXPORT/SCHEMA/TABLE/POST_INSTANCE/PROCACT_INSTANCE
Processing object typeDATABASE_EXPORT/SCHEMA/TABLE/POST_INSTANCE/PROCDEPOBJ
Processing object typeDATABASE_EXPORT/SCHEMA/POST_SCHEMA/PROCOBJ
Job "SYS"."SYS_IMPORT_SCHEMA_01"successfully completed at Mon Dec 4 16:45:42 2017 elapsed 0 00:34:41

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则

TOP技术积分榜 社区积分榜 徽章 电子杂志 团队 统计 虎吧 老博客 知识索引树 读书频道 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档 | IT博客
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛 | SAP ERP系统
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 网站律师 隐私政策 知识产权声明
京ICP备16024965号 北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表