楼主: QYL

[精华] 数据迁移办法

[复制链接]
论坛徽章:
4
ITPUB元老
日期:2005-02-28 12:57:00授权会员
日期:2005-10-30 17:05:33会员2006贡献徽章
日期:2006-04-17 13:46:342010新春纪念徽章
日期:2010-03-01 11:08:33
21#
发表于 2003-1-24 16:07 | 只看该作者
最初由 chucknancy 发布
[B]

那和全导出来再恢复有什么区别?

exp/imp是很好的办法,时间嘛?你可以先做做实验 [/B]

并行操作嘛,边导出边导入,省时间,当导入时死机也容易找到。

使用道具 举报

回复
论坛徽章:
60
2007年度最佳版主
日期:2008-04-03 16:46:15现任管理团队成员
日期:2011-05-07 01:45:08双黄蛋
日期:2011-06-15 17:03:34ITPUB十周年纪念徽章
日期:2011-11-01 16:19:412012新春纪念徽章
日期:2012-01-04 11:49:542012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:20
22#
发表于 2003-1-24 16:45 | 只看该作者
目前兄弟做的项目,似乎有些对路,
呵呵,
用DW的ETL工具做起来还是不错的.

使用道具 举报

回复
论坛徽章:
5
ITPUB元老
日期:2005-02-28 12:57:00授权会员
日期:2005-10-30 17:05:33奥运会纪念徽章:蹦床
日期:2012-09-03 12:52:06奥运会纪念徽章:跆拳道
日期:2012-10-24 13:52:34秀才
日期:2015-11-30 09:59:23
23#
发表于 2003-1-24 17:07 | 只看该作者

Re: 增量

最初由 qhdcy 发布
[B]采用先导出部分当前需要的数据的方法也行,就是楼上说的增量的方法,检重要的先迁移,然后迁移不重要的。 [/B]


我所说的增量方法是指:
(1)选定时间1:做一次全量备份。
(2)新系统上做导入时间1的全量备份。
(3)选定时间2:旧系统的停机,做时间1到时间2之间的增量备份。
(4)在新系统上导入时间2的增量备份。然后启动新系统,完成迁移。

这样停机时间就仅限于时间2之后了。另外通过加大增量备份的次数还可以缩短停机时间。即采用下面的方式:
(1)同上面的方案
(2)同上面的方案
(3)选定时间2:做时间1到时间2之间的增量备份。
(4)在新系统上导入时间2的增量备份。
(5)选定时间3:旧系统的停机,做时间2到时间3之间的增量备份。
(6)在新系统上导入时间3的增量备份。然后启动新系统,完成迁移。

我想这个方案可行性的重点是在旧系统上做EXP时,对旧系统的性能影响是否可接受。EXP操作一方面会占用CPU和I/O资源,还会因为EXP操作必须保证读一致性从而使系统其他数据处理的开销大大增加。
    是否有高手介绍一下经验,或进行分析。

使用道具 举报

回复
论坛徽章:
5
ITPUB元老
日期:2005-02-28 12:57:00授权会员
日期:2005-10-30 17:05:33奥运会纪念徽章:蹦床
日期:2012-09-03 12:52:06奥运会纪念徽章:跆拳道
日期:2012-10-24 13:52:34秀才
日期:2015-11-30 09:59:23
24#
发表于 2003-1-24 17:17 | 只看该作者
最初由 QYL 发布
[B]我想应当有很多公司做过大数据量的迁移阿 [/B]


正所谓难者不会,会者不难。肯定有一些人做过这种跨平台、大数据量、停机时间短的数据迁移。20G其实还不算很大。

象ORACLE、IBM等公司的中国公司中就有一些技术人员是专门负责对用户的项目实施进行支持的。有专门负责数据库实施的,他们经常做也很喜欢做从竞争对手的数据库迁移到自家数据库上的工作。

这项工作的难度就更大了--不同DBMS之间的移植。

使用道具 举报

回复
论坛徽章:
86
ITPUB元老
日期:2005-02-28 12:57:002012新春纪念徽章
日期:2012-01-04 11:49:542012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:20咸鸭蛋
日期:2012-05-08 10:27:19版主8段
日期:2012-05-15 15:24:112013年新春福章
日期:2013-02-25 14:51:24
25#
发表于 2003-1-24 17:26 | 只看该作者

其实我说也不难

1:先把符合一定时间条件的数据做成文本
然后把文本导入数据库
最后把增量部分弄进去

2:  使用dblink
在平常把能区分出来的大部分数据弄过去
其他少数数据在当机的时候怎么做都可以,甚至exp/imp也可以

使用道具 举报

回复
论坛徽章:
3
ITPUB元老
日期:2005-02-28 12:57:00授权会员
日期:2005-10-30 17:05:33会员2006贡献徽章
日期:2006-04-17 13:46:34
26#
 楼主| 发表于 2003-1-24 18:45 | 只看该作者
我也在想用全部导出,然后再增量,我原来做过一个分区表的导出导入,一共才2g数据,就用了半个晚上。所以,我很烦exp,imp

使用道具 举报

回复
论坛徽章:
86
ITPUB元老
日期:2005-02-28 12:57:002012新春纪念徽章
日期:2012-01-04 11:49:542012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:20咸鸭蛋
日期:2012-05-08 10:27:19版主8段
日期:2012-05-15 15:24:112013年新春福章
日期:2013-02-25 14:51:24
27#
发表于 2003-1-24 18:53 | 只看该作者

spool成文本

或者采用工具输出文本很快的
1g的文本很快的
sqlldr .......  direct .....   nologging

使用道具 举报

回复
论坛徽章:
3
ITPUB元老
日期:2005-02-28 12:57:00授权会员
日期:2005-10-30 17:05:33会员2006贡献徽章
日期:2006-04-17 13:46:34
28#
 楼主| 发表于 2003-1-24 19:35 | 只看该作者
老大,你的意思是让我用sqlldr导入,我原来没有用过这种方法。不知道这种方法导入速度会怎么样。我试一试,我不知道那些大公司是不是有更好的办法,但是,我想你的办法应当比exp,imp倒入快

使用道具 举报

回复
论坛徽章:
2
授权会员
日期:2005-10-30 17:05:33会员2006贡献徽章
日期:2006-04-17 13:46:34
29#
发表于 2003-1-24 19:55 | 只看该作者
先把应用中的一些表做一些区分
比较小的表通过dblink可以搞定(如果时间很紧的还是很可行的)
比较大的先做成品面文件用sqlload直接导入,速度很快。

使用道具 举报

回复
论坛徽章:
3
ITPUB元老
日期:2005-02-28 12:57:00授权会员
日期:2005-10-30 17:05:33会员2006贡献徽章
日期:2006-04-17 13:46:34
30#
 楼主| 发表于 2003-1-24 20:41 | 只看该作者
还是人多力量大,多谢各位了!!!

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 未成年人举报专区 
京ICP备16024965号-8  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表