查看: 5541|回复: 11

【讨论】mysql数据迁移办法

[复制链接]
论坛徽章:
3
优秀写手
日期:2014-12-24 06:00:152015年新春福章
日期:2015-03-04 14:55:132015年新春福章
日期:2015-03-06 11:59:47
发表于 2014-11-12 17:10 | 显示全部楼层 |阅读模式
环境
mysql 5.5  目前一张表中有50多个字段  数据从8月开始  刚开始每天增量是100万 现在达到了每天增量 500多万   目前库里有2亿多条数据,
现在想迁移数据到历史库,在历史库中按照月建表,每月建一张表。现在想法是原库保留1-2个个月数据(业务需求),其余数据迁移到历史库。

问题:
1.这种做法可以吗?还有更好的方法吗?
2.按照目前这种方法,数据导出用mysqldump,然后倒入到历史库,最后在源库做delete操作,这种方法可靠不?

请各位大神门给我好的方案
论坛徽章:
4
2014年新春福章
日期:2014-02-18 16:49:31马上有钱
日期:2014-02-18 16:49:312014年新春福章
日期:2014-04-01 18:10:02优秀写手
日期:2014-10-17 06:00:14
发表于 2014-11-12 17:39 | 显示全部楼层
用pt-archiver不就一步归档历史和删除原表数据吗?

使用道具 举报

回复
论坛徽章:
3
懒羊羊
日期:2015-03-04 14:52:112015年新春福章
日期:2015-03-06 11:58:18蒙奇·D·路飞
日期:2017-09-21 11:23:37
发表于 2014-11-12 17:48 | 显示全部楼层
按月建表也不可接受吧,你算算,目前一天500W,30天都上亿了
可以看看分区表,每天一个分区,但是不知道该表的使用场景,分区表也不一定合适

使用道具 举报

回复
论坛徽章:
7
ITPUB十周年纪念徽章
日期:2011-11-01 16:25:222013年新春福章
日期:2013-02-25 14:51:24优秀写手
日期:2013-12-18 09:29:082014年新春福章
日期:2014-02-18 16:44:08马上有对象
日期:2014-02-18 16:44:08喜羊羊
日期:2015-03-04 14:52:462015年新春福章
日期:2015-03-06 11:58:18
发表于 2014-11-12 21:46 | 显示全部楼层
每月建一张表,没有问题,但是你前提你的应用程序要能够处理.
使用分区表也可以,但是要选择合适的分区字段.

使用道具 举报

回复
认证徽章
论坛徽章:
0
发表于 2014-11-12 22:47 | 显示全部楼层
分区表可以啊,你写一个事件每天创建一个新表(根据日期时间),新一天的数据写到这个表中,你迁移数据可以全部导入历史库,用delete删除多余的.

使用道具 举报

回复
论坛徽章:
3
优秀写手
日期:2014-12-24 06:00:152015年新春福章
日期:2015-03-04 14:55:132015年新春福章
日期:2015-03-06 11:59:47
 楼主| 发表于 2014-11-14 13:00 | 显示全部楼层
lujinke 发表于 2014-11-12 17:48
按月建表也不可接受吧,你算算,目前一天500W,30天都上亿了
可以看看分区表,每天一个分区,但是不知道该 ...

分区也考虑过  目前磁盘空间不够了 只能迁移出一部分数据了

使用道具 举报

回复
论坛徽章:
3
优秀写手
日期:2014-12-24 06:00:152015年新春福章
日期:2015-03-04 14:55:132015年新春福章
日期:2015-03-06 11:59:47
 楼主| 发表于 2014-11-14 13:01 | 显示全部楼层
z597011036 发表于 2014-11-12 22:47
分区表可以啊,你写一个事件每天创建一个新表(根据日期时间),新一天的数据写到这个表中,你迁移数据可以全部导 ...

就是怕delete删除比较慢

使用道具 举报

回复
论坛徽章:
3
优秀写手
日期:2014-12-24 06:00:152015年新春福章
日期:2015-03-04 14:55:132015年新春福章
日期:2015-03-06 11:59:47
 楼主| 发表于 2014-11-14 13:01 | 显示全部楼层
东东堂 发表于 2014-11-12 21:46
每月建一张表,没有问题,但是你前提你的应用程序要能够处理.
使用分区表也可以,但是要选择合适的分区字段 ...

这个没问题的

使用道具 举报

回复
论坛徽章:
3
优秀写手
日期:2014-12-24 06:00:152015年新春福章
日期:2015-03-04 14:55:132015年新春福章
日期:2015-03-06 11:59:47
 楼主| 发表于 2014-11-14 13:02 | 显示全部楼层
刀尖红叶 发表于 2014-11-12 17:39
用pt-archiver不就一步归档历史和删除原表数据吗?

这个没怎么用过  回头研究下了

使用道具 举报

回复
认证徽章
论坛徽章:
31
ITPUB十周年纪念徽章
日期:2011-11-01 16:25:22马上加薪
日期:2014-12-08 22:53:43马上有房
日期:2014-12-09 01:05:19美羊羊
日期:2015-03-04 14:52:282015年新春福章
日期:2015-03-06 11:58:18巨蟹座
日期:2015-11-17 11:02:55双子座
日期:2015-11-17 12:21:47白羊座
日期:2015-12-10 17:27:08狮子座
日期:2016-02-23 10:11:01双子座
日期:2016-02-23 10:17:05
发表于 2014-12-8 10:45 | 显示全部楼层
这种情况最好考虑专业存储,普通硬盘处理还是比较困难。

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

SACC2019中国系统架构师大会

【数字转型 架构演进】SACC2019中国系统架构师大会,7折限时优惠重磅来袭!
2019年10月31日~11月2日第11届中国系统架构师大会(SACC2019)将在北京隆重召开。四大主线并行的演讲模式,1个主会场、20个技术专场、超千人参与的会议规模,100+来自互联网、金融、制造业、电商等领域的嘉宾阵容,将为广大参会者提供一场最具价值的技术交流盛会。

限时七折期:2019年8月31日前


----------------------------------------

大会官网>>
TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 
京ICP备09055130号-4  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表