求推荐 mysql 数据库快速导出方法

yi_yin

最后采用mydumper

lujinke

yi_yin 发表于 2014-1-20 09:29
没办法  需求是这样 主要  在腾讯云上面的mysql 限制太多！

你腾讯云指的是云主机(CVM)还是你的MySQL本事就是用的腾讯CDB？
如果是自己买的CVM，应该可以自己安装Xrtabackup吧

如果直接买的CDB，直接找他们客服，让他们帮你解决吧，我觉得大部分dump应该不是问题吧，
dump出来后导入才是问题，而且你才区区2000W行数据而已

yi_yin

lujinke 发表于 2014-4-23 17:38
你腾讯云指的是云主机(CVM)还是你的MySQL本事就是用的腾讯CDB？
如果是自己买的CVM，应该可以自己安装Xr ...

一看就是 使用过cdb的 兄弟；，我们是cdb，不能自己安装xtrabackup；
mysqldump 没有问题，这个是肯定可以导出  导入，2000w数据导出速度还凑合，导入 速度差别在1倍左右， 主要是我们需要导出的数据在50GB左右，这个mysqldump 导出 mysql source 导入综合速度就比较差了；
最后使用多线程的mydumper 速度能快很多，主要还是取决你的io

lujinke

yi_yin 发表于 2014-4-23 17:45
一看就是 使用过cdb的 兄弟；，我们是cdb，不能自己安装xtrabackup；
mysqldump 没有问题，这个是肯定 ...

你要导出数据干嘛呢，他们那边每天都有全量冷备，也有主从备份
就算出现什么问题，也不需要你们自己来导入导出吧
mydumper确实可以用，但是结果不会好太多
而且是on your risk的

yi_yin

lujinke 发表于 2014-4-23 18:53
你要导出数据干嘛呢，他们那边每天都有全量冷备，也有主从备份
就算出现什么问题，也不需要你们自己来导 ...

我的数据导出是给bi使用的，数据需要插入到其他cdb中，不同的公司需求不同，从cdb的安全角度说更本不需要我导出数据的。

yi_yin

lujinke 发表于 2014-4-23 18:53
你要导出数据干嘛呢，他们那边每天都有全量冷备，也有主从备份
就算出现什么问题，也不需要你们自己来导 ...

从我测试下来mydumper导出  是有明显的速度提升， mysqldump 为单线程  mydumper  多线程

lujinke

yi_yin 发表于 2014-4-24 09:42
从我测试下来mydumper导出  是有明显的速度提升， mysqldump 为单线程  mydumper  多线程

导入提升不大

yi_yin

lujinke 发表于 2014-4-24 12:12
导入提升不大

以前导入  3个多小时  现在 2个小时  虽然不是飞速 但是有提升，自己具体使用多对比就知道

lujinke

yi_yin 发表于 2014-4-24 13:18
以前导入  3个多小时  现在 2个小时  虽然不是飞速 但是有提升，自己具体使用多对比就知道

恩，差不多就是这样

yi_yin

lujinke 发表于 2014-4-24 17:33
恩，差不多就是这样

哥们 你 不会是 腾讯的cdb吧