mysql 如何快速的导入导出7G的数据库？

mchdba · 发表于 2013-1-15 20:53

zj511025 发表于 2013-1-15 13:18
使用下面的命令
select .. into outfile
load data infile

兄弟，你是2005年注册的啊，老前辈了啊！

zj511025 · 发表于 2013-1-16 08:24

mchdba 发表于 2013-1-15 20:53
兄弟，你是2005年注册的啊，老前辈了啊！

呵呵，过奖，只是在数据库方面有点积累罢了！也喜欢数据库。之前用oracle，现在用mysql

zj511025 · 发表于 2013-1-16 15:40

使用下面的命令
select .. into outfile
load data infile
关闭binlog
再调整
max_allowed_packet=64M
innodb_autoinc_lock_mode=2,如果有自增字段，速度快很多
bulk_insert_buffer_size=8M
innodb_log_buffer_size=8M
innodb_buffer_pool_size根据物理内存，尽可能的大
innodb_log_file_size
这些参数，会很快的，我曾经导过2000W的表（2.5g的文本数据文件），普通服务器，3-5分钟搞定
另外，记得在select into outfile的时候按照主键排序导出（因为innodb的存储特性需要），否则，如果数据无序，会很慢，慢得可能不止一个数据量级

shicarl · 发表于 2013-1-19 12:38

本帖最后由 shicarl 于 2013-5-25 13:44 编辑

如果是汇总到一个数据库的不同表的话，如果源和目标表都是单独表空间存储的话，可以：
1.直接从原表中拷贝出独立表空间.ibd文件。如果需要多表同时操作，关注数据的一致性（加只读锁，或者干脆关闭服务）！
2.目标表如果不存在，则创建。目标表与原表应同名。
3.删除目标表表空间文件
alter table <table_name> discard tablespace;
可以看到其对应的.ibd文件被删除，此时查询该表会报如下错误：
ERROR 1030 (HY000): Got error -1 from storage engine
4.拷贝原表的.ibd到目标表存储目录，即.frm文件所在目录。
5.拷贝完毕后，添加目标表表空间文件
alter table <table_name> import tablespace;
6.完成，该表已经可用。

这样的话，基本消耗的时间仅仅是文件拷贝的时间了。

注意：以上方法存在问题，在MySQL中暂时还不支持独立表空间在不同实例间import，只能import回原来的表，而且要求原来的表没有重建或者truncate过。Percona Server支持上述操作。特此说明，敬请注意!!