【求助】数据库备份负载过高导致连接丢失

刀尖红叶 · 发表于 2014-6-20 20:10

lujinke 发表于 2014-6-20 18:03
我现在是多进程压缩，似乎没有必要再用多线程去压缩，这会使CPU负载更高吧

哦，对的，忘了你已经是多线程备份了

taoyi518 · 发表于 2014-6-21 16:35

应该搭建一个主从，在从上面用innodbbackup，定时增量和全量备份

刀尖红叶 · 发表于 2014-6-22 11:43

用mydumper吧，提供多线程备份还内置gzip压缩
应该比手工开启多个mysqldump进程好

幕南风 · 发表于 2014-6-22 21:34

1. 确定【lost connnection during query】这个错误和备份有关吗？
官方文档给出了该错误的三种原因：你不妨读下
2. 如果条件允许，建议做下从库吧，并且对从库进行备份也会好点

lujinke · 发表于 2014-6-23 00:21

本帖最后由 lujinke 于 2014-6-23 00:21 编辑

幕南风发表于 2014-6-22 21:34
1. 确定【lost connnection during query】这个错误和备份有关吗？
官方文档给出了该错误的三种原因： ...

其实我一直有怀疑，就算备份负载高，MySQL也不会拒绝链接或者丢失链接
后来上周五发现这个lost connection是程序部分的后台线程主动kill掉的，后台线程会主动kill掉
执行时间超过20s的sql，为什么一个query会20s还没有返回呢，通过程序日志发现lost connectiion的那些查询都不会是慢查询，他们都是对主键关键字进行查询的语句，后来结合另外一个帖子里面的备份锁表的场景，发现是我备份参数设置出现了问题，我并发对DB服务器上的每个DB进行备份并且使用了--single-transaction --master-data=2的选项，因为该选项会发出flush tables with read lock语句，造成全局读锁，这样一并发就会有问题了，实际上如果使用上面的选项，并发备份其实就变成串行备份了，因为单另一个线程在备份时，其他线程的flush tables with read lock会阻塞，后续所有的更新语句都会阻塞，所以导致了很多更新语句超过20s被暴力kill，现在我暂时使用了--skip-lock-tables来进行并发备份以避免备份期间更新丢失的问题，

Cloudhorizon · 发表于 2014-6-23 14:33

换一种方式备份吧，mysqldump 备份慢，恢复更慢

幕南风 · 发表于 2014-6-24 01:21

lujinke 发表于 2014-6-23 00:21
其实我一直有怀疑，就算备份负载高，MySQL也不会拒绝链接或者丢失链接
后来上周五发现这个lost connecti ...

感谢分享 :-)
你没有做复制环境，master-data可以不必用，该选项确实会自动打开lock-all-tables

lujinke · 发表于 2014-6-24 11:58

本帖最后由 lujinke 于 2014-6-24 11:59 编辑

幕南风发表于 2014-6-24 01:21
感谢分享 :-)
你没有做复制环境，master-data可以不必用，该选项确实会自动打开lock-all-tables

我打开--master-data倒不是想做主从，是想做point-in-time恢复的，另外该选线不会打开lock-all-tables，是会发出flush tables with read lock，有一个“短时间”的全局锁表过程

[原创] 【求助】数据库备份负载过高导致连接丢失