MySql内存增长过快导至崩溃的问题

devil3380

devilkin0312 发表于 2012-9-20 21:20
主buffer 的配置不会导致内存占满
反而我发现的问题是你运行10多天就有4kw次连接，而aborted 有2.8kw，app ...

遇到同样的问题过，因为连接时间默认是8小时的话。重新分配也不会占用那么做资源的把。等LZ看采样的结果看看

sohusina-pb

我在自己机子上试了下，如果执行存储过程比较耗时，会导致queries值很大。另外，没有看见你的commit相关的值。至于前两个aborted值，楼上有人说了。

longxibendi

1分钟输出一次 show engine innodb status\G 到一个文件中.

pickup112

0715208同学的答案比较靠谱。你的一些线程内存分配的太多了。这样的话，你的内存极有可能被Mysql用完，为了避免oom，mysql会被操作系统kill掉。所以你的MySQL会崩溃。
建议你下面的几个参数调小。2M就已经足够了。
read_buffer_size = 12M
read_rnd_buffer_size = 16M
sort_buffer_size = 8M
join_buffer_size = 8M

另外，建议你吧mysql的监控尽快部署起来，ngios，cacti等都可以，监控数据库连接数，内存使用，mysql IO，慢查询等相关指标，这样才好定位问题。

annatrov

icer_repls 发表于 2012-9-20 19:50
耗用是突增还是平稳的增？

平稳的0.1%的增长。这个比率在2-3天内存就满了。

annatrov

jxzkin 发表于 2012-9-20 16:09
帮忙隔时间段采样一些数据,谢谢!
SHOW ENGINE INNODB STATUS

9月20号16点
Variable_name        Value
Aborted_clients        347517
Aborted_connects        0
Binlog_cache_disk_use        0
Binlog_cache_use        49112
Binlog_stmt_cache_disk_use        0
Binlog_stmt_cache_use        17076
Bytes_received        115
Bytes_sent        183
Compression        OFF
Connections        493948
Created_tmp_disk_tables        0
Created_tmp_files        43
Innodb_buffer_pool_pages_data        305624
Innodb_buffer_pool_pages_dirty        613
Innodb_buffer_pool_pages_flushed        304026
Innodb_buffer_pool_pages_free        973309
Innodb_buffer_pool_pages_misc        31786
Innodb_buffer_pool_pages_total        1310719
Innodb_buffer_pool_read_ahead_rnd        0
Innodb_buffer_pool_read_ahead        5138
Innodb_buffer_pool_read_ahead_evicted        0
Innodb_buffer_pool_read_requests        1206403928
Innodb_buffer_pool_reads        295826
Innodb_buffer_pool_wait_free        0
Innodb_buffer_pool_write_requests        668778
Innodb_data_fsyncs        115925
Innodb_data_read        4990881792
Innodb_data_reads        299595
Innodb_data_writes        223295
Innodb_data_written        5091357696
Innodb_dblwr_pages_written        152013
Innodb_dblwr_writes        2178
Innodb_have_atomic_builtins        ON
Innodb_log_waits        0
Innodb_log_write_requests        173189
Innodb_log_writes        100344
Innodb_os_log_fsyncs        101175
Innodb_os_log_pending_fsyncs        0
Innodb_os_log_pending_writes        0
Innodb_os_log_written        109772288
Innodb_page_size        16384
Innodb_pages_created        1139
Innodb_pages_read        304485
Innodb_pages_written        152013
Innodb_row_lock_current_waits        0
Innodb_row_lock_time        201
Innodb_row_lock_time_avg        5
Innodb_row_lock_time_max        59
Innodb_row_lock_waits        36
Innodb_rows_deleted        720
Innodb_rows_inserted        21973
Innodb_rows_read        1109868428
Innodb_rows_updated        27439
Innodb_truncated_status_writes        0
Key_blocks_not_flushed        0
Key_blocks_unused        26772
Key_blocks_used        819
Key_read_requests        4739345
Key_reads        20
Key_write_requests        621076
Key_writes        5531
Last_query_cost        0.000000
Max_used_connections        157
Not_flushed_delayed_rows        0
Open_files        249
Open_streams        0
Open_table_definitions        106
Open_tables        235
Opened_files        612246
Prepared_stmt_count        68
Qcache_free_blocks        3
Qcache_free_memory        67069080
Qcache_hits        284
Qcache_inserts        180
Qcache_lowmem_prunes        0
Qcache_not_cached        2807628
Qcache_queries_in_cache        7
Qcache_total_blocks        21
Queries        15701655
Questions        2
Table_locks_immediate        12457375
Threads_cached        10
Threads_connected        147
Threads_created        157
Threads_running        2
Uptime        8290
Uptime_since_flush_status        8290

9月21号8点
Variable_name        Value
Aborted_clients        2126489
Aborted_connects        545
Binlog_cache_disk_use        0
Binlog_cache_use        321273
Binlog_stmt_cache_disk_use        0
Binlog_stmt_cache_use        139875
Bytes_received        115
Bytes_sent        183
Compression        OFF
Connections        3257563
Created_tmp_disk_tables        0
Created_tmp_files        75
Innodb_buffer_pool_pages_data        491573
Innodb_buffer_pool_pages_dirty        1
Innodb_buffer_pool_pages_flushed        2045388
Innodb_buffer_pool_pages_free        779770
Innodb_buffer_pool_pages_misc        39376
Innodb_buffer_pool_pages_total        1310719
Innodb_buffer_pool_read_ahead_rnd        0
Innodb_buffer_pool_read_ahead        67796
Innodb_buffer_pool_read_ahead_evicted        0
Innodb_buffer_pool_read_requests        8760444740
Innodb_buffer_pool_reads        410030
Innodb_buffer_pool_wait_free        0
Innodb_buffer_pool_write_requests        4666831
Innodb_data_fsyncs        767645
Innodb_data_read        7945654272
Innodb_data_reads        419568
Innodb_data_writes        1510133
Innodb_data_written        34261872128
Innodb_dblwr_pages_written        1022694
Innodb_dblwr_writes        15616
Innodb_have_atomic_builtins        ON
Innodb_log_waits        0
Innodb_log_write_requests        1214181
Innodb_log_writes        662972
Innodb_os_log_fsyncs        669245
Innodb_os_log_pending_fsyncs        0
Innodb_os_log_pending_writes        0
Innodb_os_log_written        747025408
Innodb_page_size        16384
Innodb_pages_created        6763
Innodb_pages_read        484830
Innodb_pages_written        1022694
Innodb_row_lock_current_waits        0
Innodb_row_lock_time        947039
Innodb_row_lock_time_avg        3094
Innodb_row_lock_time_max        50138
Innodb_row_lock_waits        306
Innodb_rows_deleted        5793
Innodb_rows_inserted        145510
Innodb_rows_read        8414794855
Innodb_rows_updated        336928
Innodb_truncated_status_writes        0
Key_blocks_not_flushed        0
Key_blocks_unused        26770
Key_blocks_used        819
Key_read_requests        34041775
Key_reads        22
Key_write_requests        4707181
Key_writes        40149
Last_query_cost        0.000000
Max_used_connections        501
Not_flushed_delayed_rows        0
Open_files        246
Open_streams        0
Open_table_definitions        106
Open_tables        1157
Opened_files        3993677
Prepared_stmt_count        84
Qcache_free_blocks        3
Qcache_free_memory        67066152
Qcache_hits        1956
Qcache_inserts        1017
Qcache_lowmem_prunes        0
Qcache_not_cached        20114344
Qcache_queries_in_cache        8
Qcache_total_blocks        23
Queries        110627910
Questions        2
Table_locks_immediate        85445959
Table_locks_waited        121
Tc_log_max_pages_used        0
Tc_log_page_size        0
Tc_log_page_waits        0
Threads_cached        61
Threads_connected        154
Threads_created        501
Threads_running        2
Uptime        62904
Uptime_since_flush_status        62904

9月21号22点
Variable_name        Value
Aborted_clients        3872732
Aborted_connects        547
Binlog_cache_disk_use        0
Binlog_cache_use        604063
Binlog_stmt_cache_disk_use        0
Binlog_stmt_cache_use        240088
Bytes_received        115
Bytes_sent        183
Connections        6062461
Created_tmp_disk_tables        0
Created_tmp_files        144
Created_tmp_tables        0
Innodb_buffer_pool_pages_data        507698
Innodb_buffer_pool_pages_dirty        1138
Innodb_buffer_pool_pages_flushed        4066066
Innodb_buffer_pool_pages_free        762956
Innodb_buffer_pool_pages_misc        40065
Innodb_buffer_pool_pages_total        1310719
Innodb_buffer_pool_read_ahead_rnd        0
Innodb_buffer_pool_read_ahead        67871
Innodb_buffer_pool_read_ahead_evicted        0
Innodb_buffer_pool_read_requests        16603854139
Innodb_buffer_pool_reads        418602
Innodb_buffer_pool_wait_free        0
Innodb_buffer_pool_write_requests        8693872
Innodb_data_fsyncs        1448434
Innodb_data_pending_fsyncs        0
Innodb_data_pending_reads        0
Innodb_data_pending_writes        0
Innodb_data_read        8111935488
Innodb_data_reads        429651
Innodb_data_writes        2947950
Innodb_data_written        68023430144
Innodb_dblwr_pages_written        2033033
Innodb_dblwr_writes        29976
Innodb_have_atomic_builtins        ON
Innodb_log_waits        0
Innodb_log_write_requests        2261678
Innodb_log_writes        1242764
Innodb_os_log_fsyncs        1254069
Innodb_os_log_pending_fsyncs        0
Innodb_os_log_pending_writes        0
Innodb_os_log_written        1399225856
Innodb_page_size        16384
Innodb_pages_created        13383
Innodb_pages_read        494979
Innodb_pages_written        2033033
Innodb_row_lock_current_waits        0
Innodb_row_lock_time        949557
Innodb_row_lock_time_avg        1758
Innodb_row_lock_time_max        50138
Innodb_row_lock_waits        540
Innodb_rows_deleted        10158
Innodb_rows_inserted        359863
Innodb_rows_read        16071493601
Innodb_rows_updated        500074
Innodb_truncated_status_writes        0
Key_blocks_not_flushed        0
Key_blocks_unused        26770
Key_blocks_used        852
Key_read_requests        53784550
Key_reads        22
Key_write_requests        6800142
Key_writes        73429
Last_query_cost        0.000000
Max_used_connections        501
Not_flushed_delayed_rows        0
Open_files        290
Open_streams        0
Open_table_definitions        107
Open_tables        1151
Opened_files        7451922
Prepared_stmt_count        107
Qcache_free_blocks        2
Qcache_free_memory        67059920
Qcache_hits        3526
Qcache_inserts        1864
Qcache_lowmem_prunes        0
Qcache_not_cached        37712897
Qcache_queries_in_cache        9
Qcache_total_blocks        25
Queries        206808258
Questions        2
Table_locks_immediate        160081075
Table_locks_waited        121
Tc_log_max_pages_used        0
Tc_log_page_size        0
Tc_log_page_waits        0
Threads_cached        53
Threads_connected        151
Threads_created        501
Threads_running        5
Uptime        113304
Uptime_since_flush_status        113304

9月22号22点
Variable_name        Value
Aborted_clients        6746377
Aborted_connects        1451
Binlog_cache_disk_use        0
Binlog_cache_use        1025934
Binlog_stmt_cache_disk_use        0
Binlog_stmt_cache_use        420774
Bytes_received        115
Bytes_sent        183
Connections        10428463
Created_tmp_disk_tables        0
Created_tmp_files        164
Innodb_buffer_pool_pages_data        524086
Innodb_buffer_pool_pages_dirty        878
Innodb_buffer_pool_pages_flushed        7003050
Innodb_buffer_pool_pages_free        745821
Innodb_buffer_pool_pages_misc        40812
Innodb_buffer_pool_pages_total        1310719
Innodb_buffer_pool_read_ahead_rnd        0
Innodb_buffer_pool_read_ahead        67871
Innodb_buffer_pool_read_ahead_evicted        0
Innodb_buffer_pool_read_requests        27951785103
Innodb_buffer_pool_reads        424636
Innodb_buffer_pool_wait_free        0
Innodb_buffer_pool_write_requests        14508060
Innodb_data_fsyncs        2470069
Innodb_data_pending_fsyncs        0
Innodb_data_pending_reads        0
Innodb_data_pending_writes        0
Innodb_data_read        8241106944
Innodb_data_reads        437533
Innodb_data_writes        5052915
Innodb_data_written        117102674432
Innodb_dblwr_pages_written        3501525
Innodb_dblwr_writes        52070
Innodb_have_atomic_builtins        ON
Innodb_log_waits        0
Innodb_log_write_requests        3755597
Innodb_log_writes        2116167
Innodb_os_log_fsyncs        2136087
Innodb_os_log_pending_fsyncs        0
Innodb_os_log_pending_writes        0
Innodb_os_log_written        2354515968
Innodb_page_size        16384
Innodb_pages_created        21907
Innodb_pages_read        502863
Innodb_pages_written        3501525
Innodb_row_lock_current_waits        0
Innodb_row_lock_time        963890
Innodb_row_lock_time_avg        1154
Innodb_row_lock_time_max        50138
Innodb_row_lock_waits        835
Innodb_rows_deleted        17935
Innodb_rows_inserted        550829
Innodb_rows_read        26982797315
Innodb_rows_updated        893729
Innodb_truncated_status_writes        0
Key_blocks_not_flushed        1
Key_blocks_unused        26769
Key_blocks_used        852
Key_read_requests        93722383
Key_reads        22
Key_write_requests        11948477
Key_writes        122477
Last_query_cost        0.000000
Max_used_connections        501
Not_flushed_delayed_rows        0
Open_files        246
Open_streams        0
Open_table_definitions        107
Open_tables        1100
Opened_files        11340377
Prepared_stmt_count        92
Qcache_free_blocks        1
Qcache_free_memory        67057864
Qcache_hits        6112
Qcache_inserts        3112
Qcache_lowmem_prunes        0
Qcache_not_cached        64601489
Qcache_queries_in_cache        10
Qcache_total_blocks        28
Queries        352072436
Questions        2
Rpl_status        AUTH_MASTER
Table_locks_immediate        268448536
Table_locks_waited        233
Tc_log_max_pages_used        0
Tc_log_page_size        0
Tc_log_page_waits        0
Threads_cached        49
Threads_connected        150
Threads_created        798
Threads_running        3
Uptime        199704
Uptime_since_flush_status        199704

9月23号22点
Variable_name        Value
Aborted_clients        9904114
Aborted_connects        2533
Binlog_cache_disk_use        0
Binlog_cache_use        1428976
Binlog_stmt_cache_disk_use        0
Binlog_stmt_cache_use        617038
Bytes_received        115
Bytes_sent        183
Compression        OFF
Connections        15113163
Created_tmp_disk_tables        0
Created_tmp_files        178
Innodb_buffer_pool_pages_data        538360
Innodb_buffer_pool_pages_dirty        1190
Innodb_buffer_pool_pages_flushed        9900790
Innodb_buffer_pool_pages_free        731057
Innodb_buffer_pool_pages_misc        41302
Innodb_buffer_pool_pages_total        1310719
Innodb_buffer_pool_read_ahead_rnd        0
Innodb_buffer_pool_read_ahead        67871
Innodb_buffer_pool_read_ahead_evicted        0
Innodb_buffer_pool_read_requests        40416245523
Innodb_buffer_pool_reads        429473
Innodb_buffer_pool_wait_free        0
Innodb_buffer_pool_write_requests        20120074
Innodb_data_fsyncs        3453304
Innodb_data_pending_fsyncs        0
Innodb_data_pending_reads        0
Innodb_data_pending_writes        0
Innodb_data_read        8345767936
Innodb_data_reads        443920
Innodb_data_writes        7116442
Innodb_data_written        165493218816
Innodb_dblwr_pages_written        4950395
Innodb_dblwr_writes        74015
Innodb_have_atomic_builtins        ON
Innodb_log_waits        0
Innodb_log_write_requests        5161401
Innodb_log_writes        2952484
Innodb_os_log_fsyncs        2981022
Innodb_os_log_pending_fsyncs        0
Innodb_os_log_pending_writes        0
Innodb_os_log_written        3264079872
Innodb_page_size        16384
Innodb_pages_created        29813
Innodb_pages_read        509251
Innodb_pages_written        4950395
Innodb_row_lock_current_waits        0
Innodb_row_lock_time        983614
Innodb_row_lock_time_avg        890
Innodb_row_lock_time_max        50138
Innodb_row_lock_waits        1105
Innodb_rows_deleted        25885
Innodb_rows_inserted        735815
Innodb_rows_read        40740087588
Innodb_rows_updated        1283995
Innodb_truncated_status_writes        0
Key_blocks_not_flushed        0
Key_blocks_unused        26770
Key_blocks_used        1152
Key_read_requests        127083557
Key_reads        22
Key_write_requests        15479608
Key_writes        174411
Last_query_cost        0.000000
Max_used_connections        501
Not_flushed_delayed_rows        0
Open_files        272
Open_streams        0
Open_table_definitions        107
Open_tables        1121
Opened_files        16742638
Opened_table_definitions        0
Prepared_stmt_count        106
Qcache_free_blocks        1
Qcache_free_memory        67057016
Qcache_hits        8457
Qcache_inserts        4217
Qcache_lowmem_prunes        0
Qcache_not_cached        91282891
Qcache_queries_in_cache        11
Qcache_total_blocks        29
Queries        500578001
Questions        2
Table_locks_immediate        384165187
Table_locks_waited        332
Threads_cached        51
Threads_connected        154
Threads_created        1100
Threads_running        2
Uptime        286104
Uptime_since_flush_status        286104

9月24号8点
Variable_name        Value
Aborted_clients        10767900
Aborted_connects        2533
Binlog_cache_disk_use        1
Binlog_cache_use        1569735
Binlog_stmt_cache_disk_use        0
Binlog_stmt_cache_use        698391
Bytes_received        115
Bytes_sent        183
Connections        16413476
Created_tmp_disk_tables        0
Created_tmp_files        181
Innodb_buffer_pool_pages_data        543251
Innodb_buffer_pool_pages_dirty        21
Innodb_buffer_pool_pages_flushed        10859860
Innodb_buffer_pool_pages_free        726038
Innodb_buffer_pool_pages_misc        41430
Innodb_buffer_pool_pages_total        1310719
Innodb_buffer_pool_read_ahead_rnd        0
Innodb_buffer_pool_read_ahead        67871
Innodb_buffer_pool_read_ahead_evicted        0
Innodb_buffer_pool_read_requests        44433556660
Innodb_buffer_pool_reads        430912
Innodb_buffer_pool_wait_free        0
Innodb_buffer_pool_write_requests        22384115
Innodb_data_fsyncs        3794679
Innodb_data_pending_fsyncs        0
Innodb_data_pending_reads        0
Innodb_data_pending_writes        0
Innodb_data_read        8375062528
Innodb_data_reads        445706
Innodb_data_writes        7811583
Innodb_data_written        181535997952
Innodb_dblwr_pages_written        5429930
Innodb_dblwr_writes        82003
Innodb_have_atomic_builtins        ON
Innodb_log_waits        0
Innodb_log_write_requests        5662212
Innodb_log_writes        3243228
Innodb_os_log_fsyncs        3275354
Innodb_os_log_pending_fsyncs        0
Innodb_os_log_pending_writes        0
Innodb_os_log_written        3591618048
Innodb_page_size        16384
Innodb_pages_created        32940
Innodb_pages_read        511039
Innodb_pages_written        5429930
Innodb_row_lock_current_waits        0
Innodb_row_lock_time        1007113
Innodb_row_lock_time_avg        848
Innodb_row_lock_time_max        50138
Innodb_row_lock_waits        1187
Innodb_rows_deleted        28795
Innodb_rows_inserted        808433
Innodb_rows_read        46693051899
Innodb_rows_updated        1569052
Innodb_truncated_status_writes        0
Key_blocks_not_flushed        0
Key_blocks_unused        26770
Key_blocks_used        1152
Key_read_requests        136987194
Key_reads        22
Key_write_requests        16618770
Key_writes        196225
Last_query_cost        0.000000
Max_used_connections        501
Not_flushed_delayed_rows        0
Open_files        268
Open_streams        0
Open_table_definitions        107
Open_tables        900
Opened_files        17842881
Prepared_stmt_count        109
Qcache_free_blocks        2
Qcache_free_memory        67060720
Qcache_hits        9390
Qcache_inserts        4667
Qcache_lowmem_prunes        0
Qcache_not_cached        99240013
Qcache_queries_in_cache        11
Qcache_total_blocks        31
Queries        544861554
Questions        2
Table_locks_immediate        417162824
Table_locks_waited        446
Tc_log_max_pages_used        0
Tc_log_page_size        0
Tc_log_page_waits        0
Threads_cached        60
Threads_connected        154
Threads_created        1114
Threads_running        2
Uptime        322104
Uptime_since_flush_status        322104

jxzkin

annatrov 发表于 2012-9-24 10:30
9月20号16点
Variable_name        Value
Aborted_clients        347517

Innodb_buffer_pool感觉不是问题,从数据来看感觉Connections数量惊人呐,统计了下各时间段连接数
493948
2763615
3298846
7129617
7983546
8,429,930
Aborted_clients,Aborted_connects更是觉得也不正常,好奇你们的应用是怎样方式连接MySQL的以及关闭数据的连接的方式...个人意见

annatrov

devilkin0312 发表于 2012-9-20 21:20
主buffer 的配置不会导致内存占满
反而我发现的问题是你运行10多天就有4kw次连接，而aborted 有2.8kw，app ...

我也看了这个值，是挺高的，这是个问题。

annatrov

devilkin0312 发表于 2012-9-20 21:20
主buffer 的配置不会导致内存占满
反而我发现的问题是你运行10多天就有4kw次连接，而aborted 有2.8kw，app ...

用的都是短连接。。

annatrov

sohusina-pb 发表于 2012-9-21 15:40
我在自己机子上试了下，如果执行存储过程比较耗时，会导致queries值很大。另外，没有看见你的commit相关的值 ...

commit 值是0 ，aborted 这个值是挺大的，我们用的是短连接。