【讨论】让Insert更快需要采取哪些措施

jinguanding · 发表于 2011-1-18 17:10

这个是提高MySQL在INTEL平台上整体的性能，不是说单独提高此...

fan0124 · 发表于 2011-1-18 17:10

原帖由 jinguanding 于 2011-1-18 17:08 发表

另外并发写的线程并发控制在：32 个左右，不要太少，也不能太多，5.0及5.1版本哦

目前俺直接用的5.5.8了，你说的线程并发控制是不是指把innodb_thread_concurrency=32？

但是这个参数貌似很有争议吧

fan0124 · 发表于 2011-1-18 17:12

原帖由 jinguanding 于 2011-1-18 17:09 发表
建议每次写入20条或者50条记录，这样你就可以节省20次或者50次其他过程，过程分三部分：打开表、申请资源等简称初始化、写入与检查、关闭表

你只有写入与检查算没有多少节省部分，其实也节省了一些资源与处理时间

1.看节省了哪些操作
2.你测试就知道

兄弟，我们凭空想是没用的，嘿嘿......

我是要测试的，现在就是你说的insert into我感觉很纳闷，不就是普通的insert语句列，既不是像Oracle里的insert /*+Append*/ into这样的一次将很多数据插入，也不是

将数据放到什么数组里插入，还是逐条插入的啊，所以你说提高效率有点不太明白

我是马上测试的，到时候测试结果肯定放上来看下列

fan0124 · 发表于 2011-1-18 17:14

我觉得批量插入就是比如这个时候没有记录，然后几秒后就是1000条记录了，然后几秒后就是2000条记录了

而不是一条一条记录增加的

jinguanding · 发表于 2011-1-18 17:15

嘿嘿......跟单条写入是不一样的

我不是指哪个参数，在5.0/5.1 系列那参数没太多意思，我指的你程序端或者说连接并发控制

5.5.8你可以试下，多配置点INSERT_BUFFER的大小，正好体验下

jinguanding · 发表于 2011-1-18 17:16

其实单条写，用2950（16G内存，给8Gmysql）也能上万的，使用InnoDB引擎

Steven_1981 · 发表于 2011-1-18 17:42

原帖由 fan0124 于 2011-1-18 16:40 发表
如果为了保证Insert到MySQL中的速度够快，就是每秒插入的记录数能足够多，一般要调整什么设置呢

我自己想到的，存储和OS层面上的因素就不考虑了，但从MySQL上考虑的话

1、插入时批量提交数据

2、调整innodb_flush_log_at_trx_commit参数，必要时设置2

3、调整innodb_log_file_size参数

4、读写分离

还有个疑问：对于MySQL而言，一般1秒插入2W条记录应该没什么问题吧？

1秒插2W，是有问题的！涉及的问题有：
1） innodb_buffer_pool_size 多大？ innodb_max_dirty_pages_pct 是多少？这关系MYSQL刷脏数据的频率
2）你的硬件配置是？特别是硬盘配置
3）你的数据大小是多少？一页可以存多少行数据
4）批量提交（1000条一次）
5） BINLOG不打开，会更快一些；
6） REDO LOG 大一点，多几组
7） innodb_log_buffer_size= 8M

Steven_1981 · 发表于 2011-1-18 18:03

另外MYSQL5.0就不用考虑了； AUTO_INC锁会把你直接弄死

ucgary · 发表于 2011-1-18 19:09

主要瓶颈来自于io,如steven所说,关闭log-bin或者分离到其他的磁盘为佳.

何苦的爸爸 · 发表于 2011-1-19 11:56

楼主可能没有理解金兄的话吧。
金兄说的是insert into tablename values (a),(b),(c),..,(z)
而不是你理解的
insert into tablename values (a,b,c,d,..,z)
他说的一次性插入多行的值，(a),(b),(c),..,(z)是值很多行的值
而不是某一行的多个column值

[原创] 【讨论】让Insert更快需要采取哪些措施

回复 #9 fan0124 的帖子

回复 #13 fan0124 的帖子

回复 #14 fan0124 的帖子