MySQL参数调优最佳实践

前言
不少时候,RDS用户常常会问如何调优RDS MySQL的参数,为了回答这个问题,写一篇blog来进行解释:

哪一些参数不能修改,那一些参数能够修改;
这些提供修改的参数是否是已是最佳设置,如何才能利用好这些参数;
哪些参数能够改
细心的用户在购买RDS的时候都会看到,不一样规格可以提供的最大链接数以及内存是不一样的,因此这一些产品规格的限制参数:链接数、内存用户是不可以修改的,若是内存或者链接数出现了瓶颈:

内存瓶颈:实例会出现OOM,而后致使主备发生切换
链接数瓶颈:应用不能新创建链接到数据库
则须要进行应用优化、慢SQL优化或者进行弹性升级实例规格来解决。

还有一些涉及主备数据安全的参数好比innodb_flush_log_at_trx_commit、sync_binlog、gtid_mode、semi_sync、binlog_format等为了保证主备的数据安全,目前还暂不提供给用户进行修改。

除上述的这些参数外,绝大部分的参数都已经由DBA团队和源码团队优化过,用户不须要过多调整线上的参数就能够把数据库比较好的运行起来。但这些参数只是适合大多数的应用场景,个别特殊的场景仍是须要个别对待,好比使用了tokudb引擎,这个时候就须要调整tokudb引擎能使用的内存比例(tokudb_buffer_pool_ratio);又好比个人应用特色自己须要很大的一个锁超时时间,那么则须要调整innodb_lock_wait_timeout参数的大小以适应应用等等。

如何调参数
下面我将把控制台中可以修改的一些比较重要的参数给你们介绍一下,这些参数若是设置不当,则可能会出现性能问题或应用报错。

open_files_limit
做用:该参数用于控制MySQL实例可以同时打开使用的文件句柄数目。
缘由:当数据库中的表(MyISAM 引擎表在被访问的时候须要消耗文件描述符,InnoDB引擎会本身管理已经打开的表—table_open_cache)打开愈来愈多后,会消耗分配给每一个实例的文件句柄数目,RDS在起初初始化实例的时候设置的open_files_limit为8192,当打开的表数目超过该参数则会致使全部的数据库请求报错误。
现象:若是参数设置太小可致使应用报错
[ERROR] /mysqld: Can't open file: './mysql/user.frm' (errno: 24 -Too many open files);
建议:提升open_files_limit的值,RDS目前能够支撑最大为65535,,同时建议替换MyISAM存储引擎为InnoDB引擎。

back_log
做用:MySQL每处理一个链接请求的时候都会对应的建立一个新线程与之对应,那么在主线程建立新线程期间,若是前端应用有大量的短链接请求到达数据库,MySQL 会限制此刻新的链接进入请求队列,由参数back_log控制,若是等待的链接数量超过back_log,则将不会接受新的链接请求,因此若是须要MySQL可以处理大量的短链接,须要提升此参数的大小。
现象:若是参数太小可能会致使应用报错
SQLSTATE[HY000] [2002] Connection timed out;
建议:提升此参数值的大小,注意须要重启实例,RDS在起初初始化的值的默认值是50,如今初始化值已经调大了3000。

innodb_autoinc_lock_mode
做用:在MySQL5.1.22后,InnoDB为了解决自增主键锁表的问题,引入了参数innodb_autoinc_lock_mode,用于控制自增主键的锁机制,该参数能够设置的值为0/1/2,RDS 默认的参数值为1,表示InnoDB使用轻量级别的mutex锁来获取自增锁,替代最原始的表级锁,可是在load data(包括:INSERT … SELECT, REPLACE … SELECT)场景下会使用自增表锁,这样会则可能致使应用在并发导入数据出现死锁。
现象:若是应用并发使用load data(包括:INSERT … SELECT, REPLACE … SELECT)导入数据的时候出现死锁:
RECORD LOCKS space id xx page no xx n bits xx index PRIMARY of table xx.xx trx id xxx lock_mode X insert intention waiting. TABLE LOCK table xxx.xxx trx id xxxx lock mode AUTO-INC waiting;
建议:建议将参数设置改成2,则表示全部状况插入都使用轻量级别的mutex锁(只针对row模式),这样就能够避免auto_inc的死锁,同时在INSERT … SELECT 的场景下会提高很大的性能(注意该参数设置为2,binlog的格式须要设置为row)。

query_cache_size
做用:该参数用于控制MySQL query cache的内存大小;若是MySQL开启query cache,再执行每个query的时候会先锁住query cache,而后判断是否存在query cache中,若是存在直接返回结果,若是不存在,则再进行引擎查询等操做;同时insert、update和delete这样的操做都会将query cahce失效掉,这种失效还包括结构或者索引的任何变化,cache失效的维护代价较高,会给MySQL带来较大的压力,因此当咱们的数据库不是那么频繁的更新的时候,query cache是个好东西,可是若是反过来,写入很是频繁,并集中在某几张表上的时候,那么query cache lock的锁机制会形成很频繁的锁冲突,对于这一张表的写和读会互相等待query cache lock解锁,致使select的查询效率降低。
现象:数据库中有大量的链接状态为checking query cache for query、Waiting for query cache lock、storing result in query cache;
建议:RDS默认是关闭query cache功能的,若是您的实例打开了query cache,当出现上述状况后能够关闭query cache;固然有些状况也能够打开query cache,好比:巧用query cache解决数据库性能问题。

net_write_timeout
做用:等待将一个block发送给客户端的超时时间。
现象:参数设置太小可能致使客户端报错the last packet successfully received from the server was milliseconds ago,the last packet sent successfully to the server was milliseconds ago。
建议:该参数在RDS中默认设置为60S,通常在网络条件比较差的时,或者客户端处理每一个block耗时比较长时,因为net_write_timeout设置太小致使的链接中断很容易发生,建议增长该参数的大小;

tmp_table_size
做用:该参数用于决定内部内存临时表的最大值,每一个线程都要分配(实际起限制做用的是tmp_table_size和max_heap_table_size的最小值),若是内存临时表超出了限制,MySQL就会自动地把它转化为基于磁盘的MyISAM表,优化查询语句的时候,要避免使用临时表,若是实在避免不了的话,要保证这些临时表是存在内存中的。
现象:若是复杂的SQL语句中包含了group by/distinct等不能经过索引进行优化而使用了临时表,则会致使SQL执行时间加长。
建议:若是应用中有不少group by/distinct等语句,同时数据库有足够的内存,能够增大tmp_table_size(max_heap_table_size)的值,以此来提高查询性能。

RDS MySQL 新增参数
下面介绍几个比较有用的 RDS MySQL 新增参数。

rds_max_tmp_disk_space
做用:用于控制MySQL可以使用的临时文件的大小,RDS初始默认值是10G,若是临时文件超出此大小,则会致使应用报错。
现象:The table ‘/home/mysql/dataxxx/tmp/#sql_2db3_1’ is full。
建议:须要先分析一下致使临时文件增长的SQL语句是否可以经过索引或者其余方式进行优化,其次若是肯定实例的空间足够,则能够提高此参数的值,以保证SQL可以正常执行。注意此参数须要重启实例;

tokudb_buffer_pool_ratio
做用:用于控制TokuDB引擎可以使用的buffer内存大小,好比innodb_buffer_pool_size设置为1000M,tokudb_buffer_pool_ratio设置为50(表明50%),那么tokudb引擎的表可以使用的buffer 内存大小则为500M;
建议:该参数在RDS中默认设置为0,若是RDS中使用tokudb引擎,则建议调大该参数,以此来提高TokuDB引擎表的访问性能。该参数调整须要重启数据库实例。

max_statement_time
做用:用于控制查询在MySQL的最长执行时间,若是超过该参数设置时间,查询将会自动失败,默认是不限制。
建议:若是用户但愿控制数据库中SQL的执行时间,则能够开启该参数,单位是毫秒。
现象:ERROR 3006 (HY000): Query execution was interrupted, max_statement_time exceeded

rds_threads_running_high_watermark
做用:用于控制MySQL并发的查询数目,好比将rds_threads_running_high_watermark该值设置为100,则容许MySQL同时进行的并发查询为100个,超过水位的查询将会被拒绝掉,该参数与rds_threads_running_ctl_mode配合使用(默认值为select)。
建议:该参数经常在秒杀或者大并发的场景下使用,对数据库具备较好的保护做用。

转自:http://mysql.taobao.org/monthly/2015/12/04/?utm_source=tool.lu