【大话IT】征集绝活：你有哪些独家数据库优化技巧？(获奖名单已公布)

Ryan-liumin · 发表于 2018-3-28 13:58

drop

sqysl · 发表于 2018-3-28 16:42

1、深入了解和掌握数据库原理、机制和优化方法，打好基础；
2、不断学习、实践、再学习、再实践。。。，积累经验；
3、万变不离其宗，以不变应万变。

oracle_cj · 发表于 2018-3-29 09:05

数据库优化工作一直是羡慕的份，自己做的比较少，但是看过很多大牛的培训资料，感觉高手一定是在架构设计、表设计、分布式以及sql改写方面的牛人。具体到自己，只能是利用工具简单的去做些工作，主要思路如下：
1、首先定位有问题的sql语句--开发人员主动告诉你，或者通过ash、awr、addm巡检检查；
2、对于有问题的sql语句检查相关引用表的统计信息是否准确（经验丰富的，通过执行计划就可判断统计信息是否准确）
3、对于有问题的sql语句，一定要看执行计划。执行计划查看方式好多种，这里只列举数据库相关的，（pl/sql dev  toad等开发工具自带的可以供参考）
3.1 使用AUTOTRACE查看执行计划
3.2 explain plan for select 语句
3.3 显示高级执行计划
      SELECT * FROM TABLE(DBMS_XPLAN.DISPLAY(FORMAT=>'ADVANCED -PROJECTION'));

      高级执行计划可以看到QUERY BLOCK + OUTLINE DATA
3.4 显示特殊执行计划
      SELECT * FROM TABLE(DBMS_XPLAN.DISPLAY_CURSOR(NULL,NULL,'ALLSTATS LAST’));
3.5 根据sqlid查看执行计划

  select *
  from table(dbms_xplan.display_cursor('8t2mm2acum4yk',
                                    null,
                                    'ADVANCED’));
4、根据执行该计划查看是否相关表走错了路径，产生笛卡儿积、有谓词推入、试图合并或者有大表被重复扫描等现象，以此来判断sql语句是建立相关索引还是
   改写等来优化（改写一般需要sql开发技能及熟悉业务）
5、个人优化的一些总结
5.1 个人对sql开发技能比较差，一般对于sql优化大部分是建立索引来解决，但是索引需要了解单列索引、组合索引、函数索引、位图索引、反序索引等基本知识及应用场景。比如组合索引，那些列是适合放置在最前面的（一般是选择性较高的放置在租着索引列的最前面）

   5.2对于复杂的sql语句一般使用oracle 的sql tuning advisor(STA)来进行优化。可以解决一部分比较负责的语句。
   5.3 通过ADDM对于比较热的表缓存到cache中；
   5.4 通过awr整体调整SGA内存大小减少物理IO；
   5.5 sql改写只会一点with as。。。。
   5.6 加hint提示，让sql语句走并行（一般是单表）、索引、hash、nl等连接方式来改变语句的执行计划。
6 综合来说，sql优化的本质就是检检查IO次数--可惜，只有羡慕大牛的份~
其他的oracle 可利用工具有sqlhc SQL 性能健康检查脚本 (SQLHC)(1626277.1)       及方法最佳实践：主动避免数据库和查询相关的性能问题(1549184.1)

sbw0818 · 发表于 2018-3-29 10:45

本帖最后由 sbw0818 于 2018-4-2 16:02 编辑

谈几点个人的心得：
1、表设计在满足业务需求的基础上，还需考虑性能问题，如避免某张表在实际使用中过多的产生IO竞争，这时可以再建一张类似的表；
2、避免设计数据过度倾斜的表，尽量使用绑定变量；
3、表设计时，尽量多冗余，减少SQL的表连接
4、索引
5、尽量少用子查询，多用表连接

东风玖哥 · 发表于 2018-3-31 17:33

（1）在FROM语句中包含多个表的情况下，把条目最少的表放在前面。比如表一记录某省人口数据，表二记录全国失学儿童数据，那么查询某省的失学儿童应该把表二放在前面。
（2）在WHERE语句中过滤掉最多数据的条件必须卸载前面。列如把性别写在生肖前面的效率是生肖写在性别前面的6倍。
（3）避免使用 SELECT * 因为这样会查找所有的列名，耗费更多的时间。
（4）在SQL语句的WHERE和JOIN部分中用到的所有字段上，应该加上索引。
（5）移除不必要的表，可以减少很多数据库的流程。
（6）尽管SQL是大小写不敏感的语言，规范的SQL语句务必大写。

迷倪小魏 · 发表于 2018-3-31 17:39

优化数据库的方法
1、选取最适用的字段属性
MySQL可以很好的支持大数据量的存取，但是一般说来，数据库中的表越小，在它上面执行的查询也就会越快。因此，在创建表的时候，为了获得更好的性能，我们可以将表中字段的宽度设得尽可能小。
例如，在定义邮政编码这个字段时，如果将其设置为CHAR(255),显然给数据库增加了不必要的空间，甚至使用VARCHAR这种类型也是多余的，因为CHAR(6)就可以很好的完成任务了。同样的，如果可以的话，我们应该使用MEDIUMINT而不是BIGIN来定义整型字段。
另外一个提高效率的方法是在可能的情况下，应该尽量把字段设置为NOT NULL，这样在将来执行查询的时候，数据库不用去比较NULL值。
对于某些文本字段，例如“省份”或者“性别”，我们可以将它们定义为ENUM类型。因为在MySQL中，ENUM类型被当作数值型数据来处理，而数值型数据被处理起来的速度要比文本类型快得多。这样，我们又可以提高数据库的性能。
2、使用连接（JOIN）来代替子查询(Sub-Queries)
MySQL从4.1开始支持SQL的子查询。这个技术可以使用SELECT语句来创建一个单列的查询结果，然后把这个结果作为过滤条件用在另一个查询中。例如，我们要将客户基本信息表中没有任何订单的客户删除掉，就可以利用子查询先从销售信息表中将所有发出订单的客户ID取出来，然后将结果传递给主查询，如下所示：
DELETEFROMcustomerinfo
WHERECustomerIDNOTin(SELECTCustomerIDFROMsalesinfo)
使用子查询可以一次性的完成很多逻辑上需要多个步骤才能完成的SQL操作，同时也可以避免事务或者表锁死，并且写起来也很容易。但是，有些情况下，子查询可以被更有效率的连接（JOIN）..替代。例如，假设我们要将所有没有订单记录的用户取出来，可以用下面这个查询完成：
SELECT*FROMcustomerinfo
WHERECustomerIDNOTin(SELECTCustomerIDFROMsalesinfo)
如果使用连接（JOIN）..来完成这个查询工作，速度将会快很多。尤其是当salesinfo表中对CustomerID建有索引的话，性能将会更好，查询如下：
SELECT*FROMcustomerinfo
LEFTJOINsalesinfoONcustomerinfo.CustomerID=salesinfo.CustomerID
WHEREsalesinfo.CustomerIDISNULL
连接（JOIN）..之所以更有效率一些，是因为MySQL不需要在内存中创建临时表来完成这个逻辑上的需要两个步骤的查询工作。
3、使用联合(UNION)来代替手动创建的临时表
MySQL从4.0的版本开始支持union查询，它可以把需要使用临时表的两条或更多的select查询合并的一个查询中。在客户端的查询会话结束的时候，临时表会被自动删除，从而保证数据库整齐、高效。使用union来创建查询的时候，我们只需要用UNION作为关键字把多个select语句连接起来就可以了，要注意的是所有select语句中的字段数目要想同。下面的例子就演示了一个使用UNION的查询。
SELECTName,PhoneFROMclientUNION
SELECTName,BirthDateFROMauthorUNION
SELECTName,SupplierFROMproduct
4、事务
尽管我们可以使用子查询（Sub-Queries）、连接（JOIN）和联合（UNION）来创建各种各样的查询，但不是所有的数据库操作都可以只用一条或少数几条SQL语句就可以完成的。更多的时候是需要用到一系列的语句来完成某种工作。但是在这种情况下，当这个语句块中的某一条语句运行出错的时候，整个语句块的操作就会变得不确定起来。设想一下，要把某个数据同时插入两个相关联的表中，可能会出现这样的情况：第一个表中成功更新后，数据库突然出现意外状况，造成第二个表中的操作没有完成，这样，就会造成数据的不完整，甚至会破坏数据库中的数据。要避免这种情况，就应该使用事务，它的作用是：要么语句块中每条语句都操作成功，要么都失败。换句话说，就是可以保持数据库中数据的一致性和完整性。事物以BEGIN关键字开始，COMMIT关键字结束。在这之间的一条SQL操作失败，那么，ROLLBACK命令就可以把数据库恢复到BEGIN开始之前的状态。
BEGIN; INSERTINTOsalesinfoSETCustomerID=14;UPDATEinventorySETQuantity=11WHEREitem='book';COMMIT;
事务的另一个重要作用是当多个用户同时使用相同的数据源时，它可以利用锁定数据库的方法来为用户提供一种安全的访问方式，这样可以保证用户的操作不被其它的用户所干扰。
5、锁定表
尽管事务是维护数据库完整性的一个非常好的方法，但却因为它的独占性，有时会影响数据库的性能，尤其是在很大的应用系统中。由于在事务执行的过程中，数据库将会被锁定，因此其它的用户请求只能暂时等待直到该事务结束。如果一个数据库系统只有少数几个用户来使用，事务造成的影响不会成为一个太大的问题；但假设有成千上万的用户同时访问一个数据库系统，例如访问一个电子商务网站，就会产生比较严重的响应延迟。
其实，有些情况下我们可以通过锁定表的方法来获得更好的性能。下面的例子就用锁定表的方法来完成前面一个例子中事务的功能。
LOCKTABLEinventoryWRITESELECTQuantityFROMinventoryWHEREItem='book';
...
UPDATEinventorySETQuantity=11WHEREItem='book';UNLOCKTABLES
这里，我们用一个select语句取出初始数据，通过一些计算，用update语句将新值更新到表中。包含有WRITE关键字的LOCKTABLE语句可以保证在UNLOCKTABLES命令被执行之前，不会有其它的访问来对inventory进行插入、更新或者删除的操作。
6、使用索引
索引是提高数据库性能的常用方法，它可以令数据库服务器以比没有索引快得多的速度检索特定的行，尤其是在查询语句当中包含有MAX(),MIN()和ORDERBY这些命令的时候，性能提高更为明显。
那该对哪些字段建立索引呢？
一般说来，索引应建立在那些将用于JOIN,WHERE判断和ORDERBY排序的字段上。尽量不要对数据库中某个含有大量重复的值的字段建立索引。对于一个ENUM类型的字段来说，出现大量重复值是很有可能的情况
例如customerinfo中的“province”..字段，在这样的字段上建立索引将不会有什么帮助；相反，还有可能降低数据库的性能。我们在创建表的时候可以同时创建合适的索引，也可以使用ALTERTABLE或CREATEINDEX在以后创建索引。此外，MySQL从版本3.23.23开始支持全文索引和搜索。全文索引在MySQL中是一个FULLTEXT类型索引，但仅能用于MyISAM类型的表。对于一个大的数据库，将数据装载到一个没有FULLTEXT索引的表中，然后再使用ALTERTABLE或CREATEINDEX创建索引，将是非常快的。但如果将数据装载到一个已经有FULLTEXT索引的表中，执行过程将会非常慢。
8、优化的查询语句
绝大多数情况下，使用索引可以提高查询的速度，但如果SQL语句使用不恰当的话，索引将无法发挥它应有的作用。
下面是应该注意的几个方面。
·    首先，最好是在相同类型的字段间进行比较的操作。
在MySQL3.23版之前，这甚至是一个必须的条件。例如不能将一个建有索引的INT字段和BIGINT字段进行比较；但是作为特殊的情况，在CHAR类型的字段和VARCHAR类型字段的字段大小相同的时候，可以将它们进行比较。
·    其次，在建有索引的字段上尽量不要使用函数进行操作。
例如，在一个DATE类型的字段上使用YEAE()函数时，将会使索引不能发挥应有的作用。所以，下面的两个查询虽然返回的结果一样，但后者要比前者快得多。
·       第三，在搜索字符型字段时，我们有时会使用LIKE关键字和通配符，这种做法虽然简单，但却也是以牺牲系统性能为代价的。