【话题讨论】：有关数据库架构，你了解多少？进来说说

Okhotsk

ZALBB

stevendba 发表于 2014-5-28 16:57
垂直切割：最平常的垂直切割是把blob,clob字段放到另一张表中，还有一些垂直切割是把一些不常用的长字段放 ...

我看了你地址上的文章，认真来讲，你文章里提到的迁移走LOB，不算优化，因为真要读取时，即便放在别的表，效率也是上不去，若不移走，在本表中，你不读取该字段，效率也没问题。

ZALBB

stevendba 发表于 2014-5-28 17:59
VO这一层不需要改，只是查数据库的那一层改一下

很麻烦，
1  若表结构是按照范式的标准来定义了，再重新规划，也就是数据结构，很难的，动作太大，
2  很少公司愿意为了效率，而且改动程序代码的，那样付出的代价太大，

stevendba

ZALBB 发表于 2014-5-29 09:02
我看了你地址上的文章，认真来讲，你文章里提到的迁移走LOB，不算优化，因为真要读取时，即便放在别的表， ...

   对于clob字段，当不超过4000的时候，它是会存在和记录一起，扫描的时候还是一起扫的。当超过4000会分开存储。垂直分区将大的字段分到其他表中，原表占用的数据块会少，全表扫描的效率就会提高。
   你提到的不读取该字段，虽然不读取，oracle扫描的时候是按照块为单位扫描还是会扫到的，读取的时候也是按块为单位读取，效率我觉得还是差别比较大，除非用一体机。--待会我测一下

--不做垂直切分
create table test(
  a number,
  b varchar2(4000),
  c varchar2(4000),
  d varchar2(4000),
  e varchar2(4000),
  f varchar2(4000),
  g varchar2(4000),
  h varchar2(4000)
);


INSERT INTO test
  SELECT ROWNUM,
         rpad('*', 4000, 1),
         rpad('*', 4000, 1),
         rpad('*', 4000, 1),
         rpad('*', 4000, 1),
         rpad('*', 4000, 1),
         rpad('*', 4000, 1),
         rpad('*', 4000, 1)
    FROM DUAL
  CONNECT BY ROWNUM <= 100000;
commit;
create table test1 as select * from  test;


--做垂直切分
create table test_cuizhi(
  a number
);
INSERT INTO test_cuizhi
  SELECT ROWNUM
    FROM DUAL
  CONNECT BY ROWNUM <= 100000;
commit;
create table test_cuizhi1 as select * from  test_cuizhi;

--开始测试，只是取两个最小的字段
SQL> set timing on
SQL> set autotrace traceonly
SQL> select t.a,t1.a from test t, test1  t1 where t.a=t1.a;
已选择100000行。
已用时间:  00: 00: 53.17
执行计划
----------------------------------------------------------
Plan hash value: 2400077556
----------------------------------------------------------------------------
| Id  | Operation          | Name  | Rows  | Bytes | Cost (%CPU)| Time     |
----------------------------------------------------------------------------
|   0 | SELECT STATEMENT   |       | 44504 |  1129K|   173K  (1)| 00:34:38 |
|*  1 |  HASH JOIN         |       | 44504 |  1129K|   173K  (1)| 00:34:38 |
|   2 |   TABLE ACCESS FULL| TEST  | 44504 |   564K| 87801   (1)| 00:17:34 |
|   3 |   TABLE ACCESS FULL| TEST1 |   117K|  1490K| 85344   (1)| 00:17:05 |
----------------------------------------------------------------------------
Predicate Information (identified by operation id):
---------------------------------------------------
   1 - access("T"."A"="T1"."A")
Note
-----
   - dynamic sampling used for this statement
统计信息
----------------------------------------------------------
         52  recursive calls
          0  db block gets
     795627  consistent gets
     534917  physical reads
          0  redo size
    1664840  bytes sent via SQL*Net to client
      73664  bytes received via SQL*Net from client
       6668  SQL*Net roundtrips to/from client
          2  sorts (memory)
          0  sorts (disk)
     100000  rows processed
SQL> /
已选择100000行。
已用时间:  00: 00: 33.36
执行计划
----------------------------------------------------------
Plan hash value: 2400077556
----------------------------------------------------------------------------
| Id  | Operation          | Name  | Rows  | Bytes | Cost (%CPU)| Time     |
----------------------------------------------------------------------------
|   0 | SELECT STATEMENT   |       | 44504 |  1129K|   173K  (1)| 00:34:38 |
|*  1 |  HASH JOIN         |       | 44504 |  1129K|   173K  (1)| 00:34:38 |
|   2 |   TABLE ACCESS FULL| TEST  | 44504 |   564K| 87801   (1)| 00:17:34 |
|   3 |   TABLE ACCESS FULL| TEST1 |   117K|  1490K| 85344   (1)| 00:17:05 |
----------------------------------------------------------------------------
Predicate Information (identified by operation id):
---------------------------------------------------
   1 - access("T"."A"="T1"."A")
Note
-----
   - dynamic sampling used for this statement
统计信息
----------------------------------------------------------
          0  recursive calls
          0  db block gets
     795446  consistent gets
     552087  physical reads
          0  redo size
    1664840  bytes sent via SQL*Net to client
      73664  bytes received via SQL*Net from client
       6668  SQL*Net roundtrips to/from client
          0  sorts (memory)
          0  sorts (disk)
     100000  rows processed


SQL> select t.a,t1.a from test_cuizhi t, test_cuizhi1  t1 where t.a=t1.a;
已选择100000行。
已用时间:  00: 00: 06.17
执行计划
----------------------------------------------------------
Plan hash value: 2501302817
-------------------------------------------------------------------------------------------
| Id  | Operation          | Name         | Rows  | Bytes |TempSpc| Cost (%CPU)| Time     |
-------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT   |              | 88629 |  2250K|       |   310   (2)| 00:00:04 |
|*  1 |  HASH JOIN         |              | 88629 |  2250K|  2168K|   310   (2)| 00:00:04 |
|   2 |   TABLE ACCESS FULL| TEST_CUIZHI  | 88629 |  1125K|       |    42   (3)| 00:00:01 |
|   3 |   TABLE ACCESS FULL| TEST_CUIZHI1 |   101K|  1288K|       |    39   (3)| 00:00:01 |
-------------------------------------------------------------------------------------------
Predicate Information (identified by operation id):
---------------------------------------------------
   1 - access("T"."A"="T1"."A")
Note
-----
   - dynamic sampling used for this statement


统计信息
----------------------------------------------------------
         52  recursive calls
          0  db block gets
       7139  consistent gets
        153  physical reads
          0  redo size
    1664840  bytes sent via SQL*Net to client
      73664  bytes received via SQL*Net from client
       6668  SQL*Net roundtrips to/from client
          2  sorts (memory)
          0  sorts (disk)
     100000  rows processed


SQL> /
已选择100000行。
已用时间:  00: 00: 06.06
执行计划
----------------------------------------------------------
Plan hash value: 2501302817
-------------------------------------------------------------------------------------------
| Id  | Operation          | Name         | Rows  | Bytes |TempSpc| Cost (%CPU)| Time     |
-------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT   |              | 88629 |  2250K|       |   310   (2)| 00:00:04 |
|*  1 |  HASH JOIN         |              | 88629 |  2250K|  2168K|   310   (2)| 00:00:04 |
|   2 |   TABLE ACCESS FULL| TEST_CUIZHI  | 88629 |  1125K|       |    42   (3)| 00:00:01 |
|   3 |   TABLE ACCESS FULL| TEST_CUIZHI1 |   101K|  1288K|       |    39   (3)| 00:00:01 |
-------------------------------------------------------------------------------------------
Predicate Information (identified by operation id):
---------------------------------------------------
   1 - access("T"."A"="T1"."A")
Note
-----
   - dynamic sampling used for this statement
统计信息
----------------------------------------------------------
          0  recursive calls
          0  db block gets
       7008  consistent gets
          0  physical reads
          0  redo size
    1664840  bytes sent via SQL*Net to client
      73664  bytes received via SQL*Net from client
       6668  SQL*Net roundtrips to/from client
          0  sorts (memory)
          0  sorts (disk)
     100000  rows processed

stevendba

ZALBB 发表于 2014-5-29 09:04
很麻烦，
1  若表结构是按照范式的标准来定义了，再重新规划，也就是数据结构，很难的，动作太大，
2   ...

看来你的公司很严格，或者说性能问题还可以让人忍受。在我的公司，用户有性能问题直接打给老板，必须得改。

ZALBB

stevendba 发表于 2014-5-29 11:33
看来你的公司很严格，或者说性能问题还可以让人忍受。在我的公司，用户有性能问题直接打给老板，必须得 ...

这是好事，老板关心了，我们这些作民工的，才有露脸表现的机会，

2009532140

stevendba 发表于 2014-5-29 11:31
对于clob字段，当不超过4000的时候，它是会存在和记录一起，扫描的时候还是一起扫的。当超过4000会分 ...

这个得跟部门的开发说说.