【讨论】大数据表查询，效率问题

newkid · 发表于 2015-1-23 00:49

taomct 发表于 2015-1-22 23:04
SCOTT.EMP 為範例

CREATE TABLE SCOTT.EMP_TEST as SELECT * FROM SCOTT.EMP;

你的方法只是在实现LOOKUP数据，DETERMINISTIC要求LOOKUP表是静态的。如果改了部门名称，所有索引全部得重建。
而且也看不出要如何“比对”。假设你有EMP_TEST1, EMP_TEST2 两张大表需要比对，这虚拟列有什么用？

peter1166 · 发表于 2015-1-23 08:44

去掉游标，直接比较。

taomct · 发表于 2015-1-23 21:13

newkid 发表于 2015-1-23 00:49
你的方法只是在实现LOOKUP数据，DETERMINISTIC要求LOOKUP表是静态的。如果改了部门名称，所有索引全部得重 ...

舉例很多用途:
  FUNCTION WAIT_CHECK_FUNC ( IN_OWNER VARCHAR2 ) RETURN VARCHAR2 ...
  IS
   CHECK_FLG  VARCHAR (5) := '00000';
  BEGIN    -- 資料表是否是 lock 狀態. 範例
   CHECK_FLG := 'x';
   SELECT 'o'
   INTO CHECK_FLG
   FROM V$LOCKED_OBJECT A, DBA_OBJECTS B, V$SESSION C
   WHERE A.OBJECT_ID = B.OBJECT_ID
      AND A.SESSION_ID  = C.SID(+)
      AND B.OWNER    = IN_OWNER
      AND B.OBJECT_NAME LIKE 'FGA_%' ESCAPE '\' -- '
      AND B.OBJECT_TYPE = 'TABLE';
   SELECT ... into ... from ...

   SELECT ... into ... from ...

   SELECT ... into ... from ...

   SELECT ... into ... from ...

   RETURN CHECK_FLG;
  EXCEPTION
  WHEN OTHERS THEN
   RETURN CHECK_FLG;
  END;

可以寫需要SQL在  FUNCTION ... 運用很廣
RETURN 方式可以是 '1011'

第一碼是: 1 有符合
第二碼是: 0 總金額有不符合
第三碼是 1 總金數量有符合
第四碼是 1 歷史資料存在

這麼簡單講一次學生就懂了.  我只是引入門...敘述方法.
不在限於只回傳一個名稱啦...那只是一個範例....

這裡只有討論大資料比對方式, 我們設計都是採用 '1011....' 設計模式.
很快就可以找出不是 '11111' 的資料表示資料有異常需要

newkid · 发表于 2015-1-24 00:15

taomct 发表于 2015-1-23 21:13
舉例很多用途:
FUNCTION WAIT_CHECK_FUNC ( IN_OWNER VARCHAR2 ) RETURN VARCHAR2 ...
IS

你说的是如何把比对的结果保存起来。楼主关心的是实现比对的手段。
用自定义函数做虚拟列不适用于动态数据，只能用于静态数据。

〇〇 · 发表于 2015-1-24 00:17

用etl工具抓到另一个库做比对吧

taomct · 发表于 2015-1-24 01:56

本帖最后由 taomct 于 2015-1-24 02:21 编辑

避免線上資源浪費在比對也可以使用單向 DBMS Oracle Stream 方式也是一種不錯辦法.我們IT都是採用單向 DBMS Oracle Stream 方式較多.
在單機愛建什麼index要建什麼 temp table 都隨意啦.

ps. 萬一資料量有差異時會使用 RMAN 方式匯入到單機在重啟 DBMS Oracle Stream 方式, 這個是有遇過但確實原因我不是很清楚.