40亿数据插入表中，怎么办。。。oracle

wu十三

atgc 发表于 2016-1-25 14:03
怎么会没发看呢？业务上数据是怎么样的，必须是知道的，否则怎么写代码啊

我刚差了一下表大约200G吧语句如下：
INSERT /*+append*/
    INTO IDC_DW_D_URL NOLOGGING
      SELECT/*+parallel(t,8)*/ t.acct_date,
             t.idc_url,
             t.houseid,
             SUM(t.upflow) up_flow,
             SUM(t.downflow) down_flow,
             t.city_id
        FROM idc_dw_h_url t
       WHERE t.acct_date = '20150930'
       GROUP BY t.acct_date, t.idc_url, t.houseid, t.city_id;

wu十三

tangyuxint 发表于 2016-1-25 14:06
所以先要把这表所在的表空间扩展到足够大才行

我怕数据库崩。。。

atgc

wu十三 发表于 2016-1-25 14:07
我刚差了一下表大约200G吧语句如下：
INSERT /*+append*/
    INTO IDC_DW_D_URL NOLOGGING

你的nologging没有意义
应该是这样
alter table  IDC_DW_D_UR nologging
insert /*+ append */ into
另外，你的一天的数据就有40亿行？

〇〇

wu十三 发表于 2016-1-25 14:07
我刚差了一下表大约200G吧语句如下：
INSERT /*+append*/
    INTO IDC_DW_D_URL NOLOGGING

那就找个快的存储建立表空间，把目标表放在上面

atgc

wu十三 发表于 2016-1-25 14:07
我刚差了一下表大约200G吧语句如下：
INSERT /*+append*/
    INTO IDC_DW_D_URL NOLOGGING

WHERE t.acct_date = '20150930'
       GROUP BY t.acct_date, t.idc_url, t.houseid, t.city_id;
已经限定了某个日期
group by后的 t.acct_date是多余的了

atgc

首先你的表总共有几行，那个日期的有几行？

隐剑埋名

wu十三 发表于 2016-1-25 12:09
怎么分批，是使用游标每多少行插入并且commit吗？我试过这个，速度慢，插入10000行都慢，不知道怎么回事！ ...

就是和你的差不多，把数据分成一天一天的查询插入，提交。换数据库不忙的时候做这种事情，临时表空间还不足的话，看能不能分更细的时间粒度插，一天200个G这么大呃。。

lastwinner

wu十三 发表于 2016-1-25 13:39
没有，目标表是我新建的，准备作为中间表的，结果中间表都没法做，头大了。。。

等了6个小时还没跑完？

zhangfengh

抽的时候做成文本，sqlload或者外部表导入

wu十三

lastwinner 发表于 2016-1-25 16:29
等了6个小时还没跑完？

没有，一个小时我就够受的了