40亿数据插入表中，怎么办。。。oracle

tangyuxint

wu十三 发表于 2016-1-25 12:07
源数据是一个表，我根据另一个表的字段抽数据，抽到另一个表，但是数据有45亿

抽取的语句性能是不是存在问题额？如果效率OK的话，跑45亿数据应该也快的，也有可能是你要插入的表空间不够，每次插入一点后，发现空间不足，然后等待系统后台自动扩展，然后插入一些后，又自动扩展，然后就变成插入一会，扩展一会，插入一会，扩展一会。。会不会是这个原因?

vage

并行、Append，就慢慢插呗，注意归档空间和UNDO空间。

怎么，插入过程报错了吗？

atgc

平均行长多少啊？
目标表如果有索引，就杯具了

Skye_to_Skye

ETL工具吧

wu十三

vage 发表于 2016-1-25 12:23
并行、Append，就慢慢插呗，注意归档空间和UNDO空间。

怎么，插入过程报错了吗？

恩呢，报错的是temp空间不足

wu十三

atgc 发表于 2016-1-25 12:45
平均行长多少啊？
目标表如果有索引，就杯具了

没有，目标表是我新建的，准备作为中间表的，结果中间表都没法做，头大了。。。

atgc

wu十三 发表于 2016-1-25 13:39
没有，目标表是我新建的，准备作为中间表的，结果中间表都没法做，头大了。。。

不能只看记录数啊，还要看行长，平均行长，才能算出要写入多少字节
假设你的表只有一个字段，这个字段只有一个字节，那么才4G数据啊

wu十三

tangyuxint 发表于 2016-1-25 12:21
抽取的语句性能是不是存在问题额？如果效率OK的话，跑45亿数据应该也快的，也有可能是你要插入的表空间不 ...

抽取的语句没有问题的，可能是你说的那个原因吧，就是感觉很慢，然后执行一个多小时后告诉你temp空间不足，我猜的是因为数据量大，oracle空间不太足，没法一下缓存那么多数据，其实还是可以做的，所以我决定给他分开处理，但是用分批处理不知道怎么做，毕竟数据量这么大。

wu十三

atgc 发表于 2016-1-25 13:41
不能只看记录数啊，还要看行长，平均行长，才能算出要写入多少字节
假设你的表只有一个字段，这个字段只 ...

我建的表只有5个字段。。。

wu十三

atgc 发表于 2016-1-25 13:41
不能只看记录数啊，还要看行长，平均行长，才能算出要写入多少字节
假设你的表只有一个字段，这个字段只 ...

我建的表只有5个字段。。。