【讨论】bulk collect insert 效率慢

starfifi

io 情况如何？有什么等待事件没

sqysl

单独加数据删索引还可以，生产库就不能删除索引，生产库带着索引，加载速度也比这个快很多，估计不仅仅是索引问题。

refineoracle

最近也再整理这部分内容，关键是这种从一个表到另一个表的插入，中间没有任何过程的处理，这种情况下为什么还要用pl/sql来处理。不是应该优先选用sql吗。

白浪巨沙

yulihua49 发表于 2015-2-12 12:35
我们带着6个索引插入也没这么慢。400万，两分半。146字段，1.5KB每行。有分区。把数据吐出来，分发成2个RAC ...

你好，你的这个案例能不能写出来学习下，怎么实现分发成2个rac节点和每批次提交限制的呢？谢谢

newkid

白浪巨沙 发表于 2022-2-8 16:07
你好，你的这个案例能不能写出来学习下，怎么实现分发成2个rac节点和每批次提交限制的呢？谢谢

余老师用C写的数据库包装器不是一般人玩得动的。
用并行INSERT ... SELECT ..试试，读和写都开并行。如果你能手工把数据隔离就可以在不同的节点上跑。

白浪巨沙

newkid 发表于 2022-2-8 23:41
余老师用C写的数据库包装器不是一般人玩得动的。用并行INSERT ... SELECT ..试试，读和写都开并行。如果你 ...

并行INSERT ... SELECT 这个理解，“能手工把数据隔离”这个没玩过，不太理解，怎么玩的呢？

newkid

就是把一个任务拆成多个不相干的子任务。比方说你读取的数据覆盖了两个月份，或两个地区，或两个不同的分区，那么你就可以写成两个WHERE条件，分别连到两个节点上去跑。

yulihua49

白浪巨沙 发表于 2022-2-8 16:07
你好，你的这个案例能不能写出来学习下，怎么实现分发成2个rac节点和每批次提交限制的呢？谢谢

退休好几年了，今天闲逛才看到你的帖子。
newkid老师说的对，我这个需要一个大系统架构来做。
就是说，一个分布式并行系统可以把这种任务进行的非常快。
我们的架构是把每一个部件的能力发挥到极致。这不是一个SQL语句能解决的。
实际效果是，两个RAC节点，面对3个计算服务器，每个服务器32核32线程。一个任务分配器，读出数据记录，分成每组1000个（经试验，这个数最快），分发到96个线程，进行一个复杂的计算，结果成批update回去。计算太复杂，通过96并行可以将计算时间忽略不计。看作读出来，分批update即可。3个计算服务器，共有15个连接指向2个RAC节点。
资源是精准分组的，每服务器5个连接最快。太大的并行度反而慢。400万记录处理完用5分钟。现在每天的数据量应该是在1000万以上了。退休了，不太了解了。
一个select（任务分配器）占1个连接，+15个update连接，共16个连接自动分配在两个RAC节点。

yulihua49

yulihua49 发表于 2022-8-1 20:38
退休好几年了，今天闲逛才看到你的帖子。newkid老师说的对，我这个需要一个大系统架构来做。就是说，一个分 ...

任务分配器有个2维的socket连接池管理N个服务器，每个服务器任意个连接。可以任意设置。有负载均衡和容错功能。
每个计算服务器也有个二维的数据库连接池，可以设置N个数据库，每个数据库的不同连接数。
调节这些参数以取得最大的系统吞吐量。
就是说，把数据拿出来，处理完了再update回去，可能比一条SQL所能做的，要快很多。

yulihua49

〇〇 发表于 2015-2-2 23:57
删除索引，插入完成后重建

带着6个索引，不删。
批量update，没索引对不上号了。