侃一下关于程序的“柔性”

yulihua49

newkid 发表于 2025-10-20 21:57
我就知道你要问这个问题，所以255楼特地举了一个纯内存的例子，估计你看都没看。"其中的USING DUAL看起来有 ...

内存数据是最原始的数据来源，等进了数据库，随便你怎么用。我的想法，最快的把原始数据弄进数据库。
这个速度有个硬指标，必须高于网络传输速度，不允许数据堆积。
此前，他们一直在研究，数据到达太快时，如何排队如何缓冲。我说，后端处理够快时，就不需要那些。
当年就进行了这种测试，到达数据瞬间就被消化，根本用不上缓冲。
当时的数据到达率是每秒2000笔，要求每秒消化5000，我做到了每秒35000，如果采用新方法，预期可以达到50000。
在以前那个帖子说过，一开始，不使用绑定变量单条插入时，每秒1500，还不算处理重复的开销。显然不满足需求。但是，大多数的C程序员懒得使用绑定变量。
使用绑定变量的单条插入达到每秒5000，不包括处理重复记录，也是难以满足需求的。

newkid

yulihua49 发表于 2025-10-21 09:46
看了。再请问，insert有没有 不管任何错误的hint？意思是，在一个数组插入时，有错的跳过。

如果是用PL/SQL的FORALL DML, 它可以把异常全部放在一个数组里面。C语言不知道有没有类似机制。但是可以用如下的 DML ERROR LOG功能来忽略错误：

假设要操作的表名为T，先建立一个错误日志表：
exec dbms_errlog.create_error_log (dml_table_name => 'T');

它会自动建立一个名字为ERR$_T的表。这个步骤是一次性的，以后可以一直用。

insert into t values(1,2,3) log errors reject limit unlimited;

所有的DML错误会被收集到ERR$_T表中, INSERT不会报错。

yulihua49

newkid 发表于 2025-10-21 22:10
如果是用PL/SQL的FORALL DML, 它可以把异常全部放在一个数组里面。C语言不知道有没有类似机制。但是可以用 ...

哦，发过去让他们研究研究

yulihua49

newkid 发表于 2025-10-21 22:10
如果是用PL/SQL的FORALL DML, 它可以把异常全部放在一个数组里面。C语言不知道有没有类似机制。但是可以用 ...

这个方案可以，错误处理有点麻烦。
可以这么办：
工作线程直接进行插入处理，如果出现错误，就提交到另外的错误处理线程，让它慢慢处理。。
工作线程继续处理下一个数据包。这样不耽误数据流。