数据库判断重复是否可取

wyq21973

根椐平衡二叉树的折半原理，可以如下计算：
2的36次方=68,719,476,736（68亿多）

l2g32003

谢谢 很好的理论
但是在实际中可能oracle并不只是简单的按照这种方法来实现的喔
考虑一下block中的index各个节点的顺序并不一定是从小到大的物理排放的

wyq21973

最初由 l2g32003 发布
[B]谢谢 很好的理论
但是在实际中可能oracle并不只是简单的按照这种方法来实现的喔
考虑一下block中的index各个节点的顺序并不一定是从小到大的物理排放的 [/B]

不是很明白你的意思。
你是不是指通过索引来定位一条记录在最坏的情况下可能要在索引段中查找几十个block才能获得记录的rowid？
如果是指这个，那索引也可以定期重建。

不能理解最上层的楼主为什么不用Oracle的主键索引，而要改用繁杂的程序来处理。

yangxiangdong

但我想原理都是一样的，这么大的数据量完全依靠主键索引一条一条insert不会有问题吗

wyq21973

你将当天生成的数据和表中的数据进行比较时难道就不要用索引吗，如果是这样，你不是走了很多弯路？

yangxiangdong

一直就是这么干的,照您的意思是不需要什么临时表,直接从文件里一条一条读出来insert到正式表里吗，希望有过类似经验的朋友多发表一下看法

ssonu

如果建立唯一索引的话，你当天产生的重复数据大概能有多少？如果很多的话，数据库频繁的报错岂不是很痛苦？我感觉最好是从数据的入口想办法，完全可以从数据进入数据库之前从前台程序上控制，哪怕付出时间的代价也可以。

yangxiangdong

这个应用类似于一种数据中心,下面产生数据的程序并不是一家编写的,数据传到中心通过一种加密机制确定数据的合法性,然后根据数据清分收入,比如下面穿过来1000条数据,中心需要告诉下面有900条正常,100条重复.

wyq21973

最初由 ssonu 发布
[B]如果建立唯一索引的话，你当天产生的重复数据大概能有多少？如果很多的话，数据库频繁的报错岂不是很痛苦？我感觉最好是从数据的入口想办法，完全可以从数据进入数据库之前从前台程序上控制，哪怕付出时间的代价也可以。 [/B]

如果是用游标控制一条条进行插入就可以很容易地将重复的记录忽略，如下写错误处理部分：

Exception
   When DUP_VAL_ON_INDEX then
      null;
End;

如果插入的数据中有重复，用批插入的方法（1. Insert ... Select ... 2.Forall ）在我想来是无法成功的，不知谁有高招？

lenovosnb

以前在电信的计费系统中遇到同样的烦恼。
数据库剔重由于库大索引的原因，话单入库的极限为300条每秒，最后采用文件剔重的办法，达到好几千条每秒。不过也是要耗费很多内存的。还要看具不具备文件剔重的条件。