删除重复行SQL优化

MingTian_0125

例子:
如有表test,test有四个字段:a,b,c,d.其中a为主关键字段.
对于b,c,d三个字段重复的记录, 只留下一条记录,其余的删除.

代码如下:

delete from test
   where a in
   (
   select a
   from (
         select a,b,c,d
                rank() over (partition by b,c,d order by a nulls last) tmp
         from (
              select a,b,c,d
              from  test
              where a in
                    (select a,
                       from test
                      group by b,c,d
                     having count(*) > 1
                             )
                   )
                 )
   where tmp >1
   );

husthxd

最初由 ZALBB 发布
[B]ALTER TABLE work.zbxsrsz  ADD CONSTRAINT UNIQUE zbxsrsz_key (xr_bm,xr_jyrq,xr_jh,xr_xh)
indexing tablespace TS_NAME EXCEPTION INTO exception_table.

然后根据exception_table的记录查询后决定是否删除这些重复的记录。 [/B]

不错.楼主不妨试试该方法

另外:
delete work.zbxsrsz a where exists
( select * from work.zbxsrsz
where xr_bm = a.xr_bm
and xr_jyrq = a.xr_jyrq
and xr_jh = a.xr_jh and xr_xh < a.xr_xh
and xr_jyrq > to_Date('2005.03.13','yyyy.mm.dd')
and xr_jyrq < to_Date('2005.03.15','yyyy.mm.dd') )
改写为:
delete work.zbxsrsz a where rowid >
( select min(rowid) from work.zbxsrsz
where xr_bm = a.xr_bm
and xr_jyrq = a.xr_jyrq
and xr_jh = a.xr_jh
and xr_xh  = a.xr_xh
and xr_jyrq = a.xr_jyrq
)
试试.

MingTian_0125

wlidflower
版主

我的那个代码你测了没有,效率怎么样啊?

我以前用过它删除了1000万条记录中的24万的冗余数据,用的时间还没有50分钟!!!

stone10

经典！姜还是老的辣！
服了，百分感谢！可以浪费了很多时间！
：）

wlidflower

最初由 stone10 发布
[B]经典！姜还是老的辣！
服了，百分感谢！可以浪费了很多时间！
：） [/B]

你说哪个方法好啊？

wlidflower

最初由 MingTian_0125 发布
[B]wlidflower
版主

我的那个代码你测了没有,效率怎么样啊?

我以前用过它删除了1000万条记录中的24万的冗余数据,用的时间还没有50分钟!!! [/B]

这个方法应该不会跟我提供关于ＲＯＷＩＤ的方法效率高

wlidflower

最初由 husthxd 发布
[B]

不错.楼主不妨试试该方法

另外:
delete work.zbxsrsz a where exists
( select * from work.zbxsrsz
where xr_bm = a.xr_bm
and xr_jyrq = a.xr_jyrq
and xr_jh = a.xr_jh and xr_xh < a.xr_xh
and xr_jyrq > to_Date('2005.03.13','yyyy.mm.dd')
and xr_jyrq < to_Date('2005.03.15','yyyy.mm.dd') )
改写为:
delete work.zbxsrsz a where rowid >
( select min(rowid) from work.zbxsrsz
where xr_bm = a.xr_bm
and xr_jyrq = a.xr_jyrq
and xr_jh = a.xr_jh
and xr_xh  = a.xr_xh
and xr_jyrq = a.xr_jyrq
)
试试. [/B]

husthxd ，还是你老大心细啊
哈哈
像热心的husthxd 致敬！
不过我对你那么多奖章很有打算哦
呵呵

MingTian_0125

^_^
其实我得那个方法,我一般是用来删除和业务相关垃圾数据和冗余数据!

向大佬们学习啊!!!

wlidflower

最初由 MingTian_0125 发布
[B]^_^
其实我得那个方法,我一般是用来删除和业务相关垃圾数据和冗余数据!

向大佬们学习啊!!! [/B]

如果考虑效率，理解各个写法的依据就比较好些
不过总体来说在大量数据中执行ＤＥＬＥＴＥ是比较痛苦的事情

stone10

太痛苦了！
我现在不想说是谁的SQL好，方正一句话，都很慢！