大数据量去重问题如何解决？

冷月宫主

我有一个表，这个表每天有30-40万条数据，但是可能有一些重复的记录(仅部分字段)，我现在要去掉这些重复的记录，应该如何处理？
要求：
1、这个记录就是一个ID不同，其它都相同
2、去除重复的不是把所有的有重复的记录都去掉，而是把重复的记录变为一条

要考虑性能和效率的问题。

请大家给个意见或思路！谢谢

newkid

CREATE TABLE AS SELECT ...
然后创建唯一约束。

stevendba

这是一个设计的问题，为什么有重复的数据，事后用技术处理是下下策

dbcloudy

stevendba 发表于 2014-11-11 10:02
这是一个设计的问题，为什么有重复的数据，事后用技术处理是下下策

设计出什么问题了

stevendba

dbcloudy 发表于 2014-12-8 11:22
设计出什么问题了

这个记录就是一个ID不同，其它都相同
   --这个说明主键没有用

wenyzh

建议用分区表，按日分区，每天的数据只有30~40万，再按分区去重。每个分区按所有列（除）ID外分组取最小的ID,把得到的数据insert到一张新建的表中，再删除原表分区的数据（truncate 分区），再重新插回来分区即可。

gulunhua

试试这样：

1. create table t_new
   
2. select min(id) as id,
   
3.        a1,a2,a3
   
4. from t
   
5. group by a1,a2,a3
   
6. 
   
7. 
   
8. rename t to t_old
   
9. 
   
10. rename t_new to t

复制代码

最后 重新创建一些索引等

lv0113

gulunhua 发表于 2014-12-8 17:48
试试这样：最后 重新创建一些索引等

建立一个job每天执行一次，用一小段存储过程去删除当天的重复数据。

轩辕小珂

建议考虑录入的时候做控制。重复的数据就不要保存进数据库。
至于之前的数据整理，就不用考虑性能和效率的问题了。处理掉就好。

风铃中の鬼

30-40万算不上多大的数据量，只要在它们进入目的表之前处理好就行，在入表之前先插入临时表，然后去重，方法很多，7楼那个就是一种。。不用太考虑效率问题，40W并不算多，而且每天一次