抛砖引玉， 8000w左右的总数据量，删除1500w 左右的记录

szxiaocong

8000w左右的总数据量，删除1500w 左右的记录
大家有什么好的思路，想法，就delete 语句 ，表结构设计，
多多发言。
应该是个很不错的case



#A(guid uniqueidentifier)
---#A 1500w

table_all (guid uniqueidentifier, col1 varchar(36).....)
---table_all 8000w, guid pk, clustered index,


----solution 1
WHILE 1 = 1
BEGIN
  DELETE TOP(5000)
    FROM table_all
   WHERE guid in (SELECT guid FROM #A1 );               
  IF  @@rowcount < 5000 BREAK;
END
GO

#A(guid uniqueidentifier, rowid int identity pk)
---solution2
declare @i int
set   @i = 1      ---不断修改，循环
while @i < 100000 ---不断修改，循环
begin

        select * into #T from #A1 where rowid >= @i and rowid < @i + 10000

        delete a
        --select a.guid
        FROM table_all a inner join #T t on a.guId = t.guId

        drop table #T
        set @i  = @i + 10000

end
GO

szxiaocong

开拓一下思路，表字段类型，索引，临时表

luckyrandom

若有维护窗口，就直接删呗。。若ONLINE，条件不是PK or 唯一键，建议先查询出要删除的PK or 唯一键，再小批量批次删除

szxiaocong

luckyrandom 发表于 2018-2-2 13:19
若有维护窗口，就直接删呗。。若ONLINE，条件不是PK or 唯一键，建议先查询出要删除的PK or 唯一键，再小批 ...

恩，是的，分批次是必须的了。
但是这里，对于字段类型，应该有个性能区别
比如 如果关联字段是int，uniqueidentifier ，char，varchar，应该存在不同的性能

szxiaocong

就性能方面来说，建表时，最好有个自增量
，删除时，如果可以关联到int 的 ，肯定比 字符要好的多

szxiaocong

还有，就是要进行循环批次删除时，
为什么加了一个 临时的小表，进行操作
这里，大家可以自己测试下  where rowid >= @i and rowid <= @i + 10000
和  where rowid >=1 and rowid <= 10000

很多细节的东西，大家可以自己测试下。

owen_zeng

不错的分享，顶一个，通常情况下，建立作业一个作业，定期不停的执行，一次删除少量的数量这样做的比较多

owen_zeng

给加精华了，大家可以多多的讨论

luckyrandom

每天删除9位数的记录数。。各种姿势都有。。

lixunpeng

要是设计成分区表，就可以删分区了。当前的表也可以改造成分区表。