12
返回列表 发新帖
楼主: aiaix

mysql一张大表,需要清理3个月以前的数据,各位有什么好的方法没

[复制链接]
论坛徽章:
3
懒羊羊
日期:2015-03-04 14:52:112015年新春福章
日期:2015-03-06 11:58:18蒙奇·D·路飞
日期:2017-09-21 11:23:37
11#
发表于 2014-8-14 11:03 | 只看该作者
本帖最后由 lujinke 于 2014-8-14 11:05 编辑

信息不够,你的这张表结构式怎样的?数据量多大?机器配置怎样,有什么限制条件等
如果在相关字段上有索引,可以使用delete from XX where condition limit 10000的这种形式去逐步删
每个delete之间sleep一定的时间

如果可以分区,建议按时间分区,直接drop掉旧的分区,速度会相当快,但是分区需要分区关键字是主键或者唯一键的一部分

所以,你不给出表结构等信息,谁都不知道问题该怎样解决

使用道具 举报

回复
论坛徽章:
5
奥运会纪念徽章:蹦床
日期:2012-08-24 16:50:342013年新春福章
日期:2013-02-25 14:51:24鲜花蛋
日期:2013-06-08 15:24:31ITPUB社区12周年站庆徽章
日期:2013-10-08 17:44:422014年世界杯参赛球队: 意大利
日期:2014-06-25 12:38:19
12#
发表于 2014-8-14 14:31 | 只看该作者
楼主可以把最近三个月的数据备份下(包括表结构) ,然后把这个表drop 掉
再新建表 把数据灌进去。
这个操作需要维护的时候才能做 不能在线做

使用道具 举报

回复
论坛徽章:
8
ITPUB9周年纪念徽章
日期:2010-10-08 09:32:262013年新春福章
日期:2013-02-25 14:51:24ITPUB社区12周年站庆徽章
日期:2013-10-08 14:54:39ITPUB社区12周年站庆徽章
日期:2013-10-08 14:56:08ITPUB社区12周年站庆徽章
日期:2013-10-08 14:59:19宝马
日期:2013-10-30 10:48:172014年新春福章
日期:2014-02-18 16:44:08马上有对象
日期:2014-02-18 16:44:08
13#
 楼主| 发表于 2014-8-14 14:46 | 只看该作者
lujinke 发表于 2014-8-14 11:03
信息不够,你的这张表结构式怎样的?数据量多大?机器配置怎样,有什么限制条件等
如果在相关字段上有索引 ...

数据总量大概2000W,索引有7-8单列索引。。我查了保留近三个月大概有900W,需要删除的有1000多W。分区暂时还没有考虑。

使用道具 举报

回复
论坛徽章:
32
ITPUB十周年纪念徽章
日期:2011-11-01 16:25:22马上加薪
日期:2014-12-08 22:53:43马上有房
日期:2014-12-09 01:05:19美羊羊
日期:2015-03-04 14:52:282015年新春福章
日期:2015-03-06 11:58:18巨蟹座
日期:2015-11-17 11:02:55双子座
日期:2015-11-17 12:21:47白羊座
日期:2015-12-10 17:27:08狮子座
日期:2016-02-23 10:11:01双子座
日期:2016-02-23 10:17:05
14#
发表于 2014-12-9 12:46 | 只看该作者
写个脚本分批删除处理的,数据量大不要delete from tb

使用道具 举报

回复
论坛徽章:
2
2011新春纪念徽章
日期:2011-01-04 10:34:48ITPUB十周年纪念徽章
日期:2011-11-01 16:24:04
15#
发表于 2014-12-17 18:10 | 只看该作者
先把需要删除的记录的主键ID查出来,存在一张表里,然后用游标,根据ID值分批删除数据。

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 未成年人举报专区 
京ICP备16024965号-8  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表