123
返回列表 发新帖
楼主: xpzxsq

[讨论] sqlserver大表分区及迁移求助

[复制链接]
论坛徽章:
11
2010新春纪念徽章
日期:2010-01-04 08:33:082014年世界杯参赛球队: 加纳
日期:2014-07-14 15:09:36马上有房
日期:2014-02-18 16:42:022014年新春福章
日期:2014-02-18 16:42:02路虎
日期:2014-02-09 20:38:39ITPUB社区OCM联盟徽章
日期:2013-11-21 14:19:262013年新春福章
日期:2013-02-25 14:51:24ITPUB 11周年纪念徽章
日期:2012-10-09 18:08:15ITPUB十周年纪念徽章
日期:2011-11-01 16:24:042010新春纪念徽章
日期:2010-03-01 11:19:49
21#
 楼主| 发表于 2016-12-10 21:19 | 只看该作者
本帖最后由 xpzxsq 于 2016-12-11 11:15 编辑
mssql_wangwang 发表于 2016-12-10 17:00
这个跟你的简单模式没有关系,
分段插入数据。

BULK INSERT 认真研究了一下,FIRSTROW,LASTROW可以分段导入,BATCHSIZE这个使用上会降低导入速度吗?

使用道具 举报

回复
论坛徽章:
11
2010新春纪念徽章
日期:2010-01-04 08:33:082014年世界杯参赛球队: 加纳
日期:2014-07-14 15:09:36马上有房
日期:2014-02-18 16:42:022014年新春福章
日期:2014-02-18 16:42:02路虎
日期:2014-02-09 20:38:39ITPUB社区OCM联盟徽章
日期:2013-11-21 14:19:262013年新春福章
日期:2013-02-25 14:51:24ITPUB 11周年纪念徽章
日期:2012-10-09 18:08:15ITPUB十周年纪念徽章
日期:2011-11-01 16:24:042010新春纪念徽章
日期:2010-03-01 11:19:49
22#
 楼主| 发表于 2016-12-14 09:57 | 只看该作者
bulk insert分两段导入大表,一次8亿,一次10亿,再建索引,总共不到16小时左右搞定。非常感谢各位的支持。

使用道具 举报

回复
论坛徽章:
11
2010新春纪念徽章
日期:2010-01-04 08:33:082014年世界杯参赛球队: 加纳
日期:2014-07-14 15:09:36马上有房
日期:2014-02-18 16:42:022014年新春福章
日期:2014-02-18 16:42:02路虎
日期:2014-02-09 20:38:39ITPUB社区OCM联盟徽章
日期:2013-11-21 14:19:262013年新春福章
日期:2013-02-25 14:51:24ITPUB 11周年纪念徽章
日期:2012-10-09 18:08:15ITPUB十周年纪念徽章
日期:2011-11-01 16:24:042010新春纪念徽章
日期:2010-03-01 11:19:49
23#
 楼主| 发表于 2016-12-14 09:58 | 只看该作者
下一步工作,准备把原来大表所在表文件上所有表和索引导出,再重建文件组,再导入,释放磁盘空间。

使用道具 举报

回复
论坛徽章:
2
ITPUB15周年纪念
日期:2017-05-08 10:50:44罗罗诺亚·索隆
日期:2017-05-23 13:28:33
24#
发表于 2016-12-18 11:55 | 只看该作者
楼主我想问下:
BCP导出的是csv文件吗?
数据量这么大是使用了select语句过滤分批次导出的吗?
谢谢!

使用道具 举报

回复
论坛徽章:
11
2010新春纪念徽章
日期:2010-01-04 08:33:082014年世界杯参赛球队: 加纳
日期:2014-07-14 15:09:36马上有房
日期:2014-02-18 16:42:022014年新春福章
日期:2014-02-18 16:42:02路虎
日期:2014-02-09 20:38:39ITPUB社区OCM联盟徽章
日期:2013-11-21 14:19:262013年新春福章
日期:2013-02-25 14:51:24ITPUB 11周年纪念徽章
日期:2012-10-09 18:08:15ITPUB十周年纪念徽章
日期:2011-11-01 16:24:042010新春纪念徽章
日期:2010-03-01 11:19:49
25#
 楼主| 发表于 2016-12-26 17:11 | 只看该作者
导出时生产服务器内存足够大,而且赶时间,没有分批导出。导入分批了。

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 未成年人举报专区 
京ICP备16024965号-8  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表