首页
论坛
门户
空间
手机版
IXPUB
插件
收藏
设置
注册
登录
商店
搜索
培训
Wiki
Blog
归档
丛书
退出
ITPUB论坛
»
MS SQL Server
» 超大数据量更新问题,在线等,急!
‹‹ 上一主题
|
下一主题 ››
16
1/2
1
2
››
投票
交易
悬赏
活动
评价
|
打印
|
推荐
|
订阅
|
收藏
标题: 超大数据量更新问题,在线等,急!
xb_wang01
初级会员
精华贴数 0
个人空间
0
技术积分 56 (26113)
社区积分 0 (1190340)
注册日期 2006-11-21
论坛徽章:0
#1
使用道具
发表于 2008-9-10 10:50
超大数据量更新问题,在线等,急!
我的问题如下:
sqlserver2000
现在有两个表,表一:Info( Info_ID int,info_code nvarchar(6),Info_data1 float,Info_data2 float) 数据量有1000多万
表二:Para(Para_ID int,info_code nvarchar(6),Para_fr float)数据量有50多万
现在的任务是要根据表二Para里的para_fr,来更新表一的Info_data1,Info_data2,两个表是根据Info_code这个字段连接的。
各位有什么好的解决方案吗?我直接用update from 子句,现在只是更新了300多万的数据都要3分种,哪位有好的解决方案,指教一下。
只看该作者
xb_wang01
初级会员
精华贴数 0
个人空间
0
技术积分 56 (26113)
社区积分 0 (1190340)
注册日期 2006-11-21
论坛徽章:0
#2
使用道具
发表于 2008-9-10 10:57
最简单的更新语句:
update info
set info.info_data2=info.info_data1,
info.info_data1=info.info_data1*t.fr
from info
left join para t on info.info_code=t.info_code
这个语句在info表有300多万,para表有5万多的数据情况下,就需要3分钟。
光靠代码估计不能提升性能,不知哪位有什么比较好的解决方案。
只看该作者
luckyrandom
中级会员
来自 广东-东莞
精华贴数 0
个人空间
0
技术积分 1916 (863)
社区积分 24 (7086)
注册日期 2003-12-30
论坛徽章:2
#3
使用道具
发表于 2008-9-10 11:25
每次都需要全表更新么,需要多长时间更新一次
结构设计上可以改么<应该是需要改的>
__________________
有偿企业系统开发、咨询、维护、故障排除<SQL SERVER+DELPHI>
QQ:315054403 MSN:dgdba@hotmail.com 就职于东莞中大型手袋生产企业,免费咨询勿扰
只看该作者
xb_wang01
初级会员
精华贴数 0
个人空间
0
技术积分 56 (26113)
社区积分 0 (1190340)
注册日期 2006-11-21
论坛徽章:0
#4
使用道具
发表于 2008-9-10 11:26
每天更新一次,现在基本不能改了,我提议把数据计算放在代码层做,也被否决了,现在上边说1000多万的数据如果能在10分钟内更新完毕就行,还是没谱啊。
只看该作者
shanfei
饭后百步走
精华贴数 0
个人空间
0
技术积分 1391 (1251)
社区积分 58 (4604)
注册日期 2002-2-5
论坛徽章:3
#5
使用道具
发表于 2008-9-10 12:25
换成delete+insert试试,备份一下表最好
先根据info_code删除了info表的数据,然后再从para表insert进去,不过不知道第一列的id是否可以删了重建
只看该作者
lucky7_2000
一般会员
精华贴数 0
个人空间
0
技术积分 673 (2888)
社区积分 5 (15681)
注册日期 2004-8-21
论坛徽章:2
#6
使用道具
发表于 2008-9-10 12:48
join 的条件列上有索引么..如果没有的话,加上索引会快一些.
还有如果可能的话,给两个表都加上tablock,应该也会快些.
__________________
msn:lucky7_2000@hotmail.com
某网络公司数据库管理员.
只看该作者
sqysl
孤独剑客
来自 山东
精华贴数 0
个人空间
9
技术积分 1570 (1108)
社区积分 36 (5889)
注册日期 2006-12-20
论坛徽章:0
#7
使用道具
发表于 2008-9-10 12:59
其实,MSSQL最脆弱的地方就是锁,因为他会吃掉很多内存,而且随着更新数据的增多,锁会升级。
所以,对MSSQL数据修改的第一条注意的就是尽量使事务小一些,而且尽可能快的提交。
我觉得可试验如下两种方法:
1、为两个表指定表级排他锁,而不用系统自动上的锁。
2、把这条语句分解为多个小事务,一个小事务提交一次,比如:外层用循环控制,内层进行UPDATE。
__________________
曾经沧海难为水,除却巫山不是云。
天若有情天亦老,人间正道是沧桑。
只看该作者
lucky7_2000
一般会员
精华贴数 0
个人空间
0
技术积分 673 (2888)
社区积分 5 (15681)
注册日期 2004-8-21
论坛徽章:2
#8
使用道具
发表于 2008-9-10 13:15
如果有实验结果的话,最好贴出来,看看建议是否可行...
__________________
msn:lucky7_2000@hotmail.com
某网络公司数据库管理员.
只看该作者
xb_wang01
初级会员
精华贴数 0
个人空间
0
技术积分 56 (26113)
社区积分 0 (1190340)
注册日期 2006-11-21
论坛徽章:0
#9
使用道具
发表于 2008-9-10 13:57
其实,MSSQL最脆弱的地方就是锁,因为他会吃掉很多内存,而且随着更新数据的增多,锁会升级。
所以,对MSSQL数据修改的第一条注意的就是尽量使事务小一些,而且尽可能快的提交。
我觉得可试验如下两种方法:
1、为两个表指定表级排他锁,而不用系统自动上的锁。
2、把这条语句分解为多个小事务,一个小事务提交一次,比如:外层用循环控制,内层进行UPDATE。
*********************************************************************
我考虑过分解成比较小的update语句,外边用游标循环,不过时间更长了。
只看该作者
lucky7_2000
一般会员
精华贴数 0
个人空间
0
技术积分 673 (2888)
社区积分 5 (15681)
注册日期 2004-8-21
论坛徽章:2
#10
使用道具
发表于 2008-9-10 14:38
有没有试过在join的条件上加索引,再加tablock?
__________________
msn:lucky7_2000@hotmail.com
某网络公司数据库管理员.
只看该作者
16
1/2
1
2
››
投票
交易
悬赏
活动
相关内容
ITPUB论坛
≡ 数据库技术 ≡
> Oracle数据库管理
> Oracle开发
> Oracle Developer Suite
> Oracle入门与认证
> Oracle专题深入讨论
> Oracle新技术/11g
> Oracle电子文档
> Oracle Fusion中间件
> IBM数据库产品
> MS SQL Server
> Sybase管理与开发
> MySQL及其它开源数据库
> 内存数据库
> 数据仓库与数据挖掘
> 移动及嵌入式数据库
≡ 企业信息化 ≡
> ERP产品与实践
> CRM产品与实践
> HR产品与实践
> 物流
> 供应链
> 供应链建模与仿真
> 物流设备与系统工程
> 企业管理咨询
> 管理协同与办公自动化
> IT服务管理
> 数据中心建设
> ERP二次开发
> Oracle ERP
> Oracle EBS R12
> PeopleSoft与JDE
> EBS相关文档
> SAP R/3
> SAP Business One开发与快速实施
> SAP财务及CRM
> SAP后勤及HR
> mySAP ERP
> 系统开发及跨应用设置
> SAP相关文档
> 国外其它ERP产品
> 国内ERP产品
≡ 开发技术 ≡
> Java入门与认证版
> Java web开发及框架技术
> Java企业开发
> ASP.NET【已迁移到微软开发技术论坛】
> .Net企业开发与应用【已迁移到微软开发技术论坛】
> WEB程序开发
> WEB 2.0技术
> 动态语言
> 移动与游戏开发
≡ 系统设计与项目管理 ≡
> 系统分析与UML
> 系统分析与UML精华区
> 项目管理
> 项目过程
> 软件测试
> 算法讨论与研究
≡ IBM软件技术园地 ≡
> IBM数据库产品
> Lotus
> Tivoli
> Websphere
> Rational
> 与SOA相关的IBM产品与技术
> IBM软件技术精英协会
> 软件技术精英活动专版
≡ 操作系统与硬件 ≡
> AIX及IBM产品【已迁移到IXPUB】
> HP-UX及HP产品【已迁移到IXPUB】
> Solaris及SUN产品【已迁移到IXPUB】
> Linux及其应用 【已迁移到IXPUB】
> 其它UNIX系统【已迁移到IXPUB】
> windows系统及微软相关产品 【已迁移到IXPUB】
> 存储设备与容灾技术 【已迁移到IXPUB】
> 服务器 【已迁移到IXPUB】
≡ 行业纵向讨论区 ≡
> IT业界评论与展望
> 政府与教育事业
> 中国政府信息主管联盟
> 电信行业
> 金融行业
> 医卫行业
> 制造行业
> 电力行业
> 信息安全与审计
≡ 会员交流 ≡
> IT职业生涯
> 招聘求职商务信息
> 体育世界
> 体育博彩专版
> 旅游,驴友
> 汽车世界
> 外语角
> 数码摄影
> 你的故事我的歌
> 音乐推荐区
> 电子图书与IT文档资料
> 软件交流
> 软件交流精华区
≡ ITPUB产品与服务 ≡
> ITPUB地面活动专版
> BLOG天地
> WIKI世界
> 授权用户区
> 站务管理
≡ 微软开发技术 ≡
> 开发工具和语言
> .NET Framework 相关
> Visual Basic/VB.net
> Visual C#
> Visual C++/vc.net
> Visual Studio
> .NET软件架构与模式
> .NET开发辅助工具及框架
> Web开发
> ASP.NET与AJAX
> Web相关技术讨论(IIS等)
> Silverlight 技术
> 微软企业级产品技术
> SQL Server
> windows server
> SharePoint
> Exchange Server
> Biztalk
> 嵌入式及移动开发
> Windows Embedded 嵌入式技术
> Windows 移动设备
> Office开发
> Microsoft office system
> Office Business Application
> 微软产品用户交流区
> .Net电子书籍&&书籍介绍
> .Net人才交流
技术积分榜
社区积分榜
徽章
电子杂志
会员
团队
统计
邮箱
游乐场
帮助
TOP
CopyRight 1999-2006 itpub.net All Right Reserved.
北京皓辰广域网络信息技术有限公司. 版权所有
E-mail:Webmaster@itpub.net
京ICP证:010037号
联系我们
法律顾问
控制面板首页
编辑个人资料
积分交易
公众用户组
好友列表
升级个人空间
基本概况
论坛排行
主题排行
发帖排行
积分排行
在线时间
管理团队
管理统计