[求助]如何以最快的速度插入数据？

itsyh · 发表于 2003-7-10 12:22

最初由 xuanxuan 发布
[B]其实楼主没说有别的要求呀如果单考虑速度，应该可以，即使有另外的要求
也不一定不行 [/B]

yes，只要能通过程序控制，速度快就能忙住偶的要求了：）
方法不限，程序复杂一些也行啊～～～～～～～～～～～～

呵呵多谢xuanxuan和zhuzhichao。。。。。。。。

zhuzhichao · 发表于 2003-7-10 13:35

你这样插入的语句岂不是一点意义都没有？

zhuzhichao · 发表于 2003-7-10 13:39

如果你只要一万多笔没有任何意义的记录，那么可以用如下的T-SQL搞定（假设testtable为空表）：
declare @i int
set @i = 14
INSERT INTO testtable (col1, col2,col3) VALUES (''00:00:00'', 12345678.901, newid())
while (@i>0)
begin
insert into testtable(col1,col2,col3)
select col1,col2,newid() from testtable
set @i = @i - 1
end

上面的T-SQL语句在你的机器上执行肯定少于10秒

zhuzhichao · 发表于 2003-7-10 13:42

最初由 itsyh 发布
[B]BCP是否要把数据写到TXT文件中，然后把TXT文件导入到数据库中么？这招不错哦！
但是不知道如何通过程序来控制？ [/B]

程序是可以写，但是一点意义没有。
先写txt文件，然后再用bcp将文件导入数据库不比直接写数据库慢得多？！[/COLOR]

xuanxuan · 发表于 2003-7-10 13:43

方式不限，但必须是可以控制的，也就是说要插入的列的值是由程序算出来的，然后要把结果集插入到数据库中。
可以通过编程控制，也可以把结果存为SQL脚本文件来执行。。。

目的就是要以最快的速度把结果插入到数据库中。

表结构有点像电话详细通话记录，会有大量数据需要不断更新到数据库中。

如果是这样，可以先生成一些数据文件，当数据批量生成后，再导到数据库中，比如一个小时导一次，一次导10000 或者更多的数据

关键看楼主是要达到什么应用目的如果是纯粹的测试，也许没什么意思

itsyh · 发表于 2003-7-10 14:18

关键看楼主是要达到什么应用目的如果是纯粹的测试，也许没什么意思
——肯定不是测试玩的了，我现在要实时采集数据，数据量越大，计算结果也越准确，
所以，希望能够以最快的速度把采集到的数据插入到数据库中，多谢！

我这个测试程序只是为了测试出到底能最多保存多少数据：）所以，跳过了
计算过程。

itsyh · 发表于 2003-7-10 14:23

最初由 zhuzhichao 发布
[B]

程序是可以写，但是一点意义没有。
先写txt文件，然后再用bcp将文件导入数据库不比直接写数据库慢得多？！[/COLOR] [/B]

不一定吧？我通过ms sql的数据恢复功能，能够在90秒恢复
100万条这样的TXT格式数据（40M这么大），按照这个速度，我只需要一秒钟就能把一万条数据保存为txt，花一秒钟来存到数据库钟，那简直是梦幻组合啊，呵呵，速度简直快到令人无法相信啊。

itsyh · 发表于 2003-7-10 14:30

最初由 zhuzhichao 发布
[B]如果你只要一万多笔没有任何意义的记录，那么可以用如下的T-SQL搞定（假设testtable为空表）：
declare @i int
set @i = 14
INSERT INTO testtable (col1, col2,col3) VALUES (''00:00:00'', 12345678.901, newid())
while (@i>0)
begin
insert into testtable(col1,col2,col3)
select col1,col2,newid() from testtable
set @i = @i - 1
end

上面的T-SQL语句在你的机器上执行肯定少于10秒 [/B]

偶不懂您的程序放在那里执行啊？抱歉，我对ms sql了解实在
有限，在Google也没能找到相关的方法，能劳烦你所说么？
通过什么方法来执行上面这个T－SQL啊？

zhuzhichao · 发表于 2003-7-10 15:23

itsyh，如果你能用delphi在一秒钟之内在一个txt文件中写入一万笔记录，那么我立即拜你为师，毫无虚言！
要知道用C也无法达到这样的效率。

我写的那段代码可以做为一个存储过程由你的delphi程序来调用，
也可以在MSSQL的Query Analyzer中直接执行，
也可以用程序直接执行（以字符串的方式，如果delphi的执行SQL如Java一样的话）

xuanxuan · 发表于 2003-7-10 16:15

如果这样，你先做数据保存到 txt 文件，再批量提交
这样，你能够保存的数据量就不受到数据库的限制
你能够采集多快，数据就能够保存多少

这样应该是最快的