[求助]如何以最快的速度插入数据？

zhuzhichao · 发表于 2003-7-10 17:04

能够直接写数据库，
为何还要先IO文件，然后再从文件导入？
一步做到的事情分成两步做岂不是耗费时间？

写IO的时间不一定比写数据库的时间少！

itsyh · 发表于 2003-7-10 17:10

写IO的时间不一定比写数据库的时间少！
——我的经验是写IO的时间一定比写数据库的时间少，因为写到数据库中是需要
验证数据的，而写到IO中是少了很多步骤的说，可以说它们俩不是一个数量级的，
不知道我理解对否？

itsyh · 发表于 2003-7-10 17:15

最初由 zhuzhichao 发布
[B]itsyh，如果你能用delphi在一秒钟之内在一个txt文件中写入一万笔记录，那么我立即拜你为师，毫无虚言！
要知道用C也无法达到这样的效率。
[/B]

测试完毕，如果写一万笔没有经过运算的文本的话，大概是0。07秒就能插入完毕：

Label1.Caption := IntToStr(GetTickCount);
FileHandle := FileCreate(SaveDialog1.FileName);
{ Write out the number of rows and columns in the grid. }
for I := 1 to 10000 do
begin
tempStr2 := 'aaaaa';
StringLen := Length(tempStr2);
FileWrite(FileHandle, StringLen, SizeOf(StringLen));
FileWrite(FileHandle,'aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa'+#13, Length('aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa'+#13));
end;
FileClose(FileHandle);
end;
Label2.Caption := IntToStr(GetTickCount);
Label3.Caption := FloatToStr((StrToInt(Label2.Caption) - StrToInt(Label1.Caption)) / 1000);

复制代码

zhuzhichao · 发表于 2003-7-10 17:22

我们以前做过文件数据库的，也就是用B+树做自己的数据库系统，是以文件格式存放。
那个数据库系统的效率和主流的RDBMS不可同日而语。
因为很多的RDBMS都有优化的动作在内。

就算是写一个简单的txt，那么消耗的时间也不会比写关系型数据库高出几个数量级。
而用bcp将txt导入也需要耗费时间，两个步骤加在一起的时间依本人的拙见一定是会比直接写数据库时间长的，因为中间还有一个程序交互动作的时间。

[COLOR =red]与其自己造轮子，不如使用现有轮子[/COLOR]
项目的时间永远是宝贵的。

itsyh · 发表于 2003-7-10 17:54

最初由 zhuzhichao 发布
[B]
就算是写一个简单的txt，那么消耗的时间也不会比写关系型数据库高出几个数量级。
[/B]

按照我的理解，单纯的写到一个txt文件中速度肯定远比分条写到数据库要快得多，我刚才写了一个程序也证明了我得想法，因为偶哪个txt才500K，对应于机器来说是ms级的超级即能写入完毕。

而对于插入数据到数据库，每插入一条记录数据库同时要做检查，更新系统表等等操作。。。

所以开销一定比写到文件要大得多，所以，为了加快速度，可以想办法减少这些开销，就能大大节约时间，
不知道我的想法对否？

itsyh · 发表于 2003-7-10 17:56

很高兴能让 zhuzhichao 和 zhuzhichao

抽出这么多时间来和我讨论这个topic。

我想问一下，如何在程序里面控制把我写好的txt导入到数据库啊？

多谢！

itsyh · 发表于 2003-7-10 18:12

这个sql语句写得非常精巧啊！在我的机器上执行需要11秒：）
一共插入了16384行记录。

但是这些都是数据库的表间操作的，没有与客户端进行交互
这个速度只能作为参考，不能应用到程序中。

declare @i int
set @i = 14
INSERT INTO testtable (col1, col2,col3) VALUES (''00:00:00'', 12345678.901, newid())
while (@i>0)
begin
insert into testtable(col1,col2,col3)
select col1,col2,newid() from testtable
set @i = @i - 1
end

复制代码

（所影响的行数为 1 行）
（所影响的行数为 1 行）
（所影响的行数为 2 行）
（所影响的行数为 4 行）
（所影响的行数为 8 行）
（所影响的行数为 16 行）
（所影响的行数为 32 行）
（所影响的行数为 64 行）
（所影响的行数为 128 行）
（所影响的行数为 256 行）
（所影响的行数为 512 行）
（所影响的行数为 1024 行）
（所影响的行数为 2048 行）
（所影响的行数为 4096 行）
（所影响的行数为 8192 行）

复制代码

xuanxuan · 发表于 2003-7-10 18:42

其实讨论了这么多我大致清楚了楼主的说法和炎龙骑士的意思。

楼主想尽快向数据库中导数据，一般来说，你的数据产生的多快，几乎就能够以多快的速度写到mssql 中，比如，你在一个终端上1秒采集1000行，那么这个数据应该可以在1到两秒的时间内完成向数据库的提交。当然我假定你不可能一直这样，否则你不会用 mssql 而改用实时数据库

向数据库直接提交数据，整体速度肯定比分步提交快。也不一定要 bcp
我开始只是说如果使用bcp单位时间的数据加载速度可能是最快的

所以建议你直接使用mssql插数据，如果出现问题，再改进程序或方法也可以。只要业务逻辑
没有变化，应该改动不大

itsyh · 发表于 2003-7-10 20:06

其实讨论了这么多我大致清楚了楼主的说法和炎龙骑士的意思。

楼主想尽快向数据库中导数据，一般来说，你的数据产生的多快，几乎就能够以多快的速度写到mssql 中，比如，你在一个终端上1秒采集1000行，那么这个数据应该可以在1到两秒的时间内完成向数据库的提交。当然我假定你不可能一直这样，否则你不会用 mssql 而改用实时数据库

——呵呵，我就是很郁闷，我的程序要求24小时要这么高密度的采数：（晕倒：（不知道你对实时数据库熟悉么？有没有什么物廉价美的产品推荐给我几个？

其实不用1－2秒这么高速度，当然是越快越好了：）呵呵，现在对我来说，小于10秒就是梦想了，呵呵

向数据库直接提交数据，整体速度肯定比分步提交快。也不一定要 bcp
我开始只是说如果使用bcp单位时间的数据加载速度可能是最快的

——好啊，只是不知道如何通过程序来控制啊？能给我个Demo学学么？3Q！！

所以建议你直接使用mssql插数据，如果出现问题，再改进程序或方法也可以。只要业务逻辑
没有变化，应该改动不大

——不知道这个是如何理解？不太懂，我需要实时往数据库插数据的哦，
如果按照你的方法是否需要找个人手工才能插入数据啊？

xmmhacker · 发表于 2003-7-10 20:15

有没有注意到插入日志的时间,如果使用bcp的话可以避免插入不需要的日志.要知道如果真的在业务系统上实时的倒数据库的,日志文件也是必须考虑的因素.