【讨论】关于数据层用不用存储过程封装的问题？

qingyun · 发表于 2010-9-20 22:28

原帖由 xjg 于 2010-9-20 11:30 发表
如果是企业级应用，都没有问题，大家都用存储过程吧，好维护，方便修改

但如果是大并发的WEB应用，很快你就会发现，所有的瓶颈都集中到了数据库服务器上面。

我估计这也是为什么TAOBAO、EBay很少会用存储过程。对他们来说，数据库只是用来持久化的，业务逻辑什么的，都在应用层实现。
只有这样分层，横向扩展才有可能，毕竟DB要横向扩展个几百几千台机器不大可能吧？

呵呵，这个我不太赞同. 不管你做什么业务操作，总要修改或查询数据库吧；

所以，你做任何操作，都要涉及的数据库的SQL；

就像你说的，“ 如果是大并发的WEB应用”，那么不用存储过程，你用什么呢?

你用在所谓的中间层的服务器上，用java或其他语言，拼接大量的SQL字符串，然后发送到DB执行，难道这样就可以让中间层服务器分担DB服务器的压力吗？
我觉得这样两个服务器都更累；

也许我的看法不对，也许中间层能够缓存数据，表现层的查询数据可以不通过数据库，直接在中间层缓存里得到；
但是我觉得这个不太现实，你怎么知道中间层内存缓存的数据时最新的呢？万一发生变化呢？莫非做一个中间层和DB的数据同步机制；
这就相当于中间层服务器模拟了数据库SGA的data buffer 的功能；这个起来应该很复杂吧？还有稳定吗?

就算做到中间层服务器能否分担数据库的查询压力；

但是那么多update ，中间层也能分担吗？也许中间层会集中多个SQL，一起提交（或者自动选择最佳的时间，在DB端最不累的时候提交）；避免了一个一个SQL不固定的单独提交？但是这样能降低db的压力吗？能实时吗？能稳定吗？

我一直理解的中间层服务器，说白了对数据库降低压力的地方，就是能做好连接池；

[ 本帖最后由 qingyun 于 2010-9-20 22:36 编辑 ]

zxp209 · 发表于 2012-3-9 11:30

拒绝二流发表于 2010-8-8 22:40
我不晓得 ebay 或 taobao 的技术会有多先进。。。
我们的应用都是这种架构 htm/jspweb server(java sql语 ...

这个跟我们做的一样，SQL基本在xml中拼接，然后调用。

dongqc · 发表于 2012-7-20 13:15

呵呵，学习了！

yangzikan · 发表于 2012-7-20 14:06

顶顶啊

www.ball002.com
www.ball005.com
www.ball008.com
www.ball009.com

yulihua49 · 发表于 2012-7-20 14:38

newdelete 发表于 2010-9-20 17:12
我们的标准跟你们cto一样，简单的sql，直接通过中间件包装进库，涉及大量业务处理或者大数据量的，用过程。 ...

极其复杂的业务逻辑不用存储过程。
而是使用交易中间件。

lsmnlsmn · 发表于 2012-7-20 15:37

HIBERNATE中的SQL通常都是字符串拼接的形式出现在代码中，IBATIS的SQL则是在配置文件中，而如果用ORACLE ADF就不用考虑SQL放哪里了。所以，这个SQL放哪里，是不是跟所使用的技术有关系呢？

yulihua49 · 发表于 2012-7-22 11:30

本帖最后由 yulihua49 于 2012-7-22 11:31 编辑

newkid 发表于 2010-7-29 21:54
不管你系统分几层，和数据处理相关的逻辑就应该在数据库里完成。

我不反对你的观点，但是要前缀“一般说”。
另外，“应该在数据库里完成”，不见得在存储过程。

yulihua49 · 发表于 2012-7-22 11:38

本帖最后由 yulihua49 于 2012-7-22 12:03 编辑

lsmnlsmn 发表于 2012-7-20 15:37
HIBERNATE中的SQL通常都是字符串拼接的形式出现在代码中，IBATIS的SQL则是在配置文件中，而如果用ORACLE AD ...

即使现拼接SQL,我们可以做到生成一次语句，打开一次游标，使用1000000次。而且分摊到N个前端线程，组织语句和解析开销都可以忽略不计。

前端有N个服务器，每个服务器有M个线程，每个线程每次接受1000个记录，处理后批量插入数据库。
处理过程：需要反复查询的字典表和基础数据表加载到内存，使用K-V机制进行内存查找，
对于每个记录，得到N个方案，评估出一个最终方案，这样处理一个记录。
这种并行操作，存储过程还不如前端SQL快。
后续处理采用存储过程。

所以，我的观点，用不用存储过程，根据需要，不能规定一律用或一律不用。

newkid · 发表于 2012-7-23 03:09

yulihua49 发表于 2012-7-22 11:38
即使现拼接SQL,我们可以做到生成一次语句，打开一次游标，使用1000000次。而且分摊到N个前端线程，组织 ...

几年过去了你还在搞这个批量插入做例子，有点新意行不行啊？
我的答复还像几年前一样：用外部表，可以INSERT SELECT, 可以MERGE, 可以直接路径加载，可以并行。
我才不会用存储过程去解析文件。
你那个游标缓存也是PLSQL玩剩下的。不过你从一开始拒绝使用绑定变量到现在用游标缓存，已经进步很大了。

lsmnlsmn · 发表于 2012-7-23 13:55

yulihua49 发表于 2012-7-22 11:38
即使现拼接SQL,我们可以做到生成一次语句，打开一次游标，使用1000000次。而且分摊到N个前端线程，组织 ...

受教受教。。。

[SQL] 【讨论】关于数据层用不用存储过程封装的问题？

浏览过的版块