看我做的数据库包装器

yulihua49

原帖由 yulihua49 于 2009-1-23 10:07 发表


这样行了吧：

JSON_OBJECT get_shift(T_SQL_Connect *SQL_Connect,char *msg)
{
int ret;
DAU u_DAU[2],tdev_DAU;
JSON_OBJECT result,json;
T_PkgType tdev_tpl[2]; //想选几个字段n+1

        result=json_object_new_array();
        ret=DAU_init(&tdev_DAU,SQL_Connect,"tuxdev",0,0);
        partt_copy(tdev_tpl,tdev_DAU.srm.tp,"devname"); //生成子模板，想选几个字段用，分割列表
        ret=DAU_init(&u_DAU[0],SQL_Connect,"dev_shift a",0,0);
        DAU_init(&u_DAU[1],SQL_Connect,"tuxdev b",tdev_DAU.srm.rec,tdev_tpl);
        sprintf(msg,"WHERE a.devid=b.devid");
        ret=DAU_getm(2,u_DAU,msg,0);
        while(!DAU_nextm(2,u_DAU)) {
                json=json_object_new_object();
                DAU_toJSON(&u_DAU[0],json,0);//user全部打包到json
                DAU_toJSON(&u_DAU[1],json,"devname");//组合dev_name到json
                json_object_array_add(result,json);//在JSON数组中加入一条记录
        }
        DAU_freem(2,u_DAU);
        DAU_free(&tdev_DAU);
        return result;
}

执行结果：

buf=SELECT  a.devid,to_char(a.stat_date,'YYYY-MM-DD') stat_date,a.shift_flg,a.shift_code,a.userid,to_char(a.log_time,'YYYY-MM-DD HH24:MI:SS') log_time,a.beg_no,b.devname FROM TICKET.dev_shift a,TICKET.tuxdev b WHERE a.devid=b.devid

result=[ { "devid": "JOLTTEST", "stat_date": "2008-10-20", "shift_flg": "BB", "shift_code": "5", "userid": "hp", "log_time": "2008-10-20 14:44:34", "beg_no": "A0000001", "devname": "JOLT测试终端" }, { "devid": "JOLTTEST1", "stat_date": "2008-11-06", "shift_flg": "AB", "shift_code": "5", "userid": "hww", "log_time": "2008-11-06 16:12:26", "beg_no": "A0000001", "devname": "黄伟伟的JOLT测试终端" }, { "devid": "SP0102002", "stat_date": "2009-01-20", "shift_flg": "DB", "shift_code": "5", "userid": "ylh", "log_time": "2009-01-20 13:54:03", "beg_no": "A0000001", "devname": "售票测试终端2" }, { "devid": "SP0102003", "stat_date": "2008-10-16", "shift_flg": "DB", "shift_code": "5", "userid": "", "log_time": "2008-10-16 10:14:53", "beg_no": "A0000001", "devname": "售票测试终端3" } ]

原想对DAU再做些改进，支持多表连接的bind功能。
结果：

http://tech.it168.com/db/o/2006-06-15/200606151715426.shtml
说ORACLE语句池不支持多表连接的语句：
为了不重复解析相同的SQL语句,在第一次解析之后, ORACLE将SQL语句存放在内存中.这块位于系统全局区域SGA(system global area)的共享池(shared buffer pool)中的内存可以被所有的数据库用户共享. 因此,当你执行一个SQL语句(有时被称为一个游标)时,如果它和之前的执行过的语句完全相同, ORACLE就能很快获得已经被解析的语句以及最好的执行路径. ORACLE的这个功能大大地提高了SQL的执行性能并节省了内存的使用.

    可惜的是ORACLE只对简单的表提供高速缓冲(cache buffering) ,这个功能并不适用于多表连接查询.


过去测过自动生成模板的时间，其内部是带bind的多表连接，耗时永远都是4ms，看来是支持了上述说法。如果语句池起作用，应该在1ms左右。
决定对多表连接不进行bind操作了。

[ 本帖最后由 yulihua49 于 2009-6-16 17:52 编辑 ]

zhangweicai74

可惜NEWKID未在

yulihua49

原帖由 zhangweicai74 于 2009-6-17 13:15 发表
可惜NEWKID未在

newkid很热心，受益匪浅。
希望朋友们多提意见和建议。

いるか

看的有點暈

yulihua49

1. 
   
2. www. oracle .com.cn/archiver/?tid-73788.html
   
3. 
   
4. 把oracle两边的空格去掉！
   
5. 
   
6. 5分钟内如何插入40万条以上的数据？
   
7. 问题描述：
   
8.       每5分钟要从硬盘上的一个文件中读取40万条以上的数据，并将其插入oracle的一张表中。
   
9. 
   
10. 尝试结果：
    
11.      使用libsqlora8，oracle 9.2,表中只有一个时间字段为索引
    
12. 代码：
    
13.    sqlo_db_handle_t dbh;
    
14. 
    
15.   /*open and login Oracle */
    
16.   if (SQLO_SUCCESS != sqlo_init(SQLO_OFF, 1, 100)) {
    
17.   }
    
18.   
    
19.   if (SQLO_SUCCESS != sqlo_connect(&dbh, "aa/aa@test")) {
    
20.    
    
21.   }
    
22.   
    
23.   sqlo_autocommit_off(dbh);
    
24. 
    
25.   int i=0;
    
26.   
    
27. /* foreach flow */
    
28.   while ((value = read_from(ftio))) {
    
29. 
    
30.     /* form SQL query and execute it */
    
31.       strcpy (query, "INSERT INTO ");
    
32.       strcat (query, "test");
    
33.       strcat (query, "(");
    
34.       strcat (query, fields);
    
35.       strcat (query, ") VALUES (");
    
36.       strcat (query, values);
    
37.       strcat (query, ")");
    
38. 
    
39.        /*执行查询*/
    
40.       if (0 > (stat = sqlo_exec(dbh, query))) {
    
41.       }
    
42.       i++;
    
43.       if((i % 3000) == 0){
    
44.               sqlo_commit(dbh);
    
45.               i=0;
    
46.       }
    
47. 
    
48.     next_records();
    
49. 
    
50.   } /* while */
    
51. 
    
52. /* close database */
    
53.   sqlo_commit(dbh);
    
54.   sqlo_finish(dbh);
    
55.   
    
56.   
    
57. 结果：
    
58.     在sqlo_autocommit_on(dbh);的情况下，插入50万条数据花了28分钟，按理说这种情况是最慢的，反而在我的试验中最快
    
59.     在sqlo_autocommit_off(dbh);的情况下，每3000条提交一次，插入44万条数据花27分钟，并不快;
    
60.     在sqlo_autocommit_off(dbh);的情况下，每5000条提交一次，插入47万条数据花27分钟，并不快
    
61.     在sqlo_autocommit_off(dbh);的情况下，每10000条提交一次，插入47万条数据花30分钟，并不快;
    
62. 
    
63. 看了很多插入数据的文章，都不得其解，难道真的要用OCI来写，才能实现复杂的批量操作吗？还有external table我这适合吗？
    
64. array(bulk) insert要如何实现啊？
    

复制代码

我没有那边的权限，在这回答：
在sqlora8里，使用游标，绑定变量就可以。
我这个例子，5300条/秒，达到160万条/5分钟。

[ 本帖最后由 yulihua49 于 2009-6-21 19:14 编辑 ]

newkid

在申请席位之前，会有一个查询车次、到发站的操作，边查数据库边计算运行周期。也可以完全在存储过程做。但上万台客户端要在3-4台RAC服务器做，压力太大。
因此我们还是逐个记录提取到TUXDO服务层，在这里计算、组合数据。其中只有10%左右的时间需要访问RAC。大部分时间十几台TUXEDO服务器的数百进程并行作业。

你有没有想过这个“逐个记录提取”的方法给数据库造成了额外的负担？你那点计算根本微不足道，别小看了SQL的计算能力。

RAC只为它们提供数据，如果大量数据重复请求，还可以在各层实现缓冲，实际数据存取量是很小的，所以总体速度和吞吐量要比存储过程快很多

用压力测试跑过我的存储过程吗？

    可惜的是ORACLE只对简单的表提供高速缓冲(cache buffering) ,这个功能并不适用于多表连接查询.
过去测过自动生成模板的时间，其内部是带bind的多表连接，耗时永远都是4ms，看来是支持了上述说法。如果语句池起作用，应该在1ms左右。
决定对多表连接不进行bind操作了。

11G支持对连接结果的CACHE.
但这和绑定变量有什么关系？不论你是单表查询，多表连接查询，SQL的解析原理都是一样的。你把数据缓冲区和共享池搞混了，回头好好复习ORACLE的体系结构。

qingyun

newkid 兄又复出了；开心啊。
不知道newkid 兄现在在哪高就呢。

newkid

原帖由 qingyun 于 2009-6-25 08:57 发表
newkid 兄又复出了；开心啊。
不知道newkid 兄现在在哪高就呢。

哪儿也没去，继续当剩男+宅男。整天没头苍蝇似的递简历。到现在为止只有一个DBA职位的面试机会，偏偏对方不太懂ORACLE,而我又不是能说会道的人，当然没什么好下场。现在哪怕招个初级职位，要求也比招女婿还苛刻！估计我的简历都直接进了垃圾堆。伯乐啊！你在哪里？

zhangweicai74

原帖由 newkid 于 2009-6-25 23:01 发表

哪儿也没去，继续当剩男+宅男。整天没头苍蝇似的递简历。到现在为止只有一个DBA职位的面试机会，偏偏对方不太懂ORACLE,而我又不是能说会道的人，当然没什么好下场。现在哪怕招个初级职位，要求也比招女婿还苛刻！估计我的简历都直接进了垃圾堆。伯乐啊！你在哪里？

没想过回国?
回国找个工作外派

qingyun

我一直很崇拜 newkid 兄， 不知道您除了oracle开发上比较“猛”外，在oracle 管理上是否很全面；
还有除了Oracle,其他技能，比如：Java,Spring+Struts2+HiberNate 等方面有很厉害；
我想java web方面猛的话，选择面还是挺宽的；

不过，加拿大福利那么好；就算呆在家里，生活也不成问题吧；