ITPUB??ì3
ITPUB论坛 » Oracle专题深入讨论 » 数据同步问题,job和物化视图失败的使用!高手请进

标题: [原创] 数据同步问题,job和物化视图失败的使用!高手请进
离线 taochenpfj
梦想中的版主


精华贴数 0
个人空间 0
技术积分 127 (13536)
社区积分 0 (931477)
注册日期 2006-5-16
论坛徽章:0
      
      

发表于 2008-5-20 23:35 
数据同步问题,job和物化视图失败的使用!高手请进

我们现在的项目中用到了其他一些关联表,这些表有的是本地表,有的是本地视图,有的是远程表或视图,如果直接做成一个视图来整合这些数据结构的话,会严重的影响查询速度,所有相关联的这些表或视图中的数据最多也就几万行(特殊情况下,可能会更多点!但是也不会达到百万千万的级别)。
一方面,我在调优这方面不是很精通;另一方面,也因为有远程和本地表或视图的多重关联,使得视图的调优工作很难进行!
我们现在的一种解决方式是用了10g中的物化视图,以前也用过job,
但是用job会出现把表数据清空,然后再重新插入这样的操作,所以就会出现短暂的数据表空这样的状态,从而使得系统从表面上看很不稳定,总是会出现null异常;
现在尽管物化视图可以从一定程度上缓解job带来的问题,但是,因为物化视图本身的问题会出现刷新数据缓慢,甚至根本就不执行刷新操作!!!
我的问题是我的job或物化视图有没有更好的管理方案,或者除了这两种方式之外,有没有更好的管理方案??请不要提触发器,那家伙不能随便用的,我的这个数据视图是个基础视图,所以对于触发器这种不是很稳定的东西,各位就不要建议了!!
各位,如果你们有这方面的经验,来支支招吧,不胜感激啊!!


只看该作者    顶部
离线 yuxuan
每天进步一点点


来自 合肥
精华贴数 0
个人空间 60
技术积分 3506 (401)
社区积分 328 (1716)
注册日期 2001-11-7
论坛徽章:11
数据库板块每日发贴之星生肖徽章2007版:蛇生肖徽章2007版:羊生肖徽章2007版:鼠数据库板块每日发贴之星2008北京奥运纪念徽章:拳击
行业板块每日发贴之星行业板块每日发贴之星数据库板块每日发贴之星行业板块每日发贴之星行业板块每日发贴之星 

发表于 2008-5-21 12:44 
用物化视图应该是很好的办法啊


__________________
努力工作,健康生活
只看该作者    顶部
离线 taochenpfj
梦想中的版主


精华贴数 0
个人空间 0
技术积分 127 (13536)
社区积分 0 (931477)
注册日期 2006-5-16
论坛徽章:0
      
      

发表于 2008-5-21 21:04 
我的那个物化视图里有很多的视图和远程表,并且物化视图中用了我们自己写的函数来筛选,可能这也是影响效率的一个问题!所以我就想能不能有其他的办法来解决这样一个问题!
因为我们现在的物化视图这个模式是我们软件的核心,它关联了其他一些表和/或视图
各位有没有解决这类问题的一个比较规范的方法啊,我因为上班的关系,白天不能上网,只能晚上来看,请各位多多提议!!!


只看该作者    顶部
在线/呼叫 wa0362
Say,Hallelujah!


精华贴数 1
个人空间 0
技术积分 2252 (689)
社区积分 97 (3406)
注册日期 2005-5-7
论坛徽章:9
授权会员2008北京奥运纪念徽章:跳水2008北京奥运纪念徽章:乒乓球2008北京奥运纪念徽章:沙滩排球2008北京奥运纪念徽章:马术ITPUB新首页上线纪念徽章
      

发表于 2008-5-22 10:48 


QUOTE:
原帖由 taochenpfj 于 2008-5-20 23:35 发表
我们现在的项目中用到了其他一些关联表,这些表有的是本地表,有的是本地视图,有的是远程表或视图,如果直接做成一个视图来整合这些数据结构的话,会严重的影响查询速度,所有相关联的这些表或视图中的数据最多也就几万行(特殊情况下,可能会更多点!但是也不会达到百万千万的级别)。
一方面,我在调优这方面不是很精通;另一方面,也因为有远程和本地表或视图的多重关联,使得视图的调优工作很难进行!
我们现在的一种解决方式是用了10g中的物化视图,以前也用过job,
但是用job会出现把表数据清空,然后再重新插入这样的操作,所以就会出现短暂的数据表空这样的状态,从而使得系统从表面上看很不稳定,总是会出现null异常;
现在尽管物化视图可以从一定程度上缓解job带来的问题,但是,因为物化视图本身的问题会出现刷新数据缓慢,甚至根本就不执行刷新操作!!!
我的问题是我的job或物化视图有没有更好的管理方案,或者除了这两种方式之外,有没有更好的管理方案??请不要提触发器,那家伙不能随便用的,我的这个数据视图是个基础视图,所以对于触发器这种不是很稳定的东西,各位就不要建议了!!
各位,如果你们有这方面的经验,来支支招吧,不胜感激啊!!

update和insert多吗?update和insert频繁吗?
可以测试一下物化试图的 on commit


__________________
只看该作者    顶部
离线 taochenpfj
梦想中的版主


精华贴数 0
个人空间 0
技术积分 127 (13536)
社区积分 0 (931477)
注册日期 2006-5-16
论坛徽章:0
      
      

发表于 2008-5-22 21:12 
因为我们关联的目的是能够整合基础数据,然后我们要关联远程表,所以,我们就不得以要用物化视图之类的解决方法,但是因为在我们的视图中加入了很多的函数判断存在性和比较,所以无法在物化视图中加入on commit的命令
各位,你们也不要局限于这两种关联方法,我想大家应该有用到关联数据的例子和经验,你们可以提供一点经验让我参考一下,我们就那么点数据不至于查1w左右的记录要耗费十几sec的时间啊
各位,扔点玉过来吧,我这砖不能让我没点收获吧?!


只看该作者    顶部
离线 taochenpfj
梦想中的版主


精华贴数 0
个人空间 0
技术积分 127 (13536)
社区积分 0 (931477)
注册日期 2006-5-16
论坛徽章:0
      
      

发表于 2008-5-24 10:09 
各位,给点意见吧!!相信这么点数据不应该出现这样的同步问题吧?!
我已经被这个问题困扰很长时间了!


只看该作者    顶部
离线 taochenpfj
梦想中的版主


精华贴数 0
个人空间 0
技术积分 127 (13536)
社区积分 0 (931477)
注册日期 2006-5-16
论坛徽章:0
      
      

发表于 2008-5-24 10:10 
我要自己顶上去,让各位出谋划策!!


只看该作者    顶部
离线 ZALBB
正在看龙蛇演义


精华贴数 8
个人空间 0
技术积分 28185 (29)
社区积分 13891 (101)
注册日期 2001-10-15
论坛徽章:49
现任管理团队成员2008北京奥运纪念徽章:曲棍球    
      

发表于 2008-5-24 18:50 
看你的表达,我觉得是你把路子作死了:使用物化视图,关键还是把数据刷新过来,
过来之后再整合,而不是在物化视图里匹配过虑。

能否让物化视图简单些,把数据读取过来后再过虑? 毕竟:物化视图的功能也是有限的。


__________________
三民主义统一中国。
只看该作者    顶部
离线 taochenpfj
梦想中的版主


精华贴数 0
个人空间 0
技术积分 127 (13536)
社区积分 0 (931477)
注册日期 2006-5-16
论坛徽章:0
      
      

发表于 2008-5-25 15:54 
谢谢楼上的,我考虑一下,把底层的远程表换成物化视图看看,我想应该能省很多力的,谢谢
不过还有个问题是,在9i中的物化视图不像10g中的那么好用,9中的主要是用job来实现,但是用job主要是全部的刷新,还是会出现我说的那种出现短暂的为空的这样的错误,不知道各位有没有什么更好的方法


只看该作者    顶部
 
    

相关内容


CopyRight 1999-2006 itpub.net All Right Reserved.
北京皓辰广域网络信息技术有限公司. 版权所有
E-mail:Webmaster@itpub.net
京ICP证:010037号 联系我们 法律顾问