楼主: jlandzpa

[精华] 请大家探讨一个数据传送的方案(置顶几天)

[复制链接]
论坛徽章:
1
授权会员
日期:2005-10-30 17:05:33
41#
发表于 2002-7-31 17:41 | 只看该作者

HI Fenng

是不是在做移动计费的项目? 能否介绍一下数据采集后如何入库的?

使用道具 举报

回复
论坛徽章:
2
授权会员
日期:2005-10-30 17:05:33ITPUB元老
日期:2006-03-06 17:35:42
42#
发表于 2002-7-31 18:22 | 只看该作者
ORACLE的ADVANCED REPLICATION 能不能用。能不能完成上述需求?

使用道具 举报

回复
论坛徽章:
60
2007年度最佳版主
日期:2008-04-03 16:46:15现任管理团队成员
日期:2011-05-07 01:45:08双黄蛋
日期:2011-06-15 17:03:34ITPUB十周年纪念徽章
日期:2011-11-01 16:19:412012新春纪念徽章
日期:2012-01-04 11:49:542012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:20
43#
发表于 2002-7-31 22:15 | 只看该作者

Re: HI Fenng

最初由 tigerceo 发布
[B]是不是在做移动计费的项目? 能否介绍一下数据采集后如何入库的? [/B]


我不是做开发的,做实施的,抱歉

我所知道的只限于采集

使用道具 举报

回复
论坛徽章:
1
授权会员
日期:2005-10-30 17:05:33
44#
发表于 2002-8-1 09:20 | 只看该作者
有点难于理解!学会ORACLE,还需要什么辅助?

使用道具 举报

回复
论坛徽章:
16
授权会员
日期:2005-10-30 17:05:33生肖徽章2007版:鼠
日期:2009-01-16 00:53:15生肖徽章2007版:马
日期:2009-05-29 00:20:082010新春纪念徽章
日期:2010-03-01 11:05:02
45#
发表于 2002-8-1 11:55 | 只看该作者

Quest有一个产品叫Share/Plex的可以完成实时同步。

它好像是一个从OLTP数据库朝RPT数据库实时传递数据的工具,同时也有一点温备份的意思.应该可以满足那种实时性比较高的情况。
对于每天同步一次的只要网络还可以的,建议还是用exp/ftp/check/imp.其实可以将exp的文件分成多个小文件,防止因为网络的问题导致大量数据的重传。在ftp的client和server端分别写个shell然后利用cron job来调用,应该就ok了。

使用道具 举报

回复
论坛徽章:
0
46#
发表于 2002-8-1 14:24 | 只看该作者
其实复制技术应该可以的,可惜ORCLE的复制技术还不够成熟,
SYBASE的复制技术要的多了,可以实现异构环境的复制,全国铁路的售票系统就是用SYBASE的复制技术实现的,实时性不错,有事务复制技术,而不是快照。

使用道具 举报

回复
论坛徽章:
52
茶鸡蛋
日期:2013-01-04 17:45:30马上有车
日期:2014-02-19 11:55:14马上有房
日期:2014-02-19 11:55:14马上有钱
日期:2014-02-19 11:55:14马上有对象
日期:2014-02-19 11:55:14马上加薪
日期:2014-02-19 11:55:14
47#
发表于 2002-8-1 14:53 | 只看该作者
既然大家都在说,我也来热闹热闹。

我们采用的数据复制技术。数据库复制环境采用的是mssql server,生产环境采用的是DB2。

  为什么要采用这种方式呢,大体上有几个优势。

1、复制技术可靠性较好,实时性也不错。(可靠性好表现在无论数据库是重启还是关闭,它与复制无关。在网络条件不好的情况下复制技术也是可行了。数据库的分发会自动将分发数据打包,基本按100REC来传送,如果出错,重传的只不过是100REC而已。在实时性方面,它提供了几种传递方式,快照、增量、同步等。在网络状态较好的情况下,可基本实现实时传送(5秒左右)。)

去年我做过一次实验,通过moden方式连续实验了一周,证实每次的传输速度在(10M/小时)左右,并且在一周之中没出现过数据错误的现象。(该实验文档已找不到了)实验完成以后,我们公司就开始使用该方式传递数据。

实际应用状况:
  环境:我们的网络有好有差,总共有23个分公司通过ddn线路连结到北京,最大的带宽2m,小的有256K的。
     在我们的总公司的SQL服务器上,做了23个有出版物,用推的方式在每晚4 点强制发送数据到分公司的服务器上。经过近一年的运行,总体上可行,但有时也会出现数据传送失败的情况(大多由NT系统引起的,NT可靠性并不好,每周重启一次可解决大部分的问题),在数据分发失败的出版物,你要做的工作只是重新启动失败的分发服务就OK(SQL默认传送失败时生重试10次)。

数据传输对机器要求极低,刚开始的时候我们用的是一个PC机来做的,都12家分支机构时才更换为服务器。

使用道具 举报

回复
论坛徽章:
3
ITPUB元老
日期:2005-02-28 12:57:00授权会员
日期:2005-10-30 17:05:33会员2006贡献徽章
日期:2006-04-17 13:46:34
48#
发表于 2002-8-2 07:36 | 只看该作者
遇到你这样的问题,的确很困难。
不知道可不可以借用XML的概念。
A生成更新数据的xml压缩包。不知道现在XML是不是可以在Ftp上运行?
B接收,解压缩。分析更新数据库,返回更新日志。

使用道具 举报

回复
论坛徽章:
62
马上加薪
日期:2014-02-19 11:55:142011新春纪念徽章
日期:2011-02-18 11:43:332010广州亚运会纪念徽章:田径
日期:2011-02-17 18:03:352011新春纪念徽章
日期:2011-01-25 15:42:562011新春纪念徽章
日期:2011-01-25 15:42:332011新春纪念徽章
日期:2011-01-25 15:42:152011新春纪念徽章
日期:2011-01-25 15:41:502011新春纪念徽章
日期:2011-01-25 15:41:012010广州亚运会纪念徽章:三项全能
日期:2010-11-15 13:36:51ITPUB9周年纪念徽章
日期:2010-10-08 09:34:02
49#
发表于 2002-8-2 16:25 | 只看该作者

为什么不用stand by 呢?

用stand by 完全可以解决问题嘛,而且还可以做到zero loss

使用道具 举报

回复
论坛徽章:
4
ITPUB元老
日期:2005-02-28 12:57:00授权会员
日期:2005-10-30 17:05:33会员2006贡献徽章
日期:2006-04-17 13:46:34ITPUB技术丛书作者
日期:2010-09-26 15:24:56
50#
发表于 2002-8-3 21:30 | 只看该作者

Re: 为什么不用stand by 呢?

最初由 wzy25 发布
[B]用stand by 完全可以解决问题嘛,而且还可以做到zero loss [/B]


8i中的standby不能做到0数据丢失,因为在primary database没归档的和不能归档的数据就不能应用于standby database

9i的data guard,理论上可以解决这个问题,但据我所知,也只是记录了所有的操作,然后standby database执行的

对于这个问题,我没什么经验,不过如果是实行不高的话,我也觉得ftp不是很好么?如果实时性高的话,我觉得快照是否合适呢?

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 未成年人举报专区 
京ICP备16024965号-8  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表