楼主: jlandzpa

[精华] 请大家探讨一个数据传送的方案(置顶几天)

[复制链接]
论坛徽章:
0
51#
发表于 2002-8-4 12:55 | 只看该作者
采用分布式数据库配置,保证不出错,又快又好

使用道具 举报

回复
论坛徽章:
1
授权会员
日期:2005-10-30 17:05:33
52#
发表于 2002-8-4 16:08 | 只看该作者

我也说两句

使用db_link时,目的端的表上有触发器吗,尤其当使用多级触发时,速度会很慢,有时容易出错(主要是由于完整性约束造成的).如果没有任何触发器,速度还算可以.我曾经用拨号专门作过试验,同平时拨号上网差不多.另外,还有一个主要原因就是线路质量,如果线路质量不好,无论用什么方式传输,效果都不会好,包括ftp.

使用道具 举报

回复
论坛徽章:
52
天蝎座
日期:2016-02-18 17:22:06奥运会纪念徽章:花样游泳
日期:2012-07-16 22:06:37双黄蛋
日期:2012-03-21 20:16:10双黄蛋
日期:2012-02-29 11:03:35复活蛋
日期:2012-02-22 20:39:29紫蛋头
日期:2012-01-07 00:15:412012新春纪念徽章
日期:2012-01-04 11:49:54紫蛋头
日期:2011-11-27 21:54:28鲜花蛋
日期:2011-11-17 19:25:23ITPUB十周年纪念徽章
日期:2011-11-01 16:19:41
53#
发表于 2002-8-4 18:43 | 只看该作者
imp可能会导致从健索影,
若果表横大,健索引会很耗时

使用道具 举报

回复
论坛徽章:
62
马上加薪
日期:2014-02-19 11:55:142011新春纪念徽章
日期:2011-02-18 11:43:332010广州亚运会纪念徽章:田径
日期:2011-02-17 18:03:352011新春纪念徽章
日期:2011-01-25 15:42:562011新春纪念徽章
日期:2011-01-25 15:42:332011新春纪念徽章
日期:2011-01-25 15:42:152011新春纪念徽章
日期:2011-01-25 15:41:502011新春纪念徽章
日期:2011-01-25 15:41:012010广州亚运会纪念徽章:三项全能
日期:2010-11-15 13:36:51ITPUB9周年纪念徽章
日期:2010-10-08 09:34:02
54#
发表于 2002-8-6 09:12 | 只看该作者

9i的的最高保护模式,可以做到zero loss

我们已经测试完毕,准备上生产系统了
那又有兴趣,交流以下吗

使用道具 举报

回复
论坛徽章:
0
55#
发表于 2002-8-6 22:01 | 只看该作者
可以采用以下方法:

1.传输变更的信息的文件
2,下级复制相应的文件
3.下级有一台机器虚拟主机和其交换数据,生成下级变更的数据文件传回上级.

使用道具 举报

回复
论坛徽章:
0
56#
发表于 2002-8-8 09:00 | 只看该作者

SharePlex

有哪位使用过QUEST的这种复制方案吗?我想应该做的比Oracle自身的复制机制强壮和完善。可惜没用过。(哪里有下载?)
也许是个解决之道。

以下是摘来的该产品的介绍:
=============================SharePlex for Oracle
SharePlex for Oracle是Quest公司推出的一个完全的Oracle数据库复制解决方案,它可以复制数据库中大量的数据更新到一个或多个Oracle目标实例中。其独有的特色为企业的系统性能、统计分析以及失败恢复等需求提供良好的保证。
通过复制提高系统高可用性
为提高应用环境的高可用性和性能,企业需要一个冗余的、在线的和实时的数据复制方案。
SharePlex是一个革命性的、基于LOG的复制方案,它成功地满足以上需求。利用最小的开销, SharePlex实时复制数据到一个或多个数据库以确保数据的可用性。目标数据库可被用于实现即时的报表功能,也可以用作备份系统。
提高ERP系统性能
针对同一ERP数据库的在线交易和查询处理可引起性能问题—尤其在例如月底结算的高峰期。在线业务处理(OLTP)和查询处理对资源的竞争会产生严重的性能瓶颈。通过将报表和查询处理重新分配到当前生产数据库的副本上,SharePlex 解决了竞争冲突,提高了系统响应时间。
为电子商务提供高可用性
对于电子商务业务,系统故障直接影响市场融资和赢利。客户可能没有太多的耐心去等待在线厂商重新激活出现故障的系统,系统故障导致的B2B交易被耽搁所产生的后果就是客户关系被破坏、合同被终止。采用对等复制,SharePlex 支持全天候的企业业务,实现负载均衡,提高可用性。无论什么样的企业,SharePlex确保透明的Oracle数据库复制以提高性能和提供灾难恢复机制。
灵活的配置提供完整的、低负载的复制
对企业来说,最优的复制方案应能配置成支持当前的系统结构并随着业务扩大而升级。SharePlex的灵活性和多层结构,可针对任意配置提供最优的复制方案。可能分布式的ERP系统要求本地查询负载被减轻以使系统运行的更好,或者电子商务企业要求高可用性的、透明的数据库失败恢复方案,SharePlex是一个全能的软件复制系统,无论什么样的企业环境均能为之提供良好的性能和失败恢复方案。
主要特色
Ø        低负载
基于触发器(Trigger-based)的复制会给源系统的性能带来严重影响。相反,SharePlex使用基于Log的复制,复制操作集中于对数据的改变,因此将对源数据库系统、源操作系统和网络的影响最小化。SharePlex不使用Oracle引擎捕捉和发布变化。它使用自己特有的Oracle数据库log读和检索技术捕捉并传输数据变化。
Ø        快速和精确
SharePlex是非常快速的,同时保证了复制数据的精确性。在源数据库一端,SharePlex严格地遵守读一致性模式。在目标数据库一端,SharePlex使用标准SQL提交事务,并保证操作次序和会话上下文的一致。
Ø        全面 --- 包括数据类型和DDL
SharePlex 提供的完全复制程度是其它软件复制工具所不具备的。SharePlex支持带长列的表、带参照完整性约束的表、没有主键的表、序列等等的复制。这使SharePlex成为仅有的全面支持Oracle Financials应用程序组件复制的软件解决。此外,SharePlex复制ALTER TABLE和TRUNCATE命令,使它可以不需要其它软件复制工具就复制DDL活动。
Ø        灾难恢复
SharePlex for Oracle可以容忍实例失败、系统失败和网络失败。一般情况下,在源系统中运行的事务一旦被写入log,SharePlex立即将其发送到目标系统。然而,如果发生问题,SharePlex可以在源系统或目标系统进行事务排队(为了最小化对源系统的影响,排队位于Oracle源实例之外)。例如,如果网络down掉或目标系统down掉,SharePlex将源系统中的事务排队。当网络或系统恢复后,SharePlex将自动提交被排队的数据并清空队列文件。
Ø        灵活的配置和复制策略
SharePlex for Oracle可以被灵活配置,以支持各种复制策略。包括:
²        单向复制---从一个数据库向另一个数据库复制;
²        双向复制---两个数据库进行互相复制;
²        广播复制---由一个数据库向多个数据库复制;
²        集中复制---由多个数据库向一个数据库复制;
²        多层复制---由A数据库向B数据库复制,同时又由B数据库向C数据库进行复制。
Ø        易于安装和管理
SharePlex是独立的软件,不需要修改与数据库进行交互的应用程序和数据库本身。因此,安装非常简洁。配置和改变复制策略不影响源数据库系统中的生产活动。管理员可以用Windows界面或服务器端的命令行管理和监控复制操作的各个方面。
LiveReorg
Quest公司的 LiveReorg 将用户从传统重组时的系统中断中解脱出来。有了这种工具,大型、超负荷运行的表和索引即使在用户使用时也可以进行在线重组。在LiveReorg 的重组中,表中数据对用户而言始终是可以读写访问的。
Ø        不中断应用运行,即可对数据库进行重组
Ø        提供全面的空间管理方案,包括容量规划和错误预测
Ø        Quest基于日志的数据复制技术
Ø        针对Oracle E-Business Suite、PeopleSoft、SAP和24x7 电子商务应用设计和优化
完整的空间管理解决方案
除了在线重组外,LiveReorg还可完成全面的数据库布局管理。图形化的空间映射能够一目了然地揭示数据库对象在磁盘上的分布。直观的报表则可帮助用户更深入地挖掘需要注意的问题,包括需要重组的表和索引等。
一旦确定了重组的对象, LiveReorg即可启动实时或传统的重组过程,解决存在的问题。在线重组适用于表和相关索引。传统方式的快速重组则适于整个表空间的重组,或部分表、索引及行链接的重组。可以对表和相关的索引进行实时重组,也可以选择整个或部分表空间,特定表空间,相关的列执行重组。为了获得最佳的空间管理效果和系统性能,DBA可以利用LiveReorg的全面对象配置功能,实施并维护复杂的extent 分配机制。
数据库重组时,表和索引可以方便定位到不同的表空间,以改善I/O 分布。LiveReorg的在线重组功能允许DBA在保持数据连续可用的同时,将表或索引迁移到其它表空间或物理设备上。
故障预测
LiveReorg 不仅可以实现问题探测、数据重组和容量规划,还可预测数据库增长和表空间短缺等问题。Tablespace Failure Prediction 模块可以对复杂的数据库增长模式进行关联,预测何时会出现表空间短缺。预警式的管理可以提前数周或数月预测问题的出现,减少相关的系统中断。
快速灵活的数据移动
LiveReorg提供了一系列快速、灵活的数据移动选项,以支持实时和常规的重组。重组过程可以完全在数据库内,利用 SQL语句完成;也可以利用FastCopy选项,通过文件系统实现。在使用FastCopy时,LiveReorg会卸载数据到文件系统,并利用Oracle的直接路径技术对其进行重载。FastCopy还对非常大的Long和Long Raw数据类型提供了很好的支持。

使用道具 举报

回复
论坛徽章:
3
ITPUB元老
日期:2005-02-28 12:57:00授权会员
日期:2005-10-30 17:05:33BLOG每日发帖之星
日期:2009-05-30 01:01:03
57#
发表于 2002-8-8 20:47 | 只看该作者
从头看到尾,大家的方案都有些可取之处。
我个人认为(根据我以前做过的一些脱机交易的数据传输的经验),我觉得有如下几种方式可以试一试:
1、使用db_link,在使用db_link时有一些问题,网络条件不好每传过一组数据,最好提交一次,设计时考虑降低数据传输量。容易产生分布式死锁。
2、使用Oracle高级复制,跟DB_link是一样的,高级复制就是使用DB_LINK实现的。
3、使用Oracle的standby,这种方式有点大炮打蚊子的嫌疑,并且需要两端的数据库是一致的。因为standby是对redo log的传输,所以要求两边的数据库要一致。
4、编程做一个c/s结构的传输程序,使用ftp进行传输,实现起来也比较简单,效率比较高,速度也快,稳定性也好。但是需要好好的设计一下。
5、使用MQ,这是个最好的方案,但是可能比较贵。
6、可以使用JMS传输XML文件。
7、使用soap协议传输

第6、第7现在我们正处在论证阶段,有些人说很好,有些人说不行。过段时间可能会有结果。应该说使用消息中间件和JMS/soap应该是最有前景的。

使用道具 举报

回复
58#
匿名  发表于 2002-8-9 16:35

使用文本文件转送

将数据导出到格式文本文件,每个文件限制最多多少行,将多个TXT文件FTP到远端,在远端用SQLLDR进行装载,可以用统计文件个数和文件行数据的方法进行控制。

使用道具

回复
论坛徽章:
0
59#
发表于 2002-8-10 10:23 | 只看该作者
我认为用FTP不好,安全性有问题哦。你的数据库是什么版本的?能否考虑复制技术呢?

使用道具 举报

回复
论坛徽章:
0
60#
发表于 2002-8-11 21:08 | 只看该作者
建立快照复制如何?

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 未成年人举报专区 
京ICP备16024965号-8  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表