紧急求助！！streams环境，IO量激增

teddyboy

请问你日志组大小？

wgz7747

每个都是100m，共三组，不过日志大小为10m我也试过，也没用

teddyboy

最初由 wgz7747 发布
[B]每个都是100m，共三组，不过日志大小为10m我也试过，也没用 [/B]

请注意你的alert.log，capture启动以后，从sequence 564开始mining，直到573，10个日志，就是1G的日志量，capture必须都扫一遍，虽然里面并没有LCR message，你可以再测试一下，记住capture启动前在任务管理器中的io读取字节数，启动capture直到当前日志，检查logminer扫描了多少个日志组，再到任务管理器中查看当前io读取字节数，减去前面那个数值，看是否正确再说。

wgz7747

我在看到你的留言后，我马上将已经停止了的capture重新启动起来了，下面是alert日志中的信息，我发现首先logmnr从原来的564又重新开始mining，这些归档日志文件本来已经mining了，现在capture停止后又重启了，现在又重新mining，似乎不正常，另外当mining到redo 6,我最后的一个在线日志文件时，任务管理器中的io量大概增长1g左右，是正常的，但是现在任务管理器中的io量的增长并没有减慢，在不到10分钟的时间里，现在io量已经增长了5g左右，总数达到了35g，我的日志是肯定没有这么多的

附件是总的alert日志，你可以看出里面的同一个文件mining了多次

Wed Oct 18 13:13:31 2006
Streams CAPTURE C001 started with pid=20, OS id=1644
Wed Oct 18 13:13:31 2006
LOGMINER: Parameters summary for session# = 182
LOGMINER: Number of processes = 3, Transaction Chunk Size = 1
LOGMINER: Memory Size = 10M, Checkpoint interval = 10M
LOGMINER: session# = 182, reader process P000 started with pid=21 OS id=3008
LOGMINER: session# = 182, builder process P001 started with pid=22 OS id=3160
LOGMINER: session# = 182, preparer process P002 started with pid=23 OS id=3944
Wed Oct 18 13:13:55 2006
LOGMINER: Begin mining logfile: C:\ORACLE\PRODUCT\10.2.0\ORADATA\TENTHREE\ARCH1\ARC00564_0601831735.001
Wed Oct 18 13:13:56 2006
LOGMINER: End mining logfile: C:\ORACLE\PRODUCT\10.2.0\ORADATA\TENTHREE\ARCH1\ARC00564_0601831735.001
Wed Oct 18 13:13:56 2006
LOGMINER: Begin mining logfile: C:\ORACLE\PRODUCT\10.2.0\ORADATA\TENTHREE\ARCH1\ARC00565_0601831735.001
Wed Oct 18 13:14:27 2006
LOGMINER: End mining logfile: C:\ORACLE\PRODUCT\10.2.0\ORADATA\TENTHREE\ARCH1\ARC00565_0601831735.001
Wed Oct 18 13:14:27 2006
LOGMINER: Begin mining logfile: C:\ORACLE\PRODUCT\10.2.0\ORADATA\TENTHREE\ARCH1\ARC00566_0601831735.001
Wed Oct 18 13:14:28 2006
LOGMINER: End mining logfile: C:\ORACLE\PRODUCT\10.2.0\ORADATA\TENTHREE\ARCH1\ARC00566_0601831735.001
Wed Oct 18 13:14:28 2006
LOGMINER: Begin mining logfile: C:\ORACLE\PRODUCT\10.2.0\ORADATA\TENTHREE\ARCH1\ARC00567_0601831735.001
Wed Oct 18 13:14:29 2006
LOGMINER: End mining logfile: C:\ORACLE\PRODUCT\10.2.0\ORADATA\TENTHREE\ARCH1\ARC00567_0601831735.001
Wed Oct 18 13:14:29 2006
LOGMINER: Begin mining logfile: C:\ORACLE\PRODUCT\10.2.0\ORADATA\TENTHREE\ARCH1\ARC00568_0601831735.001
Wed Oct 18 13:14:30 2006
LOGMINER: End mining logfile: C:\ORACLE\PRODUCT\10.2.0\ORADATA\TENTHREE\ARCH1\ARC00568_0601831735.001
Wed Oct 18 13:14:30 2006
LOGMINER: Begin mining logfile: C:\ORACLE\PRODUCT\10.2.0\ORADATA\TENTHREE\ARCH1\ARC00569_0601831735.001
Wed Oct 18 13:14:31 2006
LOGMINER: End mining logfile: C:\ORACLE\PRODUCT\10.2.0\ORADATA\TENTHREE\ARCH1\ARC00569_0601831735.001
Wed Oct 18 13:14:31 2006
LOGMINER: Begin mining logfile: C:\ORACLE\PRODUCT\10.2.0\ORADATA\TENTHREE\ARCH1\ARC00570_0601831735.001
Wed Oct 18 13:14:31 2006
LOGMINER: End mining logfile: C:\ORACLE\PRODUCT\10.2.0\ORADATA\TENTHREE\ARCH1\ARC00570_0601831735.001
Wed Oct 18 13:14:31 2006
LOGMINER: Begin mining logfile: C:\ORACLE\PRODUCT\10.2.0\ORADATA\TENTHREE\REDO04.LOG
Wed Oct 18 13:14:45 2006
LOGMINER: End mining logfile: C:\ORACLE\PRODUCT\10.2.0\ORADATA\TENTHREE\REDO04.LOG
Wed Oct 18 13:14:46 2006
LOGMINER: Begin mining logfile: C:\ORACLE\PRODUCT\10.2.0\ORADATA\TENTHREE\REDO05.LOG
Wed Oct 18 13:14:47 2006
LOGMINER: End mining logfile: C:\ORACLE\PRODUCT\10.2.0\ORADATA\TENTHREE\REDO05.LOG
Wed Oct 18 13:14:48 2006
LOGMINER: Begin mining logfile: C:\ORACLE\PRODUCT\10.2.0\ORADATA\TENTHREE\REDO06.LOG

wgz7747

现在io量已经达到了38g，12分钟，增加了8g的io量，非常迅速，磁盘灯频闪，mining到最后一个在线日志文件后，capture进程没有停止或者减缓下来

teddyboy

我只能解释前面正常的状况，后面io读取继续增加我无法解释，至少你给的信息也无法判断。
logminer又从564这个日志开始，是因为capture记录的start scn是从这个日志开始的，所以每次启动都会从这里开始，不管它有没有被capture过。你如果删掉这个归档日志，capture会停止工作。所以应该定期move first scn，如何设怎么设参考文档dbms_capture_adm.alter_capture。比较简单的，设置Checkpoint Retention Time就行了，我一般设置1天，会自动move first scn。
关于这几个scn的关系，文档上写得非常清楚，dba_capture这个视图可以查询。

wgz7747

capture进程再重新启动后，是从start_scn重新开始吗？我原来以为是从required_checkpoint_scn开始呢？这个地方我需要再看一看

现在的问题就是当capture进程capture到最后一个在线日志文件后，没有停止capture，而是io量在急速增长，我在oracle自己的streams论坛上，看到了有人说也发现了这个问题，但是没有给出解决的办法
我看你的产品环境在用streams，你的oracle版本、操作系统环境？
在你的博客上我看到了你的streams实施步骤，我看一下，看看和我的步骤有什么不一样的？等一下，我在一个新的数据库将我实施streams的全部过程记录一下，你帮看一下，看有什么地方和你的不一样

wgz7747

我重新做了一遍，和我以前的做法完全一样，只不过是没有创建propagation和apply，你帮着看看，我看看你博客上的你做的过程，看和我的有什么不一样呢？
附件是我今天下午完整的测试过程，都在上面记录了，没有任何的遗漏
thanks！！

wgz7747

我看了一遍你的博客上的streams实施过程，是针对schema的，我等明天上午严格按照你的步骤，我做一遍，我看会不会有什么不同

wgz7747

另外有一个问题，不知道你注意到没有，在windows的任务管理器中，oracle的内存使用显示不正常，内存使用显示225兆，而虚拟内存显示为951兆，我从网上搜了搜，说建议更改pre_page_sga和lock_sga这两个参数，我发现这两个参数都没有使虚拟内存的使用降下来，不过也有可能是本来使用的是物理内存，只不过是在任务管理器里显示为虚拟内存