楼主: 晶晶小妹

晶晶小妹和VAGE共同开发的“日志挖掘”研究版(开源)发布了

[复制链接]
论坛徽章:
38
2010新春纪念徽章
日期:2010-01-04 08:33:082012新春纪念徽章
日期:2012-02-13 15:12:252012新春纪念徽章
日期:2012-02-13 15:12:252012新春纪念徽章
日期:2012-02-13 15:12:252012新春纪念徽章
日期:2012-02-13 15:12:252012新春纪念徽章
日期:2012-02-13 15:12:25版主2段
日期:2012-05-15 15:24:11优秀写手
日期:2013-12-18 09:29:08马上有车
日期:2014-02-19 11:55:14马上有房
日期:2014-02-19 11:55:14
141#
 楼主| 发表于 2009-5-18 09:29 | 只看该作者
原帖由 roger.federer 于 2009-5-14 22:16 发表



呵呵
从我自己的对log的分析来看,5.1这个OPCODE分析难度较大啊,特别想利用SUPPLEMENTAL LOG避开ROWID

我的半成品,写不下去了


5.1啊,难度还行啊。我还没往下继续,据说行链接、索引组织表、簇表,是难点。我的簇表马上就可以好了,解出来簇表,就可以解出来DDL了。
这只是解析阶段,解析完了还要传送到另一个数据库,还要和另一个数据库同步。后面还有很多工作要完成呢。

使用道具 举报

回复
论坛徽章:
38
2010新春纪念徽章
日期:2010-01-04 08:33:082012新春纪念徽章
日期:2012-02-13 15:12:252012新春纪念徽章
日期:2012-02-13 15:12:252012新春纪念徽章
日期:2012-02-13 15:12:252012新春纪念徽章
日期:2012-02-13 15:12:252012新春纪念徽章
日期:2012-02-13 15:12:25版主2段
日期:2012-05-15 15:24:11优秀写手
日期:2013-12-18 09:29:08马上有车
日期:2014-02-19 11:55:14马上有房
日期:2014-02-19 11:55:14
142#
 楼主| 发表于 2009-5-18 09:33 | 只看该作者
原帖由 lnwxzyp 于 2009-5-17 12:50 发表
VAGE大人 像是传说中的神人,不食人间烟火。
我觉得更适合自己搞研究 然后开培训班教书育人吧,毕竟工作还是非常需要沟通的。


,不食人间烟火,他又不是小龙女,一纯爷们,还不食人间烟火。vage只是比较低调,也不太爱上QQ,性格还是挺开郎的。

使用道具 举报

回复
论坛徽章:
86
ITPUB元老
日期:2005-02-28 12:57:002012新春纪念徽章
日期:2012-01-04 11:49:542012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:20咸鸭蛋
日期:2012-05-08 10:27:19版主8段
日期:2012-05-15 15:24:112013年新春福章
日期:2013-02-25 14:51:24
143#
发表于 2009-5-18 10:17 | 只看该作者
原帖由 roger.federer 于 2009-5-14 22:16 发表



呵呵
从我自己的对log的分析来看,5.1这个OPCODE分析难度较大啊,特别想利用SUPPLEMENTAL LOG避开ROWID

我的半成品,写不下去了


解析方面的核心问题我们基本全部解决,现在最大的挑战时如何应用的问题,尤其分析事务之间的关联性问题,暂时只有通过hash碰撞分析rowid冲突的方法,还不知道oracle的 logic standby是怎么分析的。
另:解析最难的是行链结的更新,要获取足够的样本分析完全行链结 实质上是一个很困难的事情,因为有些东西你不遇到则根本就想不到,自然也就模拟不出来。 光靠自己创建个数据库,可能怎么都存在bug。

[ 本帖最后由 biti_rainy 于 2009-5-18 10:19 编辑 ]

使用道具 举报

回复
论坛徽章:
0
144#
发表于 2009-5-20 11:00 | 只看该作者
大师说的很对!

原帖由 biti_rainy 于 2009-5-18 10:17 发表


解析方面的核心问题我们基本全部解决,现在最大的挑战时如何应用的问题,尤其分析事务之间的关联性问题,暂时只有通过hash碰撞分析rowid冲突的方法,还不知道oracle的 logic standby是怎么分析的。
另:解析最难的是行链结的更新,要获取足够的样本分析完全行链结 实质上是一个很困难的事情,因为有些东西你不遇到则根本就想不到,自然也就模拟不出来。 光靠自己创建个数据库,可能怎么都存在bug。

使用道具 举报

回复
论坛徽章:
3
授权会员
日期:2006-05-08 13:31:37会员2007贡献徽章
日期:2007-09-26 18:42:10ITPUB元老
日期:2008-02-18 08:49:13
145#
发表于 2009-5-20 11:13 | 只看该作者
强帖留名

使用道具 举报

回复
论坛徽章:
0
146#
发表于 2009-5-20 14:25 | 只看该作者
原帖由 晶晶小妹 于 2009-5-6 06:57 发表



谢谢夸奖,嘿嘿,这个软件我并没有花很多时间吖。我们两个人从开始构思到破译日志到开发也就是不到3周的时间吧!
呃。。以后会利用工作业余时间 逐渐完善,全部完成后,想实现 数据监控 数据抽取 数据实时复制
再数据抽取 和 复制的时候 想添加类似 物化视图的功能
这个最终版的功能 有些确实是oracle没有提供的。


这个想法太好了,通过读日志来实时传输数据,如果能做好复制断点的控制、事务完整性控制就好了,可以做成产品销售了。

使用道具 举报

回复
论坛徽章:
0
147#
发表于 2009-5-20 17:59 | 只看该作者
很好,很强大!
不过如果这样就炽手可热,我也花点时间弄个半成品去*.*

使用道具 举报

回复
论坛徽章:
3
2011新春纪念徽章
日期:2011-02-18 11:43:352015年新春福章
日期:2015-03-04 14:51:122015年新春福章
日期:2015-03-06 11:57:31
148#
发表于 2009-5-21 17:15 | 只看该作者
很好,很强大!有点像DBA界的当代花木兰哦

使用道具 举报

回复
论坛徽章:
0
149#
发表于 2009-5-21 17:53 | 只看该作者
崇拜的顶一下,谢谢楼主分享~~

使用道具 举报

回复
论坛徽章:
0
150#
发表于 2009-5-21 18:07 | 只看该作者
要商用不容易呀,DSG今天又报出一大bug,800W的表,读过去变成840W了

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 未成年人举报专区 
京ICP备16024965号-8  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表