查看: 4412|回复: 4

oracle GoldenGate for BigData:oracle--ogg--kafka

[复制链接]
论坛徽章:
0
发表于 2017-2-8 09:48 | 显示全部楼层 |阅读模式
问题:使用ogg for bigdata实现数据传输到kafka,在做update操做时,before数据没有显示,after中只有被修改的那一列数据,其它列也不显示,需要怎么配置才能使显示的消息更完整。此处使用的是json格式。

官方显示的json格式时update操作的显示:
6.3.2.2 Sample Update Message
{
   "table":"GG.TCUSTORD",
   "op_type":"U",
   "op_ts":"2013-06-02 22:14:41.000000",
   "current_ts":"2015-09-18T13:39:35.748000",
   "pos":"00000000000000002891",
   "tokens":{
        "R":"AADPkvAAEAAEqLzAAA"
     },   
   "before":{
              "CUST_CODE":"BILL",
              "ORDER_DATE":"1995-12-31:15:00:00",
              "PRODUCT_CODE":"CAR",
              "ORDER_ID":"765",
              "PRODUCT_PRICE":15000.00,
              "PRODUCT_AMOUNT":3,
              "TRANSACTION_ID":"100"
      },
   "after":{
              "CUST_CODE":"BILL",
                                "ORDER_DATE":"1995-12-31:15:00:00",
                                "PRODUCT_CODE":"CAR",
                                "ORDER_ID":"765",
                                "PRODUCT_PRICE":14000.00,
                                "PRODUCT_AMOUNT":3,
                                "TRANSACTION_ID":"100"   
       }
}

自己测试时update的显示:
{
    "table":"FAFASCHEMA.P",
    "op_type":"U",
    "op_ts":"2017-02-07 09:09:19.996232",
    "current_ts":"2017-02-07T17:09:26.783000",
    "pos":"00000000260000002118",
    "primary_keys":[
        "ID"
    ],
    "tokens":{
        "TK-HOST":"ray",
        "TK-OSUSER":"oracle",
        "TK-SCN":"1346678"
    },
    "before":{
    },
    "after":{
        "ID":"10",
        "NAME":"qqqqqqqq"
    }
}

我的kafka.props配置:
gg.handlerlist = kafkahandler
gg.handler.kafkahandler.type = kafka
gg.handler.kafkahandler.KafkaProducerConfigFile = custom_kafka_producer.properties
gg.handler.kafkahandler.TopicName = ggtopic
gg.handler.kafkahandler.BlockingSend =  false
gg.handler.kafkahandler.includeTokens = true

gg.handler.kafkahandler.Mode = tx
gg.handler.kafkah andler.topicPartitioning = none

#json
gg.handler.kafkahandler.format = json
gg.handler.kafkahandler.format.insertOpKey = I
gg.handler.kafkahandler.format.updateOpKey = U
gg.handler.kafkahandler.format.deleteOpKey = D
gg.handler.kafkahandler.format.prettyPrint = true
gg.handler.kafkahandler.format.jsonDelimiter = CDATA[]
gg.handler.kafkahandler.format.generateSchema = true
gg.handler.kafkahandler.format.schemaDirectory = dirdef
#gg.handler.kafkahandler.format.treatAllColumnsAsString = true
gg.handler.kafkahandler.format.includePrimaryKeys = true

#gg.handler.kafkahandler.maxGroupSize =100, 1Mb
#gg.handler.kafkahandler.minGroupSize =50, 500Kb
goldengate.userexit.timestamp=utc
goldengate.userexit.writers=javawriter
javawriter.stats.display=TRUE
javawriter.stats.full=TRUE
gg.log=log4j
gg.log.level=INFO
gg.report.time=30sec
gg.classpath=dirprm/:/root/kafka/kafka_2.10-0.9.0.1/libs/*:
javawriter.bootoptions=-Xmx512m -Xms32m -Djava.class.path=ggjava/ggjava.jar
打赏鼓励一下!
论坛徽章:
0
发表于 2017-7-5 14:43 | 显示全部楼层
我也遇到了这问题...不知道LZ是否已解决

使用道具 举报

回复
论坛徽章:
0
发表于 2017-7-5 15:13 | 显示全部楼层
自己解决了....
在extract进程里加了三个参数
GETUPDATEBEFORES
NOCOMPRESSDELETES
NOCOMPRESSUPDATES

使用道具 举报

回复
论坛徽章:
25
ITPUB9周年纪念徽章
日期:2010-10-08 09:34:02奥运会纪念徽章:射箭
日期:2012-08-20 13:26:382013年新春福章
日期:2013-02-25 14:51:242014年新春福章
日期:2014-02-18 16:44:08马上有对象
日期:2014-02-18 16:44:08巨蟹座
日期:2016-01-08 15:18:26巨蟹座
日期:2016-02-01 13:34:54狮子座
日期:2016-04-13 17:49:45巨蟹座
日期:2016-04-15 11:18:07双鱼座
日期:2016-04-22 17:11:56
发表于 2017-7-6 12:38 | 显示全部楼层
⑨月の秋雨 发表于 2017-7-5 15:13
自己解决了....
在extract进程里加了三个参数
GETUPDATEBEFORES

表的全字段补充日志也加一下

使用道具 举报

回复
论坛徽章:
0
发表于 2017-7-7 18:03 | 显示全部楼层
⑨月の秋雨 发表于 2017-7-5 15:13
自己解决了....
在extract进程里加了三个参数
GETUPDATEBEFORES

能否提供一份OGG->kafaka的配置文档呢。我在网上找的都没有效果。多谢了。

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

DTCC2020中国数据库技术大会 限时8.5折

【架构革新 高效可控】2020年6月4日~6日第十一届中国数据库技术大会将在北京隆重召开。

大会设置2大主会场,20+技术专场,将邀请超百位行业专家,重点围绕数据架构、AI与大数据、传统企业数据库实践和国产开源数据库等内容展开分享和探讨,为广大数据领域从业人士提供一场年度盛会和交流平台。

http://dtcc.it168.com


大会官网>>
TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 
京ICP备09055130号-4  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表