ITPUB论坛－专业的IT技术社区

登录 注册
ITPUB论坛－专业的IT技术社区»论坛 › ≡ 大数据与数据库 ≡ › 数据仓库与数据挖掘 › 使用Kettle同步数据
123456下一页
返回列表 发新帖
楼主: husthxd
收藏 | 打印 上一主题 下一主题

[原创] 使用Kettle同步数据

[复制链接]
husthxd
论坛徽章:
168
马上加薪 日期:2014-02-19 11:55:142012新春纪念徽章 日期:2012-02-13 15:10:582012新春纪念徽章 日期:2012-01-04 11:49:54蜘蛛蛋 日期:2011-12-05 16:08:56ITPUB十周年纪念徽章 日期:2011-11-01 16:19:41设计板块每日发贴之星 日期:2011-07-22 01:01:02ITPUB官方微博粉丝徽章 日期:2011-06-30 12:30:16管理团队成员 日期:2011-05-07 01:45:082011新春纪念徽章 日期:2011-01-25 15:42:562011新春纪念徽章 日期:2011-01-25 15:42:33
31#
 楼主| 发表于 2014-4-2 11:14 | 只看该作者
zhjfit 发表于 2014-4-2 11:09
那我要每次运行这次转换就清空K1_TEST 要怎么弄？

kettle里面可以设置的，找找看？

使用道具 举报

回复
zhjfit
论坛徽章:
1
优秀写手 日期:2014-04-17 06:00:17
32#
发表于 2014-4-2 16:11 | 只看该作者
husthxd 发表于 2014-4-2 11:14
kettle里面可以设置的，找找看？

好，谢谢！

使用道具 举报

回复
bountytian
论坛徽章:
8
ITPUB社区千里马徽章 日期:2013-06-09 10:15:34比亚迪 日期:2013-08-19 21:50:24保时捷 日期:2013-08-23 22:29:22红旗 日期:2013-09-13 00:58:03阿斯顿马丁 日期:2013-10-06 15:14:512014年新春福章 日期:2014-02-18 16:50:09马上有车 日期:2014-02-18 16:50:092014年世界杯参赛球队: 澳大利亚 日期:2014-05-23 18:01:59
33#
发表于 2014-5-22 16:58 | 只看该作者
楼主您好，目前我遇到这样一种情况：有个视图，数据记录近2000万条，500MB左右，oracle数据库，但是不知道这个视图的基表，只有查询权限，如果我使用kettle抽取到本地的oracle数据库效率怎样呢？我模拟过两台主机，但是kettle直接无响应了，请楼主指导，谢谢。

使用道具 举报

回复
flytiger
论坛徽章:
60
蛋疼蛋 日期:2012-03-22 20:34:08马上有钱 日期:2014-10-29 08:09:52马上加薪 日期:2014-02-19 11:55:14马上有对象 日期:2014-02-19 11:55:14马上有钱 日期:2014-02-19 11:55:14马上有房 日期:2014-02-19 11:55:14马上有车 日期:2014-02-19 11:55:14马上有车 日期:2014-02-18 16:41:112014年新春福章 日期:2014-02-18 16:41:11凯迪拉克 日期:2013-11-12 19:29:26
34#
发表于 2014-5-26 10:55 | 只看该作者
对于最后的有增加修改删除的这个效率如何？
还是直接做清表，然后再做全表转移过来合适

使用道具 举报

回复
husthxd
论坛徽章:
168
马上加薪 日期:2014-02-19 11:55:142012新春纪念徽章 日期:2012-02-13 15:10:582012新春纪念徽章 日期:2012-01-04 11:49:54蜘蛛蛋 日期:2011-12-05 16:08:56ITPUB十周年纪念徽章 日期:2011-11-01 16:19:41设计板块每日发贴之星 日期:2011-07-22 01:01:02ITPUB官方微博粉丝徽章 日期:2011-06-30 12:30:16管理团队成员 日期:2011-05-07 01:45:082011新春纪念徽章 日期:2011-01-25 15:42:562011新春纪念徽章 日期:2011-01-25 15:42:33
35#
 楼主| 发表于 2014-6-11 15:38 | 只看该作者
flytiger 发表于 2014-5-26 10:55
对于最后的有增加修改删除的这个效率如何？
还是直接做清表，然后再做全表转移过来合适

这个，倒是没有在大批量数据的情况下测试过。

使用道具 举报

回复
husthxd
论坛徽章:
168
马上加薪 日期:2014-02-19 11:55:142012新春纪念徽章 日期:2012-02-13 15:10:582012新春纪念徽章 日期:2012-01-04 11:49:54蜘蛛蛋 日期:2011-12-05 16:08:56ITPUB十周年纪念徽章 日期:2011-11-01 16:19:41设计板块每日发贴之星 日期:2011-07-22 01:01:02ITPUB官方微博粉丝徽章 日期:2011-06-30 12:30:16管理团队成员 日期:2011-05-07 01:45:082011新春纪念徽章 日期:2011-01-25 15:42:562011新春纪念徽章 日期:2011-01-25 15:42:33
36#
 楼主| 发表于 2014-6-11 15:39 | 只看该作者
bountytian 发表于 2014-5-22 16:58
楼主您好，目前我遇到这样一种情况：有个视图，数据记录近2000万条，500MB左右，oracle数据库，但是不知道这 ...

先确认下select查询是否很慢？
如果是的话，用kettle不会快的。

使用道具 举报

回复
Okhotsk
论坛徽章:
0
37#
发表于 2014-6-16 19:03 | 只看该作者
谢谢分享

使用道具 举报

回复
zhjfit
论坛徽章:
1
优秀写手 日期:2014-04-17 06:00:17
38#
发表于 2014-7-7 16:21 | 只看该作者
请教版主一个问题
我kettle数据同步是
是通过SQL查出记录 同步到另外的一张表去  关键字段 只能通过组合
但现在的问题是 组合里的关键字会存在空的情况 但去掉又没办法确定唯一的记录
所以在数据同步时 即时没有更新数据 也会存在一部分因对比错误而更新 这种情况要什么处理
谢谢！

使用道具 举报

回复
husthxd
论坛徽章:
168
马上加薪 日期:2014-02-19 11:55:142012新春纪念徽章 日期:2012-02-13 15:10:582012新春纪念徽章 日期:2012-01-04 11:49:54蜘蛛蛋 日期:2011-12-05 16:08:56ITPUB十周年纪念徽章 日期:2011-11-01 16:19:41设计板块每日发贴之星 日期:2011-07-22 01:01:02ITPUB官方微博粉丝徽章 日期:2011-06-30 12:30:16管理团队成员 日期:2011-05-07 01:45:082011新春纪念徽章 日期:2011-01-25 15:42:562011新春纪念徽章 日期:2011-01-25 15:42:33
39#
 楼主| 发表于 2014-7-7 16:34 | 只看该作者
zhjfit 发表于 2014-7-7 16:21
请教版主一个问题
我kettle数据同步是
是通过SQL查出记录 同步到另外的一张表去  关键字段 只能通过组合 ...

建议，还是加唯一ID字段吧。

使用道具 举报

回复
zhjfit
论坛徽章:
1
优秀写手 日期:2014-04-17 06:00:17
40#
发表于 2014-7-7 17:43 | 只看该作者
husthxd 发表于 2014-7-7 16:34
建议，还是加唯一ID字段吧。

我是通过查询出来的记录结果 要什么添加唯一的 ID 字段呢？

使用道具 举报

回复

123456下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有　联系我们 未成年人举报专区　
京ICP备16024965号-8 　北京市公安局海淀分局网监中心备案编号：11010802021510　广播电视节目制作经营许可证：编号（京）字第1149号   
快速回复 返回顶部 返回列表