查看: 5676|回复: 24

[PL/SQL] 【讨论】 跪求大数据关联算法

[复制链接]
论坛徽章:
1
优秀写手
日期:2014-11-14 06:00:14
发表于 2014-11-12 16:30 | 显示全部楼层 |阅读模式
===业务场景描述

1.有A(每天600万)、B(每天2000万)两个大表,B表通过ID获取A表更新。
2.B表每天需获取A表前5天和后5天数据关联。如B表9月6号数据需拿A表(9月1号到9月10号)数据更新。
3.每月初,要算上一个月B数据。
4.两个表都按天分区。

===现在实现方式
1.使用循环方式更新。
2.获取B表一天数据,然后循环获取A表(前5天和后5天)数据放入临时表。
3.用8表一天数据跟临时表关联更新。
4.每次循环删除临时表,根据B表数据时间,获取A表(前5天和后5天)数据。


====优点缺点

1.优点,避免一个A表和B表数据关联。
2.缺点,A表同一天数据被反复重复扫描。

===问题
寻求,既可以避免大数据关联,又可以减少A表扫描次数方法?
论坛徽章:
1
优秀写手
日期:2014-11-14 06:00:14
 楼主| 发表于 2014-11-12 16:39 | 显示全部楼层
自己顶一下!!

使用道具 举报

回复
论坛徽章:
5
生肖徽章:虎
日期:2006-09-06 21:14:00生肖徽章:蛇
日期:2006-09-06 21:14:08生肖徽章:鸡
日期:2006-09-07 17:09:34数据库板块每日发贴之星
日期:2006-10-14 01:02:29生肖徽章:猪
日期:2006-10-18 20:29:00
发表于 2014-11-12 16:40 | 显示全部楼层
顶一个!

使用道具 举报

回复
论坛徽章:
1
优秀写手
日期:2014-11-14 06:00:14
 楼主| 发表于 2014-11-12 17:00 | 显示全部楼层
再顶自己一个!!,期待大牛出现!!

使用道具 举报

回复
论坛徽章:
1
优秀写手
日期:2014-11-14 06:00:14
 楼主| 发表于 2014-11-12 17:01 | 显示全部楼层
期待五花牛和牛牛出现!!!

使用道具 举报

回复
论坛徽章:
22
2014年世界杯参赛球队: 哥斯达黎加
日期:2014-06-06 15:02:04沸羊羊
日期:2015-06-17 14:51:07天枰座
日期:2015-07-17 09:51:12金牛座
日期:2016-03-21 21:10:40摩羯座
日期:2016-03-29 15:07:30娜美
日期:2016-06-22 19:49:29奥运会纪念徽章:篮球
日期:2016-09-02 09:45:25奥运会纪念徽章:现代五项
日期:2016-09-23 16:25:05山治
日期:2018-01-04 21:26:162015年新春福章
日期:2015-04-27 10:18:48
发表于 2014-11-12 17:33 | 显示全部楼层
mark 一下,具体需求还是不是很清楚。
能否让A表在产生数据的时候(就是新增或更新的时候)就自动的把B表所需的数据统计出来。

使用道具 举报

回复
论坛徽章:
1
优秀写手
日期:2014-11-14 06:00:14
 楼主| 发表于 2014-11-12 17:45 | 显示全部楼层
不行,我们是做数据分析的,你说那功能得在前台系统应用中加。
即使这样,前台每增加一笔数据,也得去另一个表前后扫描5天去更新数据。

使用道具 举报

回复
论坛徽章:
1
优秀写手
日期:2014-11-14 06:00:14
 楼主| 发表于 2014-11-12 17:57 | 显示全部楼层
大家踊跃发言,也许你一点点不成熟的提醒,就能打开每个人的阿里巴巴大门。

使用道具 举报

回复
论坛徽章:
737
季节之章:春
日期:2015-07-31 17:16:29ITPUB季度 技术新星
日期:2014-07-17 14:37:00季节之章:秋
日期:2015-07-31 17:16:14季节之章:夏
日期:2015-07-31 17:16:29股神
日期:2014-10-15 09:23:31衰神
日期:2014-10-20 22:47:12季节之章:冬
日期:2015-07-31 17:16:14红钻
日期:2014-12-16 17:51:41洛杉矶湖人
日期:2016-09-23 08:18:15布鲁克林篮网
日期:2016-09-23 08:17:18
发表于 2014-11-12 21:16 | 显示全部楼层
大表更新不宜直接更新,宜用其他替代方案

使用道具 举报

回复
论坛徽章:
526
奥运会纪念徽章:垒球
日期:2008-09-15 01:28:12生肖徽章2007版:鸡
日期:2008-11-17 23:40:58生肖徽章2007版:马
日期:2008-11-18 05:09:48数据库板块每日发贴之星
日期:2008-11-29 01:01:02数据库板块每日发贴之星
日期:2008-12-05 01:01:03生肖徽章2007版:虎
日期:2008-12-10 07:47:462009新春纪念徽章
日期:2009-01-04 14:52:28数据库板块每日发贴之星
日期:2009-02-08 01:01:03生肖徽章2007版:蛇
日期:2009-03-09 22:18:532009日食纪念
日期:2009-07-22 09:30:00
发表于 2014-11-13 02:27 | 显示全部楼层
更新是指UPDATE? 既然有分区还要临时表干什么?

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

DTCC2020中国数据库技术大会 限时9.5折

【架构革新 高效可控】2020年8月17日~19日第十一届中国数据库技术大会将在北京隆重召开。

大会设置2大主会场,20+技术专场,将邀请超百位行业专家,重点围绕数据架构、AI与大数据、传统企业数据库实践和国产开源数据库等内容展开分享和探讨,为广大数据领域从业人士提供一场年度盛会和交流平台。

http://dtcc.it168.com


大会官网>>
TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 
京ICP备09055130号-4  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表