查看: 757|回复: 7

[SQL] 求一个SQL思路

[复制链接]
求职 : 数据库开发
论坛徽章:
17
优秀写手
日期:2014-02-27 06:00:13秀才
日期:2017-08-11 15:37:32弗兰奇
日期:2017-07-04 09:16:01秀才
日期:2017-06-29 10:16:48乌索普
日期:2017-05-26 08:58:24娜美
日期:2017-05-18 16:07:23ITPUB15周年纪念
日期:2017-05-02 15:22:36妮可·罗宾
日期:2017-04-06 10:06:19处女座
日期:2016-03-10 09:03:26白羊座
日期:2015-10-10 15:01:39
发表于 2017-10-12 16:28 | 显示全部楼层 |阅读模式
需求:
表1存放的一些时间区间, 他们的结束时间都一样,如:
calc_phase beg_dateend_date
近1月
2017/4/25
2017/5/24
近2月
2017/3/25
2017/5/24
近3月
2017/2/25
2017/5/24
近6月
2016/11/25
2017/5/24
近1年
2016/5/25
2017/5/24
近2年
2015/5/25
2017/5/24
近3年
2014/5/25
2017/5/24
近5年
2012/5/25
2017/5/24


表2 存放的 产品的每日的数据,如:
codet_datev
产品1
2017/1/1
1.2
产品2
2017/1/1
1.12
..
产品n
2017/1/1
0.98


需要计算所有产品统计区间的汇总V值:
codecalc_phase v
产品1近1月
14.88
产品1近2月
27.6
产品1近3月
40.72
产品1近6月
89.96
产品1近1年
186.47
产品1近2年
365.55
产品1近3年
543.55
产品1近5年
904.85


按照一般的表关联的方法:
SELECT t1.code,t.calc_phase,sum(v) as v FROM 表1 t
LEFT JOIN 表2 t1
on t1.t_date>=t.beg_date
and t1.t_date<=t.end_date
group by t1.code,t.calc_phase

问题:
产品的数据量很多,可能上亿条。因为表1的结束时间一样,在关联表1的时候取的很多冗余的数据,导致效率慢。
我当时想到的办法是,将表1行转列,然后取最大区间,计算多列值后再转行。 但是表1的数据是不确定的,这个办法也行不通了。
想问下大家有没有好的思路
认证徽章
论坛徽章:
168
SQL数据库编程大师
日期:2016-01-13 10:30:43SQL极客
日期:2013-12-09 14:13:35SQL大赛参与纪念
日期:2013-12-06 14:03:45最佳人气徽章
日期:2015-03-19 09:44:03现任管理团队成员
日期:2015-08-26 02:10:00秀才
日期:2015-07-28 09:12:12举人
日期:2015-07-13 15:30:15进士
日期:2015-07-28 09:12:58探花
日期:2015-07-28 09:12:58榜眼
日期:2015-08-18 09:48:03
发表于 2017-10-12 17:14 | 显示全部楼层
多算几层数据呢?将指标的值复用?比如三个月的指标可以用多个一个月指标完成计算。一年指标,可以用多个月指标搞定。层层推进?                        

使用道具 举报

回复
求职 : 数据库开发
论坛徽章:
17
优秀写手
日期:2014-02-27 06:00:13秀才
日期:2017-08-11 15:37:32弗兰奇
日期:2017-07-04 09:16:01秀才
日期:2017-06-29 10:16:48乌索普
日期:2017-05-26 08:58:24娜美
日期:2017-05-18 16:07:23ITPUB15周年纪念
日期:2017-05-02 15:22:36妮可·罗宾
日期:2017-04-06 10:06:19处女座
日期:2016-03-10 09:03:26白羊座
日期:2015-10-10 15:01:39
 楼主| 发表于 2017-10-12 17:15 | 显示全部楼层
Naldonado 发表于 2017-10-12 17:14
多算几层数据呢?将指标的值复用?比如三个月的指标可以用多个一个月指标完成计算。一年指标,可以用多个月 ...

简单sum倒是可以, 如果是涉及到样本统计的就不行了,比如标准差

使用道具 举报

回复
论坛徽章:
2
2015年新春福章
日期:2015-03-04 14:55:132015年新春福章
日期:2015-03-06 11:59:47
发表于 2017-10-12 20:29 | 显示全部楼层

使用道具 举报

回复
论坛徽章:
527
奥运会纪念徽章:垒球
日期:2008-09-15 01:28:12生肖徽章2007版:鸡
日期:2008-11-17 23:40:58生肖徽章2007版:马
日期:2008-11-18 05:09:48数据库板块每日发贴之星
日期:2008-11-29 01:01:02数据库板块每日发贴之星
日期:2008-12-05 01:01:03生肖徽章2007版:虎
日期:2008-12-10 07:47:462009新春纪念徽章
日期:2009-01-04 14:52:28数据库板块每日发贴之星
日期:2009-02-08 01:01:03生肖徽章2007版:蛇
日期:2009-03-09 22:18:532009日食纪念
日期:2009-07-22 09:30:00
发表于 2017-10-12 21:54 | 显示全部楼层
如果表2数据是逐日递增的,尽量采用增量计算,已经算过的结果保存起来。

使用道具 举报

回复
求职 : 数据库开发
论坛徽章:
17
优秀写手
日期:2014-02-27 06:00:13秀才
日期:2017-08-11 15:37:32弗兰奇
日期:2017-07-04 09:16:01秀才
日期:2017-06-29 10:16:48乌索普
日期:2017-05-26 08:58:24娜美
日期:2017-05-18 16:07:23ITPUB15周年纪念
日期:2017-05-02 15:22:36妮可·罗宾
日期:2017-04-06 10:06:19处女座
日期:2016-03-10 09:03:26白羊座
日期:2015-10-10 15:01:39
 楼主| 发表于 2017-10-26 11:26 | 显示全部楼层
newkid 发表于 2017-10-12 21:54
如果表2数据是逐日递增的,尽量采用增量计算,已经算过的结果保存起来。

今天找到了一个方差的增量算法,打算换成增量计算了。之前没算法,就一直纠结。
http://www.cnblogs.com/yoyaprogrammer/p/delta_variance.html

使用道具 举报

回复
论坛徽章:
527
奥运会纪念徽章:垒球
日期:2008-09-15 01:28:12生肖徽章2007版:鸡
日期:2008-11-17 23:40:58生肖徽章2007版:马
日期:2008-11-18 05:09:48数据库板块每日发贴之星
日期:2008-11-29 01:01:02数据库板块每日发贴之星
日期:2008-12-05 01:01:03生肖徽章2007版:虎
日期:2008-12-10 07:47:462009新春纪念徽章
日期:2009-01-04 14:52:28数据库板块每日发贴之星
日期:2009-02-08 01:01:03生肖徽章2007版:蛇
日期:2009-03-09 22:18:532009日食纪念
日期:2009-07-22 09:30:00
发表于 2017-10-26 23:20 | 显示全部楼层
chengccy2010 发表于 2017-10-26 11:26
今天找到了一个方差的增量算法,打算换成增量计算了。之前没算法,就一直纠结。
http://www.cnblogs.com ...

厉害,数学好就是占便宜。

使用道具 举报

回复
论坛徽章:
2
2015年新春福章
日期:2015-03-04 14:55:132015年新春福章
日期:2015-03-06 11:59:47
发表于 2017-11-13 22:30 | 显示全部楼层
。。。。。。。。。

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

【有奖讨论】解决存储挑战了解一下
奖品:米家车载空气净化器 、米家声波电动牙刷 、小米运动蓝牙耳机

在数字经济时代,井喷式增长的数据,在释放大量商业价值的同时,也随之对企业的IT基础设施带来了不容忽视的挑战!如何存储、管理、使用这些数据呢?这是一条比以往更艰难的路~

活动时间:9月20日-10月11日

参与讨论>>
TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 
京ICP备16024965号 北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表