话题讨论：大数据是天使还是魔鬼？

super_sky

支持一下吧，现在还没有真正从事大数据分析研究，还在数据的积累阶段啊

华孙

pipihappy8888 发表于 2014-3-13 16:27
老美在反恐方面利用大数据做的不错，但这次也没防住，可惜啦！

是啊，我们还没能做到像帕兰蒂尔那样牛，不过我们的行为计算团队也在研究

华孙

2009532140 发表于 2014-3-13 16:42
老师分析的不错

呦！！！呦呦呦！！！别，老师可不敢当，也就是感兴趣，工作中经常琢磨。

华孙

super_sky 发表于 2014-3-13 16:47
支持一下吧，现在还没有真正从事大数据分析研究，还在数据的积累阶段啊

不过，有办法获取互联网数据呀，爬虫嘛。如果能融合在一起，会给你极大的提速。大数据中的价值非常稀疏，如果在低速积累数据，可能会耽误很多时间。移动公司的GPRS数据，一个省一天1TB，攒60天可以看到很多金矿，但并不是说一天的数据就没有价值。

pipihappy8888

华孙 发表于 2014-3-13 17:35
不过，有办法获取互联网数据呀，爬虫嘛。如果能融合在一起，会给你极大的提速。大数据中的价值非常稀疏， ...

怎么淘到有价值的数据可能是关键。

2009532140

pipihappy8888 发表于 2014-3-13 17:43
怎么淘到有价值的数据可能是关键。

如何判断某个数据是否有价值更是关键

华孙

2009532140 发表于 2014-3-13 17:49
如何判断某个数据是否有价值更是关键

我觉得无法直接能判断出来，否则就不是数据挖掘了，很多时候我们是在做发现的工作，最开始根本就不知道运营商CDR话单跑pagerank算法，排在最前面的居然都是被标注多次的垃圾电话号码。

crakme

看了不少大数据方面的书还有资料
但真正想学以致用时却发现要么数据不够大  要么没什么价值  要么技术不够挖掘不出什么来
公司有几个T的交易数据，就只出了几个报表给领导看看，哎..................

xgghxkhuang

目前比较多的是ods，数据仓库，再加bi，bi大多是报表，
bi要的是体现业务逻辑，即数据准确，就像一把无形尺子丈量所有业务指标。

xgghxkhuang

xgghxkhuang 发表于 2014-3-13 21:45
目前比较多的是ods，数据仓库，再加bi，bi大多是报表，
bi要的是体现业务逻辑，即数据准确，就像一把无形尺 ...

数据仓库对应的有数据集市，建模设计，好的模型是数据冗余与性能的折中。
然后就是物理设计，有td，gp，或hadoop，
oracle不太适合数据仓库