话题讨论：大数据是天使还是魔鬼？

xgghxkhuang

xgghxkhuang 发表于 2014-3-13 21:49
数据仓库对应的有数据集市，建模设计，好的模型是数据冗余与性能的折中。
然后就是物理设计，有td，gp， ...

bi工具cognos或bo比较多用，由于报表的业务口径和数据总在变化，所以报表不停的修改和新增下线，做报表的不愁没有活干，但是维持这个报表系统代价很大，相比开发代价并不大。

hai503

大数据还得看 贵阳，不是吗？

hai503

大数据也不是多，就叫大数据，这些数据是要有价值，一堆没用的数据称不上“大数据”

xgghxkhuang

有少数做评分卡或分析的含金量很高，但是这个比较专业，一般很难入行，要求和壁垒都很高，其实分析关键看能否促进业务，要用的

qingduo04

让人做人擅长做的事,让机器做机器擅长做的事.大数据掀起的风暴已经席卷各个拥有海量数据的行业，渗入到了我们的日常生活中。当我们阅读Gmail的邮件时，页面会显示Google 提供的广告，而且这些广告与邮件内容相关；当我们上淘宝、Amazon购物时,我们会看到一些自己感兴趣的个性化推荐页面。当我们上奇艺、优酷看视频时，还会看到一些相关度较高的视频推荐。大数据触手可及，与我们的生活息息相关啦！
====================================================================
    这种有些叫 精准营销，通俗来说是根据OLAP系统对用户做分析，发现用户的行为习惯后，然后进行相应业务推送。

qingduo04

2009532140 发表于 2014-3-13 15:07
反恐这个事儿有点难度...策划好的恐怖事件就算有前兆也不明显...
也很少有人会相信。
据说昆明这个事儿 ...

这方面应该公安或者国安自己有一套这方面的分析系统，通过物联网（比较先进的词）等等，比如指纹，拍照，摄像头等发现可疑人员进行通报。
    如果有人在百度或者什么论坛发布这种消息，国家重视还行，不重视就当散播谣言..............

qingduo04

2009532140 发表于 2014-3-13 15:07
反恐这个事儿有点难度...策划好的恐怖事件就算有前兆也不明显...
也很少有人会相信。
据说昆明这个事儿 ...

这方面应该公安或者国安自己有一套这方面的分析系统，通过物联网（比较先进的词）等等，比如指纹，拍照，摄像头等发现可疑人员进行通报。
    如果有人在百度或者什么论坛发布这种消息，国家重视还行，不重视就当散播谣言..............

qingduo04

华孙 发表于 2014-3-13 17:35
不过，有办法获取互联网数据呀，爬虫嘛。如果能融合在一起，会给你极大的提速。大数据中的价值非常稀疏， ...

   嗯，爬虫可以爬取互联网的数据，但是互联网数据太大，太多了，必须制定规则，才能爬取。或者根据关键字或者根据url等等才行；否则几天下来，估计几百T的库也存不下了。

qingduo04

xgghxkhuang 发表于 2014-3-13 21:49
数据仓库对应的有数据集市，建模设计，好的模型是数据冗余与性能的折中。
然后就是物理设计，有td，gp， ...

   当前如果做大数据或者处理大数据，一般也就是hadoop处理较好，像oracle这种一般就是OLTP系统是使用，并发度高的。

2009532140

华孙 发表于 2014-3-13 17:57
我觉得无法直接能判断出来，否则就不是数据挖掘了，很多时候我们是在做发现的工作，最开始根本就不知道运 ...

再者，您觉得大数据中是否会被人为加载一些干扰数据..
就像恐怖组织知道有帕兰蒂尔这种公司的存在，并且尝到他们的厉害之后，会不会反道而行，使得数据挖掘难上加难....