话题讨论：大数据是天使还是魔鬼？

华孙

liuhuoxingkong 发表于 2014-3-17 14:34
反恐可以用，只不过是个概率问题。感觉这个又回到数据挖掘算法的准确性上了，毕竟再好的算法也无法保证百分 ...

准确性和效率是一对矛盾，有时候可以牺牲一点准确定来换取更有必要的效率，尤其是反恐方面，毕竟快速反应是非常重要的。

gulunhua

大数据分析，只是一种分析，不能神话，说到底作用是有限的。

现在所谓的大数据分析，都是比较简单的，无非就是做一个占比，比如，在淘宝上买书的最多的是哪个省份的，买衣服最多的是哪个省份的，占比多少，或者相关性分析，买尿布的还买了什么其他商品，其中其它商品中，啤酒占比最大，于是尿布 和 啤酒 就有了关联性，也就是有了联系。

更多的分析，都是比较直观的，比如这个月的销售额比上个月高，于是分析过往的数据，发现很有意思，去年的情况也是如此。

再扩展一下，就像蝴蝶效应，这种复杂的关联，别说机器，连智商超高的人，也很难分析出来。

和人做出判断也好似类似的，就是通过表象来分析，当然，机器来做分析，不可能像人那么聪明，所以必须要通过足够多的数据，也即大数据来分析，才有可能得到一些有价值的信息，然后还必须要人来做最后的分析，数据只是数据，同一份数据，不同的人看，会有不同的结果。

gulunhua

华孙 发表于 2014-3-13 16:21
能，但最困难的就是数据融合，你要是能把监控探头的、电信的、银行的、税务的、海关的、法院的、航空的、 ...

呵呵，这个还有一个问题是数据的融合，因为各种数据，都是不规范的，比如摄像头的数据是视频，这种数据如何处理，那么多的视频，可能得几千个人不断的看监控，才能得出一些 可疑的镜头。

数据是有内在的价值的，但是他的价值可能高，也可能低，本质上只有去挖掘，才有可能体现出价值，而不是我们大脑中所谓形式意义上的价值。


另外，在北京周边的无数的垃圾场，把城市给包围了，应该用大数据预测一下，北京市什么时候会被垃圾覆盖，我估计很难预测准确，因为情况会变化，政府肯定会想办法处理这么多的垃圾的，所以，你可以预测，但是必须得考虑情况在变化，地下党原来打算在A点开会，但考虑到安全，决定改变开会地点，于是，如果预测速度很慢，且更不上变化，那么只会是预测失败。

2009532140

华孙 发表于 2014-3-21 22:00
准确性和效率是一对矛盾，有时候可以牺牲一点准确定来换取更有必要的效率，尤其是反恐方面，毕竟快速反应 ...

大数据很凶残，但前提是有用户，并有用户数据。

释怀355

才开始了解大数据，学习了

double_life

Q1.木有数据质量，神马数据都是浮云。数据给自己用，还是给别人用，就好比是在家做几道家常菜还是开餐厅，后者对于口味质量要求更高，毕竟食客们眼睛都在盯着呢。大数据技术在数据采集方面采用了哪些新的方法？

A：相比于单一的大数据，我更喜欢与另外三个领域结合：云计算、物联网、移动计算。通过云计算，我们一方面可以利用搜索爬虫收集公开数据，另外可以提供平台让用户与企业自愿分享数据，而后者分享的数据往往更精确，更实用，更“隐私”，但确实是经过用户授权的。举个简单的例子，我自愿把我们家每天的食谱贡献出去，假如有5000名类似我这样的，那么你想想看，我们是不是可以得出一个关于饮食结构意想不到的结论呢？通过物联网，我们可以采集智能家居相关数据，在大数据分析横行的今天，我们就可以相关数据分析算法，知晓室温，PM2.5对我们的就餐影响。再来说移动计算，基于LBS定位是数据采集的绝佳手段，如此以来，我们就可以采集人们的出行路线习惯，然后规划出合理路线，优化交通路径。综合来说，考虑数据采集，应当从云，物联网，移动互联网的三维角度，立体感十足。

Q2.尿布与啤酒风马牛不相及，若不是借助数据挖掘技术对大量交易数据进行挖掘分析，沃尔玛是不可能发现数据内在这一有价值的规律的。无论是优酷还是搜狐，我们或多或少总会看到一些还不错的相关视频推荐。马云曾经说过，“淘宝胜就胜在广告联盟”，电商的数据可以怎么“玩”？海量数据挖掘有哪些常用的技术？大数据的数据库相比于传统的数据库有何变化？

A：实际上，我认为大数据和数据库是两个不同的学科。数据库的目标是记录数据，而大数据的目标是发现数据背后的隐含规律。更重要的是，数据库对于数据的记录是有限的，平面的。换句话说，文件才是数据最终的存储载体，也就是说，大数据的基础是文件，归根到底，数据库也是文件。
Q3.近几年来，云计算受到学术界和工业界的热捧。随后，大数据横空出世，更是赤手可热。那么大数据与云计算之间是什么关系呢？

A：我认为，无论是大数据，云计算，物联网，移动计算，都不要割裂来看。因为智慧的地球应该是互通互联的，数据无处不在，它可以位于云端，移动端，甚至物联网电子设备上，形成完整的闭环。

Q4.目前人们对大数据可以说是又爱又恨，爱的是它提供了诸多便利和新的发展机会，恨的是它有时候会带来网络欺诈、侵犯个人隐私等现象，比如近期“棱镜门”事件折射出来的是对大数据技术的担忧。近期301中国昆明发生的恐怖袭击、国人为之揪心的马航失联事件、堪比“9·11”的曼哈顿爆炸等一系列事件让我们不断反思，也许大数据能为我们做些什么？大数据到底是天使还是魔鬼，你怎么看？

A：自打中国唐朝开始，老祖宗们就知道“水能载舟，亦能覆舟”的道理。任何一门高科技技术，用得好，造福人类，用得不好，祸国殃民。原子弹也是一个道理嘛！所以，我得结论就是，既是天使，亦是魔鬼。

2009532140

呵呵..

oracle_cj

zhichi....