【话题讨论】拨开云层 探究真相 寻找大数据真正的价值

dragonphenix

1. 大数据真正的价值体现在哪里？
      支撑业务战略决策，提高顾客服务水平，促进销售获得客户，开发创新产品，强化财会业务，实现决策自动化，进行基础研究，产品功能监视和检测情况，强化内部治理等等，基本上囊括了企业所有的行为，这也就是大数据的价值所在。
      大数据对于商业企业有以下五大方面的价值体现：
      数据的高透明度及广泛可获取性：一些制造商正试图集成多种系统的数据，甚至从外部供应商和客户处获取数据来共同制造产品。以汽车这类先进制造行业为例，全球供应商生产着成千上万的部件。集成度更高的平台将使公司及其供应链合作伙伴在设计阶段就开始协作。
      决策验证对竞争方式的影响：大数据可能使决策制定发生根本性的改变。利用可控实验，公司可验证假设、分析结果以指导投资决策及运作改变。
      应用于广泛的实时的用户定制及其对企业的影响：面向用户的企业已长期利用数据来细分和定位用户。大数据实现了用户定制的质的飞跃，使得实时个性化成为可能。下一代零售商通过互联网点击流可跟踪个体用户的行为，更新其偏爱，并实时模仿其可能的行为。
      大数据对管理的改变及替代作用：大数据能进一步提高算法和机器分析的作用。一些制造商利用算法来分析来自生产线的传感数据，创建自动调节过程以减少损失，避免成本高昂的人工干预，最终增加产出。
      建立基于数据的商业模型：大数据催生了新类型的公司，其能建立由信息驱动的商业模型。许多公司都在价值链中发挥中间作用，通过商业交易创建极具价值的“排出数据”。如一家运输公司收集了大量的全球产品出货信息，并专门建立一个部门负责向经济预测方销售数据。

2、你对于大数据的发展是怎么看的？
      大数据是未来IT发展的必然趋势。
    举个简单的例子，利用大数据能够帮助企业促进销售，获得客户。
    首先，大数据能告诉策划人员什么样的实时优惠对某个用户更有效，基于此用户的偏好，哪种服务渠道能产生更好的服务效果，哪种支付方式能够快速实现交易达成，还可以分析说当一个潜在客户通过搜索关键词找到产品页面后，达成交易的可能性有多大，在每天/每周/每月/每季度，不同的节日的特定时间段中，哪种促销方式最有效，当一个用户被营销活动覆盖到后，他实现购买的机会有多大。当一个用户完成购买后，其重复购买的机会有多大，其带动身边朋友实现购买的机会有多大，等等。
    对于销售方而言，大数据能够让他更加了解客户消费方式，如消费者的购物决策、影响决策的关键点，让他有能力提供定制的交易内容给高价值用户，让他有能力实时评估促销效果，还可以根据消费者习惯改变商品上架位置，等等；而对客户而言，大数据能让他可从他人评价了解更多商品信息，同时享受更多定制化和独家折扣优惠，能够实时使用消费分析工具进行评估，能够实现交易过程透明化等等。

hbwhcaptain

在移动互联网和企业信息化的基础上，大数据挖掘用户需求，发现企业瓶颈，为领导决策提供参考，大有可为。

songmingliang

1、你认为大数据真正的价值体现在哪里？
大数据是为解决巨量复杂数据这种趋势而生的。巨量复杂数据有两个核心点，一个是巨量，一个是复杂。“巨量”意味着数据量大，要实时处理的数据越来越多，对企业而言最重要的成本付出就是时间成本，而恰恰时间成本是企业最稀缺的资源，今时今日，创新讲的是领先他人，市场讲的是抢占先机，服务讲的是快客户一步，快时代的用户的需求是实时的，他不愿意等，你不满足他，自有他人会满足，因此企业的策略也必须是实时的，然而企业的策略是依托数据分析结果来制定的，一旦在处理巨量数据上耗费的时间超出了可承受的范围之内，这意味着企业的策略是落后于市场的。任何的时延都会使企业蒙受损失，创新落后于人成为微创新，市场被别人抢占只能作为挑战者，服务失去优势造成客户流失，这些都是致命的。大数据还有一个核心是“复杂”。“复杂”意味着数据是多元的，不再是过去的结构化数据了，因此我们过去的那一套数据分析的模型，理论已经不管用的，必须针对多元数据重新构建一套有效的分析理论/分析模型，甚至分析行为所依托的软硬件都必须进行革新。从这两个角度看来，大数据是企业在现在及未来的发展路上不可或缺的。

2、你对于大数据的发展是怎么看的？
个人认为今后大数据的发展方向有：
1.  数据分析服务
2.  数据可视化服务
3.  众包模式（Crowdsourcing Model）
4.  RDBMS（关系型数据库管理系统）供应商将东山再起
5. NoSQL市场将会重组
6.  数据分析库

nannan5000

1、你认为大数据真正的价值体现在哪里？
     在于对客观事物的理解更全面
2、你对于大数据的发展是怎么看的？
     需要管理跟上，数据是原料，怎么加工成美食，需要好的厨师和食谱~

charles02

占位  

jieforest

续12楼：

很悲哀的是，作为大数据分析应用的代名词，Hadoop的流行其实与数据分析无关。实际上大多数采用Hadoop的公司都没有将Hadoop用于大数据分析，而是把Hadoop作为一种廉价的海量存储和ETL（抽取、转换、加载）系统。这就是现状。

pastime_Wang

jieforest 发表于 2013-5-21 12:53
续12楼：

很悲哀的是，作为大数据分析应用的代名词，Hadoop的流行其实与数据分析无关。实际上大多数采用 ...

确实如此, HDFS+MapReduce的架构，沦为非(半)结构化数据存储、整合和治理的工具...

但是, 目前还是传统的dw+dm+olap, 基于结构化的数据占据主导, 2者的整合才是根本

现在的做法是将
1、从大数据中筛选、汇总的"有价值"的数据载入dw进行传统的分析, 预测和决策
2、DW直接从大数据存储中读取数据

xike2002

1、你认为大数据真正的价值体现在哪里？
答：大数据的因为有它自己的特点，所以它是未来发展的一个方向。
Hadoop 分布式文件系统 (HDFS) 是运行在通用硬件上的分布式文件系统。HDFS 提供了一个高度容错性和高吞吐量的海量数据存储解决方案。HDFS 已经在各种大型在线服务和大型存储系统中得到广泛应用，已经成为各大网站等在线服务公司的海量存储事实标准，多年来为网站客户提供了可靠高效的服务。
随着信息系统的快速发展，海量的信息需要可靠存储的同时，还能被大量的使用者快速地访问。传统的存储方案已经从构架上越来越难以适应近几年来的信息系统业务的飞速发展，成为了业务发展的瓶颈和障碍。
HDFS 通过一个高效的分布式算法，将数据的访问和存储分布在大量服务器之中，在可靠地多备份存储的同时还能将访问分布在集群中的各个服务器之上，是传统存储构架的一个颠覆性的发展。HDFS 可以提供以下特性：
• 可自我修复的分布式文件存储系统
• 高可扩展性，无需停机动态扩容
• 高可靠性，数据自动检测和复制
• 高吞吐量访问，消除访问瓶颈
• 使用低成本存储和服务器构建


下面是分布式文件系统 HDFS 的特性
高吞吐量访问
HDFS 的每个数据块分布在不同机架的一组服务器之上，在用户访问时，HDFS 将会计算使用网络最近的和访问量最小的服务器给用户提供访问。由于数据块的每个复制拷贝都能提供给用户访问，而不是从单数据源读取，HDFS 对于单数据块的访问将是传统存储方案的数倍。

对于一个较大的文件，HDFS 将文件的不同部分存放于不同服务器之上。在访问大型文件时，系统可以并行从服务器阵列中的多个服务器并行读入，增加了大文件读入的访问带宽。

通过以上实现，HDFS 通过分布式计算的算法，将数据访问均摊到服务器阵列中的每个服务器的多个数据拷贝之上，单个硬盘或服务器的吞吐量限制都可以数倍甚至数百倍的突破，提供了极高的数据吞吐量。

无缝容量扩充
HDFS 将文件的数据块分配信息存放在NameNode 服务器之上，文件数据块的信息分布地存放在 DataNode 服务器上。当整个系统容量需要扩充时，只需要增加DataNode 的数量，系统会自动地实时将新的服务器匹配进整体阵列之中。之后，文件的分布算法会将数据块搬迁到新的DataNode 之中，不需任何系统宕机维护或人工干预。通过以上实现，HDFS 可以做到在不停止服务的情况下实时地加入新的服务器作为分布式文件系统的容量升级，不需要人工干预文件的重新分布。

高度容错
HDFS 文件系统假设系统故障(服务器、网络、存储故障等)是常态，而不是异常。因此通过多方面保证数据的可靠性。数据在写入时被复制多份，并且可以通过用户自定义的复制策略分布到物理位置不同的服务器上;数据在读写时将自动进行数据的校验，一旦发现数据校验错误将重新进行复制;HDFS 系统在后台自动连续的检测数据的一致性，并维持数据的副本数量在指定的复制水平上。

2、你对于大数据的发展是怎么看的？
答：虽然大家对大数据还有一些陌生，但我们却不能忽视大数据的存在，大数据正蓬勃发展着。而当你在享受着大数据带来的便利时，并没有想到这就是大数据，直到自己手中的移动硬盘的容量在不断增大是，才意识到原来大数据浪潮来势如此凶猛。
现实生活中有数不清的例子说明我们已经生活在被大数据笼罩的世界中，比如通过分析大数据，预判犯罪行为的发生、寻找灾难中的生还者，微软研究院正利用来自哈勃等全球太空望远镜搜集来的数据和图像建立一幅宇宙地图……我们要知道的是全球每天会有220万TB的新数据增加——90%的数据都是在过去的两年里创造出来的，这个比例还在不断上升。

大数据的价值在美国的零售业早已得到运用，Tesco这家全球利润第二大的零售商从其会员卡的用户购买记录中，充分了解一个用户是什么“类别”的客人，并基于这些分类进行一系列的业务活动。比如，Target创建了一套女性购买行为在怀孕期间产生变化的模型，不仅如此，如果用户从他们的店铺中购买了婴儿用品，Target在接下来的几年中会根据婴儿的生长周期定期给这些顾客推送相关产品，使这些客户形成长期的购买习惯，从而形成对品牌的忠诚度。

“大数据”绝对是时下最火热的IT行业词汇，随之而来的数据仓库、数据安全、数据分析、数据挖掘等技术，正在为大数据带来大量的商业价值，逐渐成为行业人士争相追捧的利润焦点。

而与之相关的职业需求也呈爆发式增长，大数据职业的相关人才匮乏，人才缺口非常大。盖特纳咨询公司预测大数据将为全球带来440万个IT新岗位和上千万个非IT岗位。与大数据相关的职位有很多，目前主要集中在系统研发工程师、应用开发工程师和数据分析师三方面。

系统研发工程师的工作主要针对研究生阶段计算机系统研究领域学得比较到位的同学，包括云计算技术、分布式系统、计算机网络，大数据系统搭建技术等。就业方向一般是提供大数据应用的云计算基础架构公司，这类工作更偏向于纯技术类，需要一些对技术有长期钻研精神的人来参与，目前市场人才的紧缺程度非常高。

应用开发工程师需要精通的技术主要包括算法分析、结构化与非结构化数据库系统、流数据分析技术及应用软件开发技术等等。大数据应用开发工程师主要偏向应用层面的技术开发，比如对数据库进行数据挖掘、分析，也可以根据用户的不同制定个性化服务，IBM就会通过企业的具体需求定制适合他们的大数据应用。

数据分析师涵盖的工作范围最广，除大数据相关技术外还需要各行各业领域的相关知识。比如为广告公司搜集大数据，分析目标用户的浏览习惯，就需要懂得广告公司的媒介投放知识;再比如分析下雨天，顾客在选择面包和蛋糕时为何偏向于后者的数据原因时，需要结合面包顾客的心理动因等影响消费行为的因素。由此可见，数据分析是与消费者日常行为关系最密切的一项研究。

之所以称大数据为产业革命的第三次浪潮，很大一部分原因在于它正渗透到生活的方方面面。但目前国内本科毕业生没有机会系统学习大数据的技术和思想，往往不足以支持大数据的复杂工作，因此读研的时候选择这个专业自然是明智的，这样在未来就业中不会产生太多的竞争者。虽然国内的大数据相关行的专业并不多，但这并不表示这个专业就没有用，而顺着大数据的时代风潮相信定能为未来的职业发展锦上添花。

nick1319

大数据时代到来了

guoyJoe

支持刘大师！