大数据时代的来临：机遇还是挑战？

arron刘 · 发表于 2012-10-23 10:03

不管你愿意不愿意，我们每天都在制造和分享数据；

不管你关心不关心，我们已经生活在大数据的包围之中。

大数据，这个在 2012 年突然火爆起来的词汇，我们究竟该如何解读？

随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。《著云台》的分析师团队认为，大数据（Big data）通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

尽管大数据已经离我们如此之近，肯定还会有人问，“大数据”到底是什么意思？对某些人来说，大数据意味着笔记本电脑无法处理的大量信息；也有人将它定义为将不同数据源的数据收集到一起并分析出新的模式。简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。明白这一点至关重要，也正是这一点促使该技术具备走向众多企业的潜力。

讨论话题：

1.如何应对来自传统互联网、移动互联网、微博等数据给企业管理带来的新挑战？如何在做出关键决策的时候充分利用数据？
2.大数据时代的来临：机遇还是挑战？
3.大数据的系统架构需要什么样的标准结构？

讨论时间：2012.10.23-2012.11.6

活动奖励：讨论结束后将会选取五位会员赠送《转型时代丛书大数据——大价值、大机遇、大变革》图书一本。

图书介绍：本书介绍了大数据产生的背景、特征和发展趋势，从实证的角度探讨了它对社会和商业智能的影响，并认为大数据正影响着商业模式的转变，将带来新的商业机会。能否对大数据进行处理、分析与整合将成为提升企业核心竞争力的关键！

获奖会员：marvinoracle LuiseDalian mchdba jimn1982 chszs

jimn1982 · 发表于 2012-10-23 11:27

1.如何应对来自传统互联网、移动互联网、微博等数据给企业管理带来的新挑战？如何在做出关键决策的时候充分利用数据？
现在的数据无处不在，每天都在增加，应该说如果要保存数据，那么只有增加没有减少一说，只有一种情况数据会减少，那就是
传说中的2012大灾难来临，人类文明的毁灭。那么乐观一点吧。要去的怎么留也留不住，要来的总要来的。
处在这个数据大爆炸的时代，我个人认为所有的数据都是用的，但是并不是所有的数据都是有价值的。
作为一个公司或者企业应该着眼与有用的那部分数据，而不是胡子眉毛一把抓，抓重点就行。如果从海里的数据里捞出
有价值的数据这就是每个公司目前该做的。怎么做仁者见仁智者见智。

2.大数据时代的来临：机遇还是挑战？
是机遇还是挑战就对什么对象来说了。元芳你说呢。

3.大数据的系统架构需要什么样的标准结构？

如果管理，保存，利用这些海里的大数据并没有标准的统一的结构，适用企业或者个人本身就好。无所谓统一。
现金有类似经验的公司大有人在，baidu，google，他们只几年保存的数据还少吗？还有阿里等。他们是怎么做的，
google自己有gfs就是一个参考。不管数据有多大，我加节点，加服务器，加硬件。来着不惧。如何

chszs · 发表于 2012-10-27 15:46

2.大数据时代的来临：机遇还是挑战？
3.大数据的系统架构需要什么样的标准结构？

我来谈谈第2、3个问题。这两个问题可以合在一起讨论，为什么呢？因为大数据时代本身就是既是机遇，又是挑战。

大数据时代有三个变化：

一是数据量。由TB级升至PB级，并仍在持续爆炸式增长。根据WinterCorp的调查显示, 最大的数据仓库中的数据量，每两年增加3倍（年均增长率为173%），其增长速度远超摩尔定律增长速度。

二是分析需求。由常规分析转向深度分析（Deep Analytics）。数据分析日益成为企业利润必不可少的支撑点。根据TDWI对大数据分析的报告，企业已经不满足于对现有数据的分析和监测，而是更期望能对未来趋势有更多的分析和预测，以增强企业竞争力。

三是硬件平台。由高端服务器转向由中低端硬件构成的大规模机群平台。由于数据量的迅速增加，并行数据库的规模不得不随之增大，从而导致其成本的急剧上升。出于成本的考虑，应用由高端服务器转向了由中低端硬件构成的大规模机群平台。

大数据的系统架构并非唯一，这里以大数据分析平台作为需求案例，来讨论其系统架构。

大数据分析平台需要的特性：
1）高可扩展性：横向大规模可扩展，大规模并行处理。
2）高性能：快速响应复杂查询与分析。
3）高容错性：查询失败时，只需重做少量工作。
4）支持异构环境：对硬件平台一致性要求不高，适应能力强。
5）较低的分析延迟：业务需求变化时，能快速反应。
6）易用且开放接口：既能方便查询，又能处理复杂分析。
7）较低成本：系统具有较高的性价比。
8）向下兼容性：系统能支持传统的商务智能工具。

根据以上需求，我们可以采用的系统架构为：选择并行数据库系统或者使用MapReduce方案，或者使用并行数据库+MapReduce的混合架构方案。