|
|
2.大数据时代的来临：机遇还是挑战？
3.大数据的系统架构需要什么样的标准结构？
我来谈谈第2、3个问题。这两个问题可以合在一起讨论，为什么呢？因为大数据时代本身就是既是机遇，又是挑战。
大数据时代有三个变化：
一是数据量。由TB级升至PB级，并仍在持续爆炸式增长。根据WinterCorp的调查显示, 最大的数据仓库中的数据量，每两年增加3倍（年均增长率为173%），其增长速度远超摩尔定律增长速度。
二是分析需求。由常规分析转向深度分析（Deep Analytics）。数据分析日益成为企业利润必不可少的支撑点。根据TDWI对大数据分析的报告，企业已经不满足于对现有数据的分析和监测，而是更期望能对未来趋势有更多的分析和预测，以增强企业竞争力。
三是硬件平台。由高端服务器转向由中低端硬件构成的大规模机群平台。由于数据量的迅速增加，并行数据库的规模不得不随之增大，从而导致其成本的急剧上升。出于成本的考虑，应用由高端服务器转向了由中低端硬件构成的大规模机群平台。
大数据的系统架构并非唯一，这里以大数据分析平台作为需求案例，来讨论其系统架构。
大数据分析平台需要的特性：
1）高可扩展性：横向大规模可扩展，大规模并行处理。
2）高性能：快速响应复杂查询与分析。
3）高容错性：查询失败时，只需重做少量工作。
4）支持异构环境：对硬件平台一致性要求不高，适应能力强。
5）较低的分析延迟：业务需求变化时，能快速反应。
6）易用且开放接口：既能方便查询，又能处理复杂分析。
7）较低成本：系统具有较高的性价比。
8）向下兼容性：系统能支持传统的商务智能工具。
根据以上需求，我们可以采用的系统架构为：选择并行数据库系统或者使用MapReduce方案，或者使用并行数据库+MapReduce的混合架构方案。 |
|
楼主: arron刘
IP卡
狗仔卡
发表于 2012-10-27 13:53
显身卡
