【话题讨论】驾驭大数据 大数据时代话题讨论

xgghxkhuang

新式的有r语言

xgghxkhuang

还有hadoop

xgghxkhuang

sas在数据集很大的情形下也不行了

xgghxkhuang

目前考虑hadoop+mathout，
我建议是hadoop+r语言，
但是同事说r语言计算需要数据在内存中计算，所以不可靠，
hadoop+r语言真的不行吗？

logi

支持！

1、大数据时代未来是否会成为一个信息泡沫的时代？
大数据是信息发展的趋势，与会不会成为信息泡沫没有直接的因果联系，如果管理得好，就不会。就好像说，汽车多了会不会造成塞车一样，答案当然是不一定。

2、在海量的数据面前，我们有哪些工具可以使用，处理这些数据？
在大数据时代当然需要有力的工具来进行管理，现在很多企业都在研发这类产品，拭目以待！

周应侯

大数据觉得是一个必然趋势，只是时间问题

相信这几年新的工具将层次不穷！因为有需求所以又创造，现在需求还不明朗，所以摸索的比较多

nannan5000

本期讨论话题：
1、大数据时代未来是否会成为一个信息泡沫的时代？
     这是必然的，越来越多的数据，越来越多的信息。这么多信息如何筛选，哪些有用。肯定是有泡沫的。
2、在海量的数据面前，我们有哪些工具可以使用，处理这些数据？
     一般工具的就是ETL之类的。处理这些数据需要业务知识，从大量的信息中，根据规则抽取数据，供信息系统使用~

jimn1982

的确，大数据时代已经很近了。最近很热，公司也涉及到了大数据量的东西，怎么优化，怎么存储，都在考虑怎么做。
我想是不是应该在数据量小的时候就把有用的数据分析出来，而不是等到数据已经很大了才去做分析和挖掘呢？

fk1987614

个人见解 大数据就是通过对数据的一些规律，来发现整个事物的运行情况，这种数据就越多发现的规律越准确。
目前 Hadoop，Nosql等存储大数据，

pastime_Wang

1、大数据时代未来是否会成为一个信息泡沫的时代？

以前大数据的特点值是 "3V特性"，现在变成了"4V特性", 增加了"Veracity" ~~ 真实性!

大数据技术就是从具有"4V特性" 的 "结构化(半结构化)、非结构化" 海量数据中
, 快速获得有价值信息的能力, 通过"发掘和探索" 来获得新的洞察 (Insight ~~ 这个词现在很流行 ~~ )

特别适用于：日志处理、并行计算、ETL( 其实就是大家常说的MapReduce)、机器学习、社交媒体等

至于"信息泡沫"，我觉得大数据是去从庞大而多样信息中发掘和探索，这样的数据从本身来讲，
"独立的、少量的"是毫无用处的，无法发现有用的信息。
同样的采用传统的数据处理、存储、查询的方法是很难处理这样的数据。

大数据技术正是为了去除"泡沫"，发现有用的信息，特别像用最原始的方法 "淘金" 一样，
要不断的清洗、过滤掉海量的泥沙，才能发现米粒大的"真金" !

/******************************************************************************/
2、在海量的数据面前，我们有哪些工具可以使用，处理这些数据？

我推荐 IBM Infosphere 家族中的大数据平台: Infosphere Biginsight , Infosphere Streams

Infosphere Biginsight 静态海量数据存储与分析平台

基于开源 Apache Hadoop的框架实现， 在此框架上增加了IBM独
特的技术优势，如管理能力、工作流、安全管理，并融入了IBM研究实验
室的独特和领先的数据分析、机器学习技术以及文本数据分析挖掘
特点:
1、性能更好的GPFS-SNC 文件系统、IBM LZO compression 压缩技术、
2、开放性的接口和集成能力（特别是与IBM 本身产品的集成 如 CONGOS BI, SPSS）
3、企业级的高可用、高可靠性、可扩展性
   
Infosphere Streams 大数据的实时分析平台

实时分析极端大量的结构化和非结构化数据 , 高性能、并行流计算软件平
台，毫秒级数据响应级别实现"流计算"

与Infosphere Biginsight 进行集成，实现 "沉淀的数据和流动数据的无缝集成"

/******************************************************************************/

另外，大数据技术应用只是其中的一个方面，对于一个整体的解决方案，还需要其他的ETL工具(Infosphere  Information Server)
BI 等工具集成在一起，实现真正的大数据中心