【话题讨论】驾驭大数据 大数据时代话题讨论

xgghxkhuang

arron刘 发表于 2013-4-28 13:30
所以现在数据分析人员很火啊。

人的心也越来越浮躁，急功近利，都要出成果，没有时间去培养了

xgghxkhuang

arron刘 发表于 2013-4-28 13:30
所以现在数据分析人员很火啊。

我们用gp做数据仓库，sas分析

arron刘

xgghxkhuang 发表于 2013-4-29 10:47
知识更新太快，只能一专多强了，都学就都皮毛了

这点很正确啊。

傀儡戏子

大数据时代的到来说明我们所处的社会，各行各业都在快速发展，行业的发展必然产生更多的数据量，也必然催生大数据时代的到来，推进与大数据处理相关的技术的发展，我们需要对信息进行更好的拆分、整合、挖掘，从中得出于各个利益群体有益的信息；大数据时代的到来，会加快社会分工的专业化，还会催生一些新的职业（数据分析师等)，会有更多的技术人员、研究人员参与进来，也会有更多的社会群体(政府、企业、研究机构、大学等)来主导这个时代，从这个角度讲，我们应该相信大数据时代的未来一定不是一个信息泡沫的时代；

面对海量数据，最重要的是对数据进行分类、拆分处理，hadoop,Teradata 处理数据的思想都是十分有效和具有实践意义的，通过分布式计算，对海量数据去粗存精，在此基础上开发我们的应用；

aladdinl

大数据，只是个噱头，国内还落不了地吧，跟什么物联网之类的，一个道理。

tian1982tian

唉，就是ORACLE还没学咋地又来了个大数据，学不完的，不知道现在学ORACLE还有用没，是搞HADOOP还是搞ORACLE有前途呢?

hiyachen

SnakeL 发表于 2013-4-25 17:03
嗯，我们现在在用sap的系统，数据量太大尤其是增长量太大一直是个让人头痛的问题。最近我们也是在做相关的工 ...

很有挑战性哦

hiyachen

5楼说的火车票是大并发。大数据是数据量大、增量也大的。
大数据（Big data）通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。大数据分析相比于传统的数据仓库应用，具有数据量大、查询分析复杂等特点。
hadoop的多处理机制等、是处理大数据查询的推荐方法。
一旦联系到非关系型数据库距离大数据不远了。

xgghxkhuang

tian1982tian 发表于 2013-5-3 20:10
唉，就是ORACLE还没学咋地又来了个大数据，学不完的，不知道现在学ORACLE还有用没，是搞HADOOP还是搞ORACLE ...

hadoop好一点，oracle已经饱和了，hadoop刚开始热

chszs

先声明chszs原创。

1、大数据时代未来是否会成为一个信息泡沫的时代？
信息泡沫一直都存在，相信大数据时代会加剧信息泡沫的增长。
首先，在大数据时代，很多企业开始制定大数据战略，希望能从大数据中获取商业价值，加速企业的发展，甚至是改进企业的经营管理，或者是战略决策。
其次，在开始实施大数据战略时，企业或公司并不清楚哪些数据有用，也不清楚能够获得多少有益的商业价值或数据，因此信息的收集必然会存在大量“垃圾”数据。
再次，企业或公司实施大数据战略后，未必能获得满足自身的商业价值，无可奈何地陷入“等待”状态，希望未来这些数据有用。
以上就是大数据时代会加剧信息泡沫增长的原因。


2、在海量的数据面前，我们有哪些工具可以使用，处理这些数据？
处理大数据首选的技术是Hadoop，它已经是国际、国内大数据事实上的标准技术。很多公司基于Hadoop推出了自己的大数据解决方案。比如：
1）微软大数据解决方案
微软大数据解决方案是在Microsoft Windows Azure平台上作为云服务一种提供Hadoop支持，同时在Microsoft Windows Server上迚行现场部署，并整合了微软的多种产品，包括SQL Server。
2）Intel大数据解决方案
Intel大数据解决方案基于Hadoop，提供开源和商业两种发布包。
3）Cloudera
Cloudera公司就好比Linux世界的Redhat，它基于Hadoop提出了一套自己的大数据解决方案。
……
还有很多，恕不一一列举了。