【话题讨论】如何去应对海量数据下的数据分析

xgghxkhuang

lianjie1229 发表于 2012-9-29 11:07
谢谢你的回答。
已采用HASH 分区后单分区处理，总时间是原来的1/3，方法很好使。

没事，还是靠你自己完成的，闻道有先后，术业有专攻。

xgghxkhuang

lianjie1229 发表于 2012-9-29 11:07
谢谢你的回答。
已采用HASH 分区后单分区处理，总时间是原来的1/3，方法很好使。

oracle已经太热门了，投入产出比已经比较小了，楼主要是对数据库感兴趣，可以看看其他的数据库，薪情和钱途会稍微好一点。

xgghxkhuang

perl也不错，最近在试验着使用perl语言

aboy_11

1：作为一名DBA或者架构师，你将如何去管理这些海量数据？普通的关系型数据库很难去满足这种压力，请谈谈自己的想法。

         基于海量数据的数据仓库目前大多构建在Hadoop上，开源，免费。
         TB级别的数据不管是存储和计算都不是问题，并且对数据安全性有一定的保障。
         
2：你看好大数据环境下的数据分析行业吗？谈谈自己对数据分析未来的想法。

         当然看好，数据越多，能挖的金子就越多。
         big data, deep data是趋势，越来越多的公司，特别是互联网，越来越注重数据产生的价值。
         最近阿里也成立的专门的数据公司，挖全集团数据中的金子。
         
3：你接触或者使用过哪些数据分析工具？他们在数据分析方面有什么优缺点。

                cognos,biee,mstr等报表展现工具，ms olap等多维分析工具。
                优点是展现效果好看，缺点是都要钱。
                最喜欢的分析工具是自己写SQL，想要查什么数据就查什么，想怎么查就怎么查。
               
4：淘宝网每天需要对PB级的数据进行加载分析，这些海量数据在存储方式，访问，分配，数据传输的带宽瓶颈，海量数据的计算都将面临一些困难，请谈谈自己在海量数据加载分析方面相关问题的一些想法。
          
          淘宝目前在数据存储和计算上都使用Hadoop生态圈的一系列东东。
          离线分析计算基于Hadoop/Hive
          在线实时分析计算基于Hbase,还有其他的如storm
          数据采集和传输方面大多是根据需求自主开发，如数据传输用的DataX,实时数据采集用的Timetunnel等，
          目前流行的传统etl工具已不能满足海量数据的需求，而且死贵。。

jams007

范围太广，建议有些针对性。

lgodel

随着技术门槛随时间不断降低，迟早所有软件都傻瓜化了，业务分析将成为重点。从这个角度看，并不看好专业的数据分析公司的前景。