【话题讨论】Hadoop能否完全替代传统的数据存储和处理

crazyboytan

1、Hadoop能否完全替代传统的数据存储和处理？
Hadoop是开源的，天生的血统注定了其具有开放性，这也使得更多人有机会参与其中。另外，低成本也降低了企业进入大数据处理市场的门槛。“Hadoop的部署、开发、学习成本都比较低，从这些方面上而言，Hadoop确实有自己的优势。”韩轶平分析说。

除此之外，最重要的一点是，随着大数据处理需求的高速增长，Hadoop和数据库之间的联合应用将越来越多，而在两者之间如何进行数据的调用、查询，怎样保证数据调用和传输的安全，如何更好地对数据进行管理、分析等，都会产生大量的市场机会。

实际上，随着Hadoop受到越来越多厂商和用户的追捧，现在的Hadoop和其诞生之初已经截然不同：从一个单独的开源软件逐渐演变为一个初具规模的生态系统，在这一生态系统中，不同的IT公司扮演着不同的角色：有系统厂商，也有管理监控服务商、数据分析、处理服务商等等。

在这条生态链中，目前各个环节上虽然已经有一些参与者，但距离产业链的完善还有非常大的距离。随着Hadoop在企业应用中的逐渐普及，产业链上各个环节的缺口会越来越大。对于中小开发商而言，这无疑是一个很好的时机：可以根据自身的资源和能力，选择适合的角色和业务进行切入，进而在大数据时代到来时找到自己合适的位置。

2、企业Hadoop能否真的降低企业数据处理的成本？
可减少硬件资源的开销，但会增加维护成本。

3、大家都认为HADOOP是处理大数据，需要多大的数据量？什么级别的企业和数据量需要部署HADDOPN呢？
PB级数据量，类似于大量视频、音频、图片等运用多的企业。

leonarding

使用案例来回答相信更能说明问题吧 lz 大人

Hbase迎接电信TB级大数据洗礼之热点网站功能实践

在今年年初的时候联通王志军院长就Hadoop在电信行业的大数据应用谈了自己的经验，随着3G网络的发展中国联通目前运营着世界上最大的CDMA网络，流量运营是中国联通一个重要特点。中国联通3G套餐当中流量占比非常非常大，中国联通3G用户流量使用情况也是非常可观的。那么在3G网络功能中上网冲浪占了很大的比例，去研究用户感兴趣的热点网站成为了行为分析中很有特点的一项功能，联通就可以根据这些网站信息推出增值服务，古人云：大浪淘沙始到金啊！

Hbase作为分布式的数据库集群是如何迎接大数据的洗礼呢！，我们之前使用的是Oracle数据库作为存储数据的基石，但当数据量迅猛上涨后许多的瓶颈马上就会呈现出来，大量的数据统计、分组、排序、过滤的操作对Oracle数据库性能真是一个不小的挑战，由于数据不能分布处理，数据的查询速度可想而知。现在我们使用了Hbase数据库就可以很好的解决上述的一系列问题。下面对如何实践设计“热点网站”功能给出了我的一些设想。

表设计：手机上网表 tel-net table 简称 t-n 表

ROW Key                           COLUMN+CELL
18977777777                    column=msisdn:*#06#,     timestamp=1351560318018, value=100                                            
18977777777                    column=msisdn:cellphone，timestamp=1351563680951, value=iphone-5                              
18977777777                    column=sites:http,       timestamp=1351560423739, value=www.dataguru.cn    登陆网站
18977777777                    column=sites:name,       timestamp=1351560476264, value=lianshuchengjin                                
18977777777                    column=user:age,         timestamp=1351560350911, value=28                                             
18977777777                    column=user:name,        timestamp=1351560335833, value=leonarding   
18866662222                    column=msisdn:*#06#,     timestamp=1351560560622, value=101                                            
18866662222                    column=msisdn:cellphone, timestamp=1351560540173, value=iphone-4
18866662222                    column=sites:http,       timestamp=1351560630783, value=www.dataguru.cn    登陆网站
18866662222                    column=sites:name,       timestamp=1351560664387, value=lianshuchengjin
18866662222                    column=user:age,         timestamp=1351560606783, value=26
18866662222                    column=user:name,        timestamp=1351560585193, value=sunev_yu
15911112222                    column=msisdn:*#06#,     timestamp=1351560873212, value=102
15911112222                    column=msisdn:cellphone, timestamp=1351560851244, value=iphone-3
15911112222                    column=sites:http,       timestamp=1351562148765, value=www.itpub.net     登陆网站
15911112222                    column=sites:name,       timestamp=1351562171874, value=itpub
15911112222                    column=user:age,         timestamp=1351562118827, value=100
15911112222                    column=user:name,        timestamp=1351562102858, value=tigerfish

第一步：在一定时间范围内找到所有手机经常上网的网址。
第二步：在map-reduce程序中进行统计和排名（由于手机号就是随机型的因此可以均衡的打散到各个节点执行）。
第三步：汇总结果后，把排名前20的热点网站输出，运营商就可以找到这些热点网站进行合作推出更符合用户倾向的套餐，大把大把的敛money。
后续还可以开发：用户倾向性分析、TOPn大流量排名分析、用户行为分析等等诸如此类的功能。
欢迎大家一起积极讨论，共创Hbase美好未来

jxzkin

Hadoop能否完全替代传统的数据存储和处理,我觉得现阶段不太可能,Hadoop在处理海量，类型比较包容，对数据抽取，分析，有非常大的优势，对于OLTP觉得还有一段漫长的路...

wang1352083

1、Hadoop能否完全替代传统的数据存储和处理？
hadoop能完全取代传统的数据存储和处理?且不说业务的千差万别,就从数据库厂商来看,传统的数据库厂商貌似才刚到中年.离老年还早呢.
  从业务量来说,世界500强也只有500家,北京市的企业怎么也超过50万家吧.还不过全球呢,我们公司的业务来说,一台基本的服务器就够了.貌似不用hadoop这么大的系统.
    2、企业Hadoop能否真的降低企业数据处理的成本？
也许那个纽约时报还是那个报业,采用google还是亚马逊的hadoop很快就处理完了,但是他的这个业务貌似也不能替代it的需求比如,电力,银行我依然没理解这些企业用hadoop能降低成本还是提高成本
    3、大家都认为Hadoop是处理大数据，需要多大的数据量？什么级别的企业和数据量需要部署Hadoop呢？
   这个也是我疑惑的地方,像我们的数据库数据不过百g,貌似是用不着hadoop这个高端的了.开源的rdbms postgresql已经够我们用了.再加上mongodb和redis我们的性能还是不错的

zkfcaffee

各有各的优势，以后应该是多种数据库相互结合使用，才能满足企业的要求

smarck

不是太了解HADOOP，不过我想完全替代肯定是不可能的，每种数据库都有自己的应用场景，只能说是互补吧，完全替代谈不上。

swt522

  1、Hadoop能否完全替代传统的数据存储和处理？
  这个要看具体业务场景的，不可能完全取代，但在数据仓库领域可以取代部分
  2、企业Hadoop能否真的降低企业数据处理的成本？
  相比买oracle和db2的license我绝对hadoop能很大程度上降低费用，但在研发，维护上费用应该是增加的。hadoop+虚拟化我觉得还是很不错的！
  3、大家都认为Hadoop是处理大数据，需要多大的数据量？什么级别的企业和数据量需要部署Hadoop呢？
  PB级以上，我绝对很多企业多可以部署hadoop，只是大公司研发投入的比较多！我相信电信运营商也会上的！

小豆呐呐

yauchu

1、Hadoop能否完全替代传统的数据存储和处理？
现价段来说，hadoop无法完全替代传统的实时在线数据处理。

2、企业Hadoop能否真的降低企业数据处理的成本？
看具体情况了，如果是海量的非结构化数据处理，hadoop确实可以降低企业成本，但如果是非海量的结构化数据处理，同样应用hadoop来进行处理，只能适得其反了。

3、大家都认为Hadoop是处理大数据，需要多大的数据量？什么级别的企业和数据量需要部署Hadoop呢？
至少是上TB级的数据来用hadoop来进行数据处理与分析；互谅网行业的企业与TB甚至PB级别的数据都可以考虑部署hadoop。

dai_zhy

我觉得，在数据爆炸的今天，Hadoop是一个发展方向，分布式处理大数据量很有优势，并且是开源的；但是如果说替代的话为时尚早；
随着新的硬盘技术相继推出，单机处理能力还是能得到极大提高，现在的Fussion-io，以后的按热来存储数据的硬盘等等，速度都非常快的！