话题讨论：Hadoop是否是大数据处理的福音

xsmdel

我又一疑问：现有hadoop大数据处理 太多人关注。我想问问你们是否考虑过 非互联网BI行业企业 现在数据在一些主流数据库上。如何发挥主流数据库数据迁移到hadoop上实现数据互通，优势互补。让BI在效率上更高、更快、更强！

xsmdel

xsmdel 发表于 2012-4-19 17:09
我又一疑问：现有hadoop大数据处理 太多人关注。我想问问你们是否考虑过 非互联网BI行业企业 现在数据在一些 ...

本届数据库盛会有没有这方面的声音，望大家分享一二哈。

wy071218

好好研究一下，希望能找到一些机会。

asword

个人抛砖引玉下，还请大家指教！

1、Hadoop是否是大数据处理的福音？
肯定的，普通的oracle rac受限于存储，极限在100T以下，如果一个数据仓库的数据量更大，只能用售价上千万的 oracle exadata 或是 teradata，
而hadoop的话，只要100台以上的 pc server 即可完成同样的工作，软件本身完全是免费的，性价比完全没法比。

2、Hadoop与其他海量数据处理方案相比有什么优劣势？
优点： 免费、开源、易扩展、pc server成本低
缺点： 查询性能慢，分钟级延迟，不适合做即席查询，只能做批量数据处理与计算
          开发效率低，Map reduce的开发难度远大于sql开发，目前主流解决方案是在hadoop上安装 hive，使用hive来写sql，hive会自动将sql 转换为 map reduce代码，          但是即使是 hive 也不完全支持sql 92标准的语法，  且hive 没有oracle 的分析函数，所以很多case需要自己开发 udf ，对开发能力还是比 sql 高
          存在一些bug，相关配套的商业工具、支持顾问都很少，如非常完善的调度工具、报表工具、性能监控工具，目前只能基于开源社区的代码，
          自行开发完善
         
3、Hadoop给您带来哪些更多的机会？
个人觉得从长远看，开源方案由于免费的最大好处，在国内所有差钱且拥有大数据(100T以上)的行业都会推广起来，除了不差钱的国有大中型企业，
其他都会逐渐开始尝试使用hadoop，所以从现在起，就积累这部分知识，对于未来的职业发展很有好处。

asword

xsmdel 发表于 2012-4-19 17:09
我又一疑问：现有hadoop大数据处理 太多人关注。我想问问你们是否考虑过 非互联网BI行业企业 现在数据在一些 ...

oracle 和 mysql 数据可以用开源的 sqoop 迁移数据到 hadoop上，
sql server 今年微软计划出一个官方的工具，支持数据迁移到 hadoop，
IBM DB2 目前不知，你可以去 IBM Big Data Project的主页上找找看

likgui

这个要关注，在处理大数据上，hadoop的可扩展优势还是很明显的

小小新的小小白

先占个位置。

alexkidder

    1、Hadoop是否是大数据处理的福音？
   目前来看对于处理海量视频文件应该还是不错的。
   2、Hadoop与其他海量数据处理方案相比有什么优劣势？
   优点：
   是开源产品，目前使用比较多，相对比较成熟，对比其他海量数据处理方法网上有更多的资料。
   分布式系统，添加节点相对容易，成本低廉。
   缺点：
   组件过多，相互之间配置文件比较混乱，使用的时候，不知道哪些版本的组件之间配合的兼容性比较好。
   对开发人员来说工作量比较大。
    3、Hadoop给您带来哪些更多的机会？
   带来工作机会，当前正在研究，目前有项目将在hadoop平台上试用。

chszs

1、Hadoop是否是大数据处理的福音？
肯定是。当然，大数据的分析、处理并不局限于Hadoop，业界还有很多选择。Hadoop是最低廉的解决方案。
  
2、Hadoop与其他海量数据处理方案相比有什么优劣势？
Hadoop最大的优势免费和开源。Hadoop虽然不能做到百分百的免费，因为毕竟你多多少少的都要根据需求购买一些付费的服务和支持。但它们却为你提供了低成本解决问题的方案。它们本身是没有数据库使用License限制的，于是它们很轻松地能够在10台、50台或者上百台的机器上并发处理大规模数据。
Hadoop的劣势是非SQL，需要学习的东西很多，而且公司通常在SQL数据库方面积累了很多技术、技巧。Hadoop会使你不得不放弃你所积累和具备的SQL数据库经验和技能。

3、Hadoop给您带来哪些更多的机会？
中小公司或者企业能够用Hadoop搭建大数据处理环境，在早期如果不花费巨额资金，是不可能做到这一点的。

yobyin

有没有大家贡献一个oracle hadoop的案例呢