[话题讨论]大数据Hadoop平台技术讨论参与赠送《pig编程指南》图书一本

jieforest · 发表于 2013-5-3 08:53

[有奖讨论]大数据Hadoop平台技术讨论

Hadoop是一个分布式系统基础架构，由Apache基金会开发。Hadoop用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率来访问应用程序的数据，适合那些有着超大数据集的应用程序。
Hadoop是目前大数据领域最主要的解决方案。

本次讨论针对Hadoop平台中的Pig技术。

1. 您使用过Pig吗？谈谈您对Pig的认识。
2. Pig和Hive有什么区别？
3. 谈谈Pig对Hadoop平台的影响。
4. 有比Pig更好的技术吗？请详细说明。

讨论时间：2013.5.3～2013.5.22

讨论奖励：活动结束后将会抽取5位会员赠送《pig编程指南》图书一本。

原书名： Programming Pig
原出版社： O'Reilly Media; 1 edition
作者： (美)Alan Gates
译者：曹坤
出版社：人民邮电出版社
ISBN：9787115301116
上架时间：2013-2-25
出版日期：2013 年2月
开本：16开
页码：191

tian1982tian liang545621 chszs htyansp ses19828

guoyJoe · 发表于 2013-5-3 11:11

本帖最后由 guoyJoe 于 2013-5-3 17:38 编辑

支持！稍后再整理

liang545621 · 发表于 2013-5-3 14:57

先谢郭嘉_______飘过！

arron刘 · 发表于 2013-5-3 15:11

guoyJoe 发表于 2013-5-3 11:11
支持！

欢迎郭大师推广哦。

jieforest · 发表于 2013-5-3 16:08

楼上的，你们不能光飘来飘去啊，拿出你们的热情，讨论。

tian1982tian · 发表于 2013-5-3 20:26

本帖最后由 tian1982tian 于 2013-5-3 20:26 编辑

至于PIG我没用过，HIVE的话用过，目前主要用的是用hive 0.10.0版本从分布式文件系统hdfs上捞取数据，它的元数据存储于derby和mysql中，在使用时候自己可以配置，derby是一个嵌入式的内存数据库，且不支持并发连接，同一个时间只能有一个用户session连接，其他用户再连接进来的话就会报错；mysql数据库存储hive建表或索引的元数据，且支持并发，对于元数据的存储也相对安全些，且可以做mysql的主从备份，保证数据的不丢失。个人感觉hive目前还没有 oracle成熟，最起码执行计划看的不是很明白，如果涉及到mr那就更难看懂，而且全表扫描不需要启动mr，如果指定列查询需要启动mr，延时比较高，hive不能完全支持sql 92标准，需要用户用java写自定义函数udf来实现一部分hql查询功能。
最后希望hive 11能实现oracle的大部分功能，这样子对于我们使用就更方便了。

myfriend2010 · 发表于 2013-5-3 21:21

pig没用过

liang545621 · 发表于 2013-5-3 21:57

1. 您使用过Pig吗？谈谈您对Pig的认识。
   目前正在对hadoop正在进行学习，也没有很深的体会。 pig是hadoop项目的一个拓展项目，用以简化hadoop编程，可以加载数据、表达转换数据以及存储最终结果。提供一种抽象的数据处理能力。pig 提供的操作在大量数据集分析中很有优势。以及于学起来很顺手，其实就像计算机方面的很多东西都似乎有某种共同点似的，当你学习一门技术很精通以后，接触另一样类似东西，会感觉很舒服。就像当初从PHP语言转到JAVA后，感觉思想没有变，变的只有语法。

2. Pig和Hive有什么区别？
   Hive 和Pig不支持低时延查询。区别肯定有的，但是也有很多相似之处，Hive的查询语言HiveQL，是基于SQL的，熟悉SQL的朋友都可以很容易的写出使用HiveQL写查询。我觉得最大的区别是：在Hive中可以执行插入/删除等操作，但是Pig中没有可以插入数据的方法。

3. 谈谈Pig对Hadoop平台的影响。
   因为有数据处理的需求的存在，有了pig的存在，而不是为了实现一个复杂的逻辑任务，一个一个MapReduce去Coding，pig能屏蔽MapReduce开发的繁琐细节  ，能更方便地处理海量数据。如果没有pig，我觉得在Hadoop平台，会更麻烦。如果没有pig，简直是不敢想象。

4. 有比Pig更好的技术吗？请详细说明。
   由于不是很精通Pig，这个问题不敢回答了，反正我觉得Pig技术的话对Hadoop是不可或缺的，就像买了笔记本电脑，发现少了键盘一样，处理起来就不是很方便。

------ Hadoop初学，说错，或者说得不好，请批评指正。

tanjiaping · 发表于 2013-5-3 23:42

强大

hezhong002 · 发表于 2013-5-4 09:58

只用过hive

[话题讨论]大数据Hadoop平台技术讨论 参与赠送《pig编程指南》图书一本

[话题讨论]大数据Hadoop平台技术讨论参与赠送《pig编程指南》图书一本