【话题讨论】Hadoop系统的性能调优应该怎么办？

jstjk021

不在北京呢，参加不方便

qingduo04

虽然活动结束了，但是话题挺好，还是想发表下个人想法
1、如何通过软硬件协同优化技术来充分挖掘Hadoop系统的性能潜力？

hadoop是开源软件或者由个别公司再封装成商业软件去买，均是通过部署在大量X86服务器上进行应用
其中X86服务器之间的通信，则由于硬件配置决定，比如数据量大的时候，绝对是万兆光纤或者infiniband通信好，比前兆的网络好很多。
对于软件层面，这方面现场其他工程师在做这方面的测试，我这没有接触过。

2、如何通过MapReduce性能分析工具来进行性能瓶颈诊断与优化

坐等牛人回答此问题

baochangjun137

硬件层优化：合理设置磁盘模式，内存大小、
系统层优化：内核参数调整
hadoop参数优化：调整相关的参数项