ITPUB论坛-中国最专业的IT技术社区

 找回密码
 注册
查看: 44307|回复: 58

【IT名人堂】专访Fourinone的创始人彭渊:谈程序员奋斗、企业文化和大数据

[复制链接]
认证徽章
论坛徽章:
127
目光如炬
日期:2014-12-01 06:00:04火眼金睛
日期:2015-02-01 06:00:04目光如炬
日期:2015-01-26 06:00:04目光如炬
日期:2015-02-16 06:00:03火眼金睛
日期:2015-03-01 06:00:03目光如炬
日期:2015-03-02 06:00:13慢羊羊
日期:2015-03-04 14:53:33目光如炬
日期:2015-07-26 22:00:00目光如炬
日期:2015-07-26 22:00:002015年新春福章
日期:2015-03-06 11:58:39
发表于 2014-10-29 16:40 | 显示全部楼层 |阅读模式

大家好,欢迎大家做客第98期名人堂,我是主持人皮丽华。最初的Hadoop只与网页索引有关,人们把它当做互联网搜索关键字内容分类的工具而已。谁也没想到,时至今日,这个以棕黄色大象为logo的国外分布式计算框架在国内却红得发紫,成为了大数据领域大家争相追捧的技术。同样,如同中国模仿苏联研发原子弹技术一样,我们国内也涌现出了一批前瞻技术的开拓者,本期名人堂我们邀请到了分布式计算框架Fourinone的创始人彭渊。好的架构不是设计出来的,而是进化而来的,Fourinone也是如此。Fourinone取名为“四不像”,顾名思义,它是一个四合一的分布式计算框架,在两年的发展时间里,它从1.0版本发展到了4.0版本,由最早的并行计算框架演变成了一个数据库引擎。正所谓麻雀虽小五脏俱全,Fourinone 4.0虽然只有220k,却拥有惊人的功能。


凭着一腔热血,怀揣着年轻的梦想闯荡江湖,彭渊(社区ID:fourinone)在Java技术领域从业十多年,撰写过多款开源软件,也曾艰苦创业过,先后在淘宝交易、淘宝中间件、集团核心系统、阿里金融等部门工作。现任华为企业中间件首席架构师,主要负责中间件和大数据。一路走来,感慨颇多,让我们一起分享他背后的奋斗故事。本期名人堂欢迎大家踊跃发言,就自己关心的话题与彭渊老师交流心得,截止2014年11月29日,我们将由彭渊老师评选活跃会员5名,赠送精彩礼品一份。更多嘉宾信息,请关注我们名人堂栏目:http://www.itpub.net/star/



皮皮(Q1):您从一名底层的程序员成功转型为华为中间件的首席架构师,除了自身的努力外,是否有捷径可走?能否简单介绍下自己?分享下您的宝贵经验?

彭渊(A1):首先,不要怕折腾,年轻人要多折腾,在折腾中找准自己的定位和方向。


很羡慕有的人一毕业就能在BAT、华为这样的大企业工作,一做就是十多年,这是一种幸福,我比一般程序员要折腾多一点,回顾从业十多年来,从长沙到广州到北京到深圳到杭州再到深圳,到过不少地方和公司,见过不少的人,路过不少风景,发生过不少故事,喜怒哀乐的伴随着这个行业成长,一路走过也挺精彩,起点低不一定是坏事,不同的道路会有不同的收获。《后会无期》里面唱的,曾跨过山和大海,也穿过人山人海...转眼都飘散如烟。


我最开始在长沙做程序员时,只有800块钱工资,第一个月迟到被扣20块拿到手才780块,转正才拿到1000多,在长沙时接受了一些正规的j2ee培训,然后我觉的应该离开湖南,去广东看看。那时的广州遍地都是来背井离乡来打工谋生的老乡,最开始住在黄村,就是后来轰动全国的孙志刚没暂住证被打死那条街,我在孙的前一年住在那里,也经常去孙被抓的那个网吧上网,也没有暂住证,也爱顶嘴,幸亏抓住的不是我,后来我从铺天盖地的报道上看到这个发生在身边的悲剧,内心久久不能平息。城中村里住着很多工厂工人、民工、小贩,巷子里两边有很多站街女,开始不知道这些妇女是干吗的,整个氛围低沉而压抑的,空气中只飘荡着一个主题,辛苦挣钱。


曾经也年轻过,想过自己创业,做中小企业的ERP软件,自产自销,跑遍了广州的东南西北。


由于技术出身,曾痛下决心学销售,那时要求每个程序员必须会销售,采用电话营销,10部电话机每人每天打400个电话,一天总共要打4000个电话,把企业黄页上的公司全部打个遍,打的对方烦不胜烦,碰到意向客户就上门演示和销售,每天像生产流水线一样周而复始运转。


有时看着大街上的芸芸众生,想着谁会给你钱,没有一个人会给,钱都是靠你从客户嘴里,手里,口袋里抠出来的。逮住一个客户,狠吃一顿,然后又饿很久,再寻找目标,这在内部被戏称为“杀猪”,每次有猪可杀了,是大家最开心的时候。


有次逮住一个老板,但是他不买软件,只需要一台条码打印机,那台打印机都狠挣了他一千多,后来他知道了心疼的不得了。


有时候1个月的项目压缩到3天做完,省下27天的成本又去接新单。


常常3天的工作恨不得1天做完,有次上午去给客户演示,他挑剔说没有打印功能,马上回去一个下午就给他开发出来,晚上就送上门去要他买,结果他又不想买,拖到最后他带着哭腔说你们再不走我打电话报警了。


有次去客户公司,老板去机场接人,一去就是4个多小时,就一直等着,最后他打个电话说有事来不了了,大家只好黑着脸离开,有个新入职的小伙弱弱的说:‘饿了,是不是去吃饭’,‘钱都没赚到还吃个屁饭!’精神力量的作用是很强大的,一点都不饿,不吃饭也可以干很多活的。


有时连公车都舍不得坐,走路。从来没买过超过50块的皮鞋,每次讨价还价到最后店主变脸骂人,走了好久还在后面骂,那种劣质皮鞋是塑料跟的,穿了没多久,后跟磨的尖尖的,客户取笑你这鞋什么牌子的,这么有个性。


有时请客户吃饭,吃到一半发现他不是拍板的人,强行变成AA制结账。

......

有的人来了干不下去走了,走了也就走了,走了又招,每天都在招人。

有次一个朋友介绍一个小伙过来做了一天就走了,那个朋友问他原因,只说了两个字:好苦。

越苦大家越狠,怀着把软件销售出去的仇恨,狠狠的干,狠狠的拼,把电话狠狠的打,往死里销。

工商局也不请自来过,怀疑是传销组织,调查一番走了,是有人恶意投诉的。

一年到头周六日节假日从来没有休息过,春节都在写程序。

有人问干的这么苦,应该挣了很多钱吧,拿计算器算了下进出账,只够糊口,没搞亏就万幸了。

最东边的科学城的装潢厂,南边的番禺南沙的五金厂,西边的芳村园林市场,北边花都狮岭的皮具厂,还大大小的批发市场,都留下了我深深的记忆。做中小企业的软件市场只会越做越穷,越做越苦,简直不是人做的。

很多中小企业根本不需要软件的,有更好,没有他拿个破本子用笔记账也可以应付。

很多中小企业根本没有钱,让他花2000块买套软件比扒了他的皮还难。

很多中小企业只想试用但不想给钱,或者给一点不停的拖。

很多中小企业的文员只有初中文化,网管是网吧里请来的,完全不懂财务,不懂数据库,软件只有设计的很傻瓜才能卖出去。

很多中小企业的老板都在做三本账,一本给工商税务局看,一本给银行贷款看,剩下一本才是真的进销存数据,很多都逃税,有很多是假货仿货,最怕别人知道他的真实数据。

中国的软件市场已经被盗版搞烂了,很多中小企业的老板觉的软件只值5块钱,花2000块买套软件他觉的不甘心,三天两头要你上门去提供软件培训服务,甚至是装机、局域网、杀毒、电脑维修等乱七八糟的服务也找你,软件如果不能直接卖光盘,需要负担大量服务开销的包袱,就没有利润可言,做下去是死路。


到了08年时更是雪上加霜,金融危机爆发,很多中小企业订单都没有,自己都养不活,软件这些可有可无的预算肯定早被砍掉了,每个月的软件销售怎么都上不去,日子更难过。


辛苦折腾了几年很快也30岁了,胡子都长了好多,没挣到什么钱付出倒不少,觉的该考虑一下自己未来的发展了,那时我经过反思,觉的中小企业软件市场不是条正确的路,至少短期内不适合做,直到现在也没见诞生过什么成功企业,很多小软件企业半死不活的撑着。


另外当时自己有很多局限性,比如不具备互联网思维,也不懂资本运作,营销手段低级,觉的自己不是一个适合做老板的人,更适合专心做做技术,去大企业平台做技术会更得心应手,不想再承受经营企业的压力,有些心灰意懒。


当时天天销售的“BS财务进销存,CRM,OA”这些软件产品,现在被束之高阁沾满灰尘不想再管,想想当初日复一日的激情,现在却再也提不起兴趣了。有时觉的对不起以前一起干活的那些兄弟,带着他们吃尽了苦头,却没有尝过甜头,有人说创业要坚持,那是成功了的人说的,其实不一定对,方向比坚持重要,赌博坚持下去只会输的更惨,学会斩仓,及时调整方向才是明智的选择。


不曾后悔那些年的折腾,折腾后你才会懂现实,才懂的挣钱的艰辛,才能看透人性,才能贴近草根,折腾后才能找准自己的定位,才懂的珍惜,不再轻言创业,不再轻言跳巢,离开家乡时我还是个内向文弱的文艺青年,后来性格有了很大的改变,现实的环境会锻炼一个人,磨练出坚韧的性格去面对以后的人生,不一定要挣到钱才是财富,人格的塑造,技术的积累,社会阅历的增加都是你拥有的财富。


其次,一个架构师要不断给自己注入新的技术血液,就像一个演员不能永远只演一种角色,一个歌手不能永远只唱一首歌。

如果我的知识还停留在十几年前,那我只能胜任一个java的web应用程序员,就像现在广大数量的ssh工程师。能参与JAVA EE开发并不意味着能独立设计一套完整的企业应用系统,需要的知识会更全面,前端、后端、数据库、工作流、报表甚至界面美工都要能做,能根据业务需求开发企业系统项目,并不意味着能产品化和复制销售,知识又需要升级。


仅仅具备企业应用架构设计知识又还不够,那样只适合呆在传统中小软件企业里做项目型应用。

我在2008年去阿里面试失败过,那时我只具备企业架构设计知识,并且发挥不好,和面试官有争吵。如果要解决大企业架构问题,你还需要掌握SOA等设计思想和落地技术。

2010年阿里到金蝶挖人,机会再次来了,那时我已经在SOA上积累了丰富的架构设计经验,这次我连续拿下了支付宝p7+和淘宝p8的offer。

但是在淘宝的面试也暴露了我在分布式计算和存储方面的不足,促使我后来下决心掌握这个领域的核心技术.

包括现在的数据库引擎、数据挖掘算法等等,我总在尝试挑战新的技术领域,只要是公司有迫切需要的。

由于以前写软件养成的习惯,碰到吃透的技术,我会归纳进程序写出来,放入开源产品分享出去,让社会上更多的人去检验你的东西。

公司请你来专注做技术,让你走技术路线,也是希望你在技术上能不断创新突破,不吃老本,保持学习,并带动其他工程师。

只有不断的给自己注入新的技术血液,你的技术生涯才会永远常青。




皮皮(Q2):谈到分布式计算框架,大家耳熟能详的一个词是Hadoop,而您用Java语言编写的轻量级分布式技术框架Fourinone是否与Hadoop有千丝万缕的关系?作为创始人,能否和我们分享下Fourinone今世前世的故事?


彭渊(A2):Fourinone开始是一个淘宝中间件部门启动的并行框架项目,现在逐渐变成以兴趣爱好者自由贡献的开源项目,这里面有很多原因,按说当时公司压测效果不错,快过Hadoop,能灵活解决流式计算和内存计算,又具备独立知识产权,应该大力推广才对,但是这个小小的200多k的jar其实并不讨人喜欢,有的人一提到Fourinone就肝火上冒,情绪暴躁,有种无名之火,还真是这样的,挺让人费解的。Fourinone的每项功能,在公司都有专门的团队开发相应的产品,开发和投入的人数都不少,而且大部分做法都是集成国外开源软件,相比之下Fourinone显得很另类,很少人很轻量级,又不使用任何开源组件,别人不是这样玩的,所以觉的它完全不靠谱,是个玩具。其实就算靠谱也不愿意认可的,因为又牵扯利益冲突和竞争。有些东西不一定是技术原因,喜欢刨根问底的朋友不要什么都去刨一刨,刨出些郁闷的东西只会让你失去做技术的兴趣。因为Fourinone我挨过整,受过排斥,但也获得过机遇,受到过尊重。总之一言难尽,所以不多抱怨了,多看到好的一面,也有很多领导和同事对Fourinone给于赞赏支持,怀着一个颗感恩包容的心态最重要。


Fourinone现在的发展方式也挺好,如果公司需要,可以拿去,不需要我留着,作为作者总还是要管的,可以不断将自己的一些实践积累和总结添加到这个开源产品里,让它为更多的人带来帮助,它没有商业动机,自由发展,喜欢就用,不喜欢就不用。总觉的用职业精神和兴趣爱好做一款酷的开源产品是件有趣而开心的事情,不要只为了完成公司任务,或者是迎合领导,就只是简单的因为技术去做。


可以从技术设计上跟Hadoop做比较,但是不从商业战略上跟Hadoop比较,因为没有可比性,Hadoop现在已经成了大数据代名词,各个商业公司都在围绕它做文章,打自己的算盘,它不再是一个单纯的技术产品,而是牵扯到各方利益的生态体系。Fourinone干的是得罪人的事,把Hadoop主要的分布式技术提取出来,归纳到一个小框架里供人研究玩赏。


2011年的时候,Hadoop的地位远远比现在神圣和不可动摇,很多学术界业界权威都在为Hadoop摇旗呐喊,当时提出任何不同意见都会遭到一片抨击,但是做为一个架构师需要保持冷静的头脑,敢于承受压力提出自己的见解并用程序证明,后来spark,storm等迅速发展也证实了这个判断,现在又出现了越来越多唱衰Hadoop的声音,当初鼓吹Hadoop的人现在又去鼓吹新的东西了,盲目崇拜斯大林和全盘否定斯大林都不是健康现象,很多人其实都是投机主义者。


Fourinone没有收入,所以不愿意投入刻意搜集和推广应用场景,不想惯坏用户。但其实在华为、淘宝和广大IT企业都一直都有应用,应用最广的是并行计算、fttp、分布式协调等功能,不光如此,某四大银行之一也选用了Fourinone做他们流处理原型系统,并改进了工人线上不停机部署功能,银行的选型标准比互联网企业要更严格,而且他们整个选型到开发部署的过程都是独立完成的,没有找过我和我的公司,直到最后一切搞完了叫我们过去提点意见,虽然为银行应用发挥作用感到高兴,但是因为免费开源的东西,公司没有赚到一分钱,好在领导宽宏大量,知道我不知情,没有说我什么,不过还是希望用户多购买华为的流处理商业产品。



最后想说一点体会,一个企业要搞原创研发,是需要领导人的坚定支持的,阿里的Hadoop和飞天之争,有点像武侠小说的剑宗气宗之争,开始也是谁都说服不了谁,两边都能找出好多理由,但是老板挺飞天,一切就安静了,没有人再吵了,好像也没什么问题了,开头提到造原子弹,其实能造成功也取决于最高领导人的理想和性格,否则肯定有人会反对,苏联和美国已经有原子弹了,为什么还要重复造轮子,不如直接寻求他们的庇护,造原子弹的科学家是为了技术而技术,应该被打倒关进牛棚。






皮皮(Q3):如同汽车离不开发动机一样,数据库与数据库引擎自然也是形影不离。Fourinone 4.0最为惊艳的亮点在于它引入了一个高性能的数据库引擎CoolHash,它巧妙结合了并行计算和索引的功能,大幅度提高了数据库的查询效率。作为一个NoSQL数据库,您能否分享下CoolHash的设计理念以及它的创新功能?


彭渊(A3):我不知道自己今后还会有兴趣写什么软件,但是觉的数据库引擎这样的核心技术,是很值的去研究和掌握的。其实最开始并不是想做一个Nosql数据库,因为能接触到的数据库资料和以前的使用数据库经验都是基于关系数据库的,很自然的就会以关系数据库的思维构思设计,走前人的老路,所以最开始其实想设计一个关系型数据库引擎,后来做到一半又反复研究k/v存储,最终坚定选择了k/v方式的Nosql数据库,背后经过了很多对比和思考。比如有一点最重要的,这个行业的特点是一种革命式的演进,任何新的技术产品必须依托新的技术理念,用下一代更先进技术的身份来革命现有体系,关系型数据库的厂商已经太多了,而且根基很稳,如果再跟着做关系数据库很难再切入,k/v存储和Nosql不一定要马上取代关系数据库,但是新的数据库存储思想会让用户耳目一新,会更容易切入数据库领域获得立足之地。



另外,Nosql、k/v存储、并行数据库确实有很多相对于关系数据库的优势,在性能上也有很大的突破。比如嵌套性层层扩充的数据结构、k/v更适合按列存储、按列存储又更适合并行计算拆分、可以设计的key本身就可以做索引等等特性。我们知道简洁高效的跳表设计就是建立索引,实际上是随机建立三层索引结构,维持一个太精准索引的开销还是很大,并行计算和索引的结合能很好获得平衡和高效率。



当然,Nosql不一定都是k/v存储,也有文档数据库实现。文档结构更适合积累性的不经常变化的容易以文档分类的数据,比如评论、wike、文章等等。比如CouchDB使用了一种append-only的数据模型,不仅在数据库数据存储上,包括其B-tree和R-tree索引都是append-only的,但是频繁修改容易导致数据膨胀很快。所有文档存储一个数据库中,每个文档有一个唯一id,文档内可以包含不同属性的数据,不存在表、行、列等关系,也不存在关联关系。不支持join,利用建立视图来关联查询,使用javascript的map/reduce实现视图。另外文档数据库采用MVPP的多版本控制,并发修改同一个文档,可以选择加载最新版本,提交时收到最新版本编辑冲突,需要重新更新最新版本再编辑提交,要么成功要么失败。k/v存储都是采用高并发锁机制,相对来说,无法保存数据修改历史版本信息。



综合各方面考虑,CoolHash最后还是选择了k/v存储的方式,采用并行计算实现的Nosql数据库引擎。并行数据库引擎会更有发动机的感觉,加大油门时打满cpu,松开油门时回落cpu,朋友们可以去运行体验一下百万级别的吞吐量和秒级的模糊查询。



原来考虑将CoolHash独立于Fourinone单独开源成一个产品,后来觉的没有必要,前面提到Fourinone的应用场景,其实认真研究过Fourinone源码的人会发现,CoolHash和Fttp一样也都是Fourinone的应用场景,是Fourinone自己对自己的应用。Fourinone的源码上并不存在底层实现和上层应用的绝对分离,而是层层扩充,所用到技术也就是《大规模分布式系统架构与设计实战》里面的内容,如果要搞清楚CoolHash的底层并行计算设计,最好认真看看这本书。需要注意的是,这本书不是用来看的,是需要动手细细体会的。就像买本菜谱书从头到尾看一遍,是成为不了厨师的。有的读者朋友比较急于求成,走马观花翻阅了一遍,抱怨没有学到核心技术,不愿意动手认真运行理解每个例子,有的朋友随便跑了两下,留言说书里例子和代码都是错误的,没有经过测试,这明显就是太过浮躁不够认真了,书里每个例子都是严格保障可运行的,框架也经过严格测试,绝不会有低级错误。


关于CoolHash更多的设计理念和功能可以参考(产品宣言 http://fourinone.iteye.com/blog/2062326 ),测试数据可以参考(CoolHash压测对比报告 http://fourinone.iteye.com/blog/2090129 ),网上的喷子很多,不要理会那些人的诋毁,小马过河,自己动手试试才有收获,有问题可以咨询技术群里的朋友。




皮皮(Q4):提到华为,很多人会想到狼性文化,而实际上除了狼性文化,华为也在今年开始重视乌龟精神和管理组织的“蛇形”变阵。无论是淘宝还是华为,都聚集了大批的IT精英,在您眼中,这两家企业文化有哪些不同?


彭渊(A4):阿里巴巴和华为是中国很成功的两家企业,他们有相似之处,就是领导人都有宽阔的胸襟和远大的抱负,将股份分给大部分员工,在这两家企业效力的员工是很幸运的,另外这两家企业都很接地气,立足中国,放眼世界,击败了一个又一个对手。相比之下,我以前见过的各种心胸狭窄目光短浅的小老板或者压榨员工的外包企业简直不值一提,只能说垃圾。



但是阿里巴巴和华为的企业文化还是有很大差异,入职企业文化培训,阿里叫百淘,百淘是我见过做的非常好的,同期入职的都以同学相称,互相称呼花名,有班主任有讲课老师,通过各种活动和课程让大家感受互联网文化,课堂上有表演,有外出公益活动,有拓展训练,有倒立文化,有高管对话,有同学们互相介绍工作生活经历,自报感情史,还有求婚的,能在短短的一周时间能让同学间产生很深的情谊,一年后还要组织同学再聚一次,谈谈各自工作的感受和变化。文化氛围非常活跃开放。



华为的入职培训要简单朴实一些,培训也有班主任和讲师,班主任每天都穿正式西装,课程主要讲述领导人创业艰苦奋斗的经历,并带领大家参观华为从南油到坂田多次变更的办公地点,见证企业发展历程,课堂上会展示华为的雄心壮志和奋斗精神,印象深刻的有展示一面世界地图,五大洲插满华为红旗,旁边写着“雄赳赳气昂昂,垮过太平洋”,鼓励员工建功立业。培训期每天早上都要训练,体育教官据说是国旗护卫兵,跑步的姿势和步伐都要求很严格。华为老板出身军人,用自己学习到简单的军队思想管理企业,花哨少,重实用。提倡雷锋焦裕禄奉献精神,提倡“胜则举杯相庆,败则拼死相救”的团队精神,有的来源于毛的治军思想,有的来源于曾国藩的湘军文化,华为继承着这些强势文化作为自己的优良传统。



华为的入职体检比淘宝要严格很多,很多心脏心血管血压指标要求高过普通体检,一起入职的有几个哥们都被刷掉复查去了。华为以前讲狼性文化,狼需要有好的身体,才能去草原上追逐猎物。由于容易被媒体曲解,实际上现在内部很少看到提狼性文化了,只提艰苦奋斗,狼性文化不是一种残酷,严格但不亏待员工。其实华为已经很正规了,社会上很多小企业更苦更累更狼更坏,曾有拖欠我3个多月加班工资没有给的。



淘宝的工卡是用来开门的,而华为的工卡是要用来刷卡考勤的,标准的时间是早上8点,弹性也只能9点,几乎没有员工9点后到。我在淘宝时每天都9:30才到公司,少数时候快10点才到,如果发现主管注意到我了,我晚上又加点班补补时间。互联网企业在考勤上还是比较宽松的,曾经华为的HR领导专门咨询我互联网考勤制度,并担忧的问,这样搞员工不来上班怎么办,偷懒怎么办,互联网企业更多是以产品项目的结果和业务效益衡量员工产出,而不强制管理员工时间,腾讯百度听说也是这样。



在穿着打扮上,互联网企业的员工要更潮流时尚一些,服饰发型要更有个性,文身耳环也不禁止,华为园区的大堂里有穿着提示牌子,要求干净整洁庄重,并列举了一些不合适穿着,比如吊带短裤拖鞋等等,第一次看到这个牌子的时候我笑了,因为禁止的恰恰就是互联网企业年轻人的通常打扮。



外界对华为有很多错误的传闻,没有亲身经历不要随便相信。其实再好的公司也有缺点,公司是你的衣食父母,我不会公开说雇用我的公司的缺点,我想说说华为好的地方。比如中午休息时间长,可以午睡一个小时,这样下午上班更有精力,华为的床垫文化很多时候是睡午觉用的,并没有常常通宵加班。互联网企业一般中午时间短,吃完午饭基本上就上班了。华为每个员工会配置一个很好的保密柜,有半人高,铁皮做的,很扎实,你的私人物品可以安全放在公司里,互联网企业员工只有电脑桌下的抽屉可以用,而且很多没有钥匙。华为的食堂很好,各种菜系都有,有的还有印度餐西餐自助餐,因为园区周围没有餐厅,食堂必须办好,我之前在淘宝创业大厦办公,二楼的食堂很差,几乎没有员工去吃,但是周边餐厅很多,可以出去吃。华为的国际化做的很好,园区里随处可以见佩带工牌的印度人、欧美人,员工很多人可以英语沟通。在欧洲、俄罗斯、印度、美国也都有很多研究所。



华为的管理比淘宝要老练,互联网企业的员工太年轻,对职场用人权力平衡等谋略上不能驾驭自如。在淘宝经常会听到有人说自己在打酱油,会看到有的专家在一个边缘化位置上呆几年没人管,有些复杂微妙的管理问题HR无能为力,不愿意面对,领导视而不见。华为在管理上有一点做的很好,就是会想办法帮助高端专家融入公司,而不会放任自流,坐着看笑话。因为华为文化的特殊性,之前很多高端专家来了几个月就走了,很多干不满一年,华为很重视这个问题。特别是试用期6个月,会安排经验丰富的HR几乎每周和你做思想沟通,询问是否发挥作用,融入有什么困难,是你的原因还是周边的原因。按资排辈,职场竞争其实任何公司都存在,互联网企业虽然年轻开放简单,但是一样存在,如果管理者能认真面对这些问题,能站在更高的角度维持平衡并提供帮助,就能减少很多专家流失,为公司发挥更好的作用。我还记我入职华为谈到信任问题时,HR意味深长的和我说,用人不疑,疑人不用,边疑边用。不过阿里也有比较自由的轮岗制度,这个部门干的不好可以去那个部门,在公司内部到处打酱油。



随着时代的发展,华为的企业文化也遭受互联网的冲击,特别是90后的新员工很多更喜欢互联网文化,他们更喜欢追求成功,而不是追求吃苦,羡慕互联网企业的造富神话,并不崇尚艰苦奋斗。内部也会经常争论是否要学习互联网,从行政到技术有很多部门都找过我了解互联网文化,当听我说到淘宝员工会穿着轮滑鞋在办公室敲锣打鼓庆祝自己的产品发布时,有的高级领导听了很感兴趣。但是华为十五万人的大企业,想要改变不是一朝一日,毕竟华为有自己的独特企业文化和优良传统,并在过去取得了很大的成绩。



阿里的人才战略更重视应届生,虽然华为今年也提升了应届生待遇,但是阿里的校招待遇要更高,互联网企业对应届毕业的年轻人更有吸引力。相对于阿里来说,华为更重视欧美知名企业里特别是华裔背景的资深专家,华为聘请了很多这样在国外工作了10-20年的美籍华人专家,对华人给于更多的信任,华为还有很多的实验室研究机构,都在引进高端人才。华为希望通过这些专家的经验和能力为企业指明方向,帮助决策,把关研发,赶超欧美企业。



虽然阿里曾经只招街上能走路的人,但是现在越来越学习Google的人才战略,只招最聪明的人,走精英人才化道路,每年只招一两百人,马云说未来的十年是靠玩出来的,不是苦出来的。华为员工大部分是从农村勤奋读书奋斗出来的大学生,华为为他们创造一个实现价值的平台,帮助他们成为有房有车的中产阶层,十五万人是个很大的基数,中国没有哪家公司可以做到。相对于互联网的员工个性化,华为不强调个体价值,更强调集体力量,通过集体努力,乌龟可以跑过兔子,愚公可以移山。



虽然阿里和华为的企业文化有太多不同,无法一一描述。但是他们都是拥有正能量的企业,我到过这么多公司,得到一个结论,就是好的公司有比较强的自我修复能力,发生问题时他懂的学习别人,懂的变革自己。就像人一样,有的人得病会愈合,有的人得病了就一直烂下去,最后死掉。




皮皮(Q5):金融市场一直被誉为高大上的地盘,成为了很多企业的聚宝盆,不少用户抱怨自己收到了不感兴趣的理财信息,在大数据时代有没有办法做到精准营销呢?华为推出的大数据平台FusionInsight能否为进军金融市场保驾护航呢?


彭渊(A5):其实我并不是所有时间都在做Fourinone,我在华为还有重要的技术架构工作,先后参与了大数据整体方案、中间件规划和架构、点击流分析、k/v存储、挖掘算法、paas平台,现在又在负责推荐系统。下面我想介绍一下华为的大数据平台和产品,由于要遵循公司商业机密,只能从宣传角度介绍,不能透露太多细节,还请朋友们谅解。



说到华为的大数据方案还得要说Hadoop,本来文人都是互相看着不爽的,我对Hadoop的很多设计并不赞成,但是Hadoop能为公司带来商机和发展,它的形象又变的可爱起来了,从淘宝到华为,其实Hadoop一直贯穿着我研究分布式技术的整个过程。华为的大数据方案是基于Hadoop生态体系的,前面说到这个行业是革命式演进的方式,传统中间件和数据库市场已经很难切入,打着SOA的旗帜也比较难了,我们需要一个革命式的新理念,大数据是目前切入软件市场的最好机遇,除华为外,Emc、IBM、Intel等公司都有自己的大数据方案,都是宣称基于Hadoop的,好比是反清复明起义,各个派系都打着朱三太子的旗号,只有朱三太子才是最正宗的嫡系,才能让老百姓相信,Hadoop就好比是朱三太子,客户觉的大数据就是Hadoop,没有Hadoop的大数据方案不正宗,但是真正的朱三太子在华为,对比这几家厂商,只有华为的大数据方案是最接近原生态Hadoop社区的,其他的很多实际是在挂羊头卖狗肉,我是有很多根据的,比如以EMC为例,他的Hawq运用了Greenplum并行数据库技术改进sql on Hadoop能力,明显这个东西是EMC公司自己的商品产品组件,不是基于开源的Hadoop map/reduce的,只是焊接在hdfs上而已,不仅如此,EMC还打算用自己的Isilon OneFS替换hdfs,宣称OneFS没有单点故障问题并有更高的磁盘利用率。大家可想而知,如果抛弃了map/reduce和hdfs,那Hadoop还剩下什么,剩下只有他们自己的商业产品了。再比如IBM的InfoSphere BigInsights产品使用GPFS替换HDFS,使用Jaql取代hive。还有Cloudera的impala,虽然宣称性能比Hive好,但是并没有采用map/reduce做执行查询,而是将自己的守护进程嫁接到Hadoop数据节点上,抢占TaskTracker的资源,这样的改进实际上是做了器官移植。只有华为的FusionInsight是老老实实基于Hadoop map/reduce,hive,hbase生态体系的,从对社区的贡献程度也可以看出,华为对Hadoop社区的贡献已经跃居全球第四,而EMC,IBM这些商业软件公司的贡献根本看不到,可见他们根本不是想发展Hadoop社区,而借大数据的机会,打着Hadoop的旗号,把自己相关商业产品都包装进来,准确的说,他们的方案只是一定程度上兼容Hadoop,而不是基于Hadoop。



路边一块石头让别人看看可以,但是你要把它卖给别人,那就需要一番精心的雕琢了。有的企业喊着要用Hadoop,但是要他花钱买就不愿意了,只用不买不是一种真爱,如何把开源免费的Hadoop卖给用户是个难题,为此我们增加很多差异化竞争优势,FusionInsight是一个产品体系,其中FusionInsight Hadoop 提供大数据处理环境,基于社区开源软件做了可靠性、安全性的增强,除外还包括了数据服务框架Farmer、数据集成套件Porter、数据挖掘套件Miner、分布式系统管理套件Manager。目前已经为银行、电信、政府提供了大数据历史明细、实时营销、挖掘推荐等解决方案。预计到2016年,大数据市场规模将达238亿美元,中国的大数据市场规模也达到6亿美元以上,蛋糕很大,但是我们的胃口没有那么大,我们初步目标先达到个几千万美金,逐步再扩大市场占有率。如果要详细了解FusionInsight产品体系的更多内容,请购买华为大数据产品和解决方案。




皮皮(Q6):古希腊哲学家赫拉克利特曾经说过,“人不能两次踏入同一条河流”。无论企业还是个人,都要用动态发展的眼光来洞察世界。对于我们IT界的同仁来讲,见证了科技带来的巨大演变,就连曾经开启划时代意义的iPod也难逃没落的窘境。面对瞬息万变的世界,我们到底该何去何从?能否和我们分享下您对未来的前瞻性的见解。


彭渊(A6):技术人员回答这样的问题,首先会想到用数据挖掘来预测,收集过往十年的IT行业的公司和产品数据,抽取出大量的特征项,进行稀疏矩阵优化,运用数据挖掘算法去建立模型,经过不断迭代的分布式运算,最终计算出回归的参数,再进行归一化处理,输入需要预测的产品,最后得到一个百分之几的概率,看看有没有前途。如果你觉的扯淡那就一笑而过吧。“人不能两次踏入同一条河流”也说明人生没有回头,上帝安排你走什么样的路一定有他的用意,或者成功,或者失败,顺天应时,无为而治。

google code svn:
国内oschina code:
国内csdn code:
技术邮箱:fourinone@yeah.net

论坛徽章:
0
发表于 2014-11-5 11:34 | 显示全部楼层
本帖最后由 tommy018 于 2014-11-5 11:36 编辑

对于技术人员超过300字以上的文章我一般都会认真学习三遍,主要是学习了一下彭工的文采和思路,很多地方很精彩,有自己的见解,这很重要。对“人不能两次踏入同一条河流”感触很深,想当年我佛六祖惠能和尚读《金刚经》中”应无所往,而生其心“顿悟,终有成就,也希望有更多的攻城狮们能从彭工文章中顿悟,成就一番事业才好。个人认为不应该提倡个人崇拜,精彩只能属于自己,因为那份精彩是自己努过力,流过汗换来的,而对于没有流过汗、努过力的同事,这份精彩往往是无法体会的,非常感谢彭工的分享,你的人生会因为你的阅历倍加精彩。其实有一个秘密,一般人我都不告诉他:”我其实也是湖南人.......",呵呵,那啥,有时间比比酒量......
突然湿性大发,写个打油的吧,抛砖引玉,大牛飘过.....
十年飘落衣满尘,
个中滋味自心明;
三湘儿女走四方,
不负今生好才情。

心儿注定去流浪,
此身不会再迷茫;
把酒邀月赏仙舞,
彭工原是性情人。

PS:其实最恨以前我们武术界的门派之分,想当年华山剑气宗之争,令狐冲笑了.......

使用道具 举报

回复
论坛徽章:
9
技术图书徽章
日期:2014-08-22 13:56:58itpub13周年纪念徽章
日期:2014-09-28 10:55:55itpub13周年纪念徽章
日期:2014-10-08 15:19:03itpub13周年纪念徽章
日期:2014-10-08 15:19:03itpub13周年纪念徽章
日期:2014-10-08 15:19:03itpub13周年纪念徽章
日期:2014-10-08 15:19:03itpub13周年纪念徽章
日期:2014-10-08 15:19:03暖羊羊
日期:2015-03-04 14:50:372015年新春福章
日期:2015-03-06 11:57:31
发表于 2014-10-30 10:50 | 显示全部楼层
佩服牛人,厉害。

使用道具 举报

回复
发表于 2014-10-30 11:35 | 显示全部楼层
支持老乡,你好丰富的经验,很真实,前面的经历深同感受

使用道具 举报

回复
求职 : 数据库管理员
认证徽章
论坛徽章:
33
生肖徽章2007版:狗
日期:2009-07-20 17:10:18茶鸡蛋
日期:2013-05-23 16:34:43茶鸡蛋
日期:2013-07-19 14:39:22马上有钱
日期:2014-05-14 14:07:39ITPUB社区千里马徽章
日期:2013-08-22 09:58:03雪铁龙
日期:2013-08-23 13:04:11林肯
日期:2013-09-04 14:07:20兰博基尼
日期:2013-09-16 13:45:202014年世界杯参赛球队: 波黑
日期:2014-07-03 13:24:39马上有对象
日期:2014-10-30 14:04:32
发表于 2014-10-30 13:35 | 显示全部楼层
牛人,支持一下。

使用道具 举报

回复
论坛徽章:
92
2011新春纪念徽章
日期:2011-01-25 15:42:332012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:20版主1段
日期:2012-05-15 15:24:11ITPUB 11周年纪念徽章
日期:2012-09-28 17:34:42奥运会纪念徽章:排球
日期:2012-08-29 07:02:50奥运会纪念徽章:跳水
日期:2012-09-26 06:44:27ITPUB 11周年纪念徽章
日期:2012-10-09 18:03:32奥运会纪念徽章:击剑
日期:2012-10-12 07:20:332012新春纪念徽章
日期:2012-02-13 15:13:20
发表于 2014-10-30 13:53 | 显示全部楼层
佩服佩服佩服

使用道具 举报

回复
论坛徽章:
78
生肖徽章2007版:牛
日期:2012-08-02 22:43:00紫蛋头
日期:2012-12-08 09:43:38鲜花蛋
日期:2012-11-17 12:02:07鲜花蛋
日期:2013-02-05 21:53:34复活蛋
日期:2012-11-17 12:02:07SQL极客
日期:2013-12-09 14:13:35SQL数据库编程大师
日期:2013-12-06 13:59:43SQL大赛参与纪念
日期:2013-12-06 14:10:50ITPUB季度 技术新星
日期:2012-11-27 10:16:10最佳人气徽章
日期:2013-03-19 17:24:25
发表于 2014-10-30 14:41 | 显示全部楼层
算得上有血有肉,给赞!

使用道具 举报

回复
求职 : Java研发
认证徽章
论坛徽章:
0
发表于 2014-10-30 15:09 | 显示全部楼层
真希望自己未来也有这么厉害!

使用道具 举报

回复
论坛徽章:
16
生肖徽章2007版:鸡
日期:2008-01-02 17:35:532013年新春福章
日期:2013-02-25 14:51:24ITPUB十周年纪念徽章
日期:2011-11-01 16:21:152011新春纪念徽章
日期:2011-02-18 11:43:33ITPUB9周年纪念徽章
日期:2010-10-08 09:28:522010新春纪念徽章
日期:2010-03-01 11:08:372010新春纪念徽章
日期:2010-01-04 08:33:08参与WIN7挑战赛纪念
日期:2009-11-06 11:40:06奥运会纪念徽章:足球
日期:2008-10-24 13:28:14授权会员
日期:2008-01-07 11:10:15
发表于 2014-10-30 15:24 | 显示全部楼层
非常棒,支持您!

使用道具 举报

回复
认证徽章
论坛徽章:
127
目光如炬
日期:2014-12-01 06:00:04火眼金睛
日期:2015-02-01 06:00:04目光如炬
日期:2015-01-26 06:00:04目光如炬
日期:2015-02-16 06:00:03火眼金睛
日期:2015-03-01 06:00:03目光如炬
日期:2015-03-02 06:00:13慢羊羊
日期:2015-03-04 14:53:33目光如炬
日期:2015-07-26 22:00:00目光如炬
日期:2015-07-26 22:00:002015年新春福章
日期:2015-03-06 11:58:39
发表于 2014-10-30 15:31 | 显示全部楼层
彭渊确实很不错哦,得到各位版主与网友的肯定。

使用道具 举报

回复
发表于 2014-10-30 15:54 | 显示全部楼层
彭总,后来广州企业还在搞吗

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则

SACC2017购票8.8折优惠进行时

2017中国系统架构师大会(SACC2017)将于10月19-21日在北京新云南皇冠假日酒店震撼来袭。今年,大会以“云智未来”为主题,云集国内外顶级专家,围绕云计算、人工智能、大数据、移动互联网、产业应用等热点领域展开技术探讨与交流。本届大会共设置2大主会场,18个技术专场;邀请来自互联网、金融、制造业、电商等多个领域,100余位技术专家及行业领袖来分享他们的经验;并将吸引4000+人次的系统运维、架构师及IT决策人士参会,为他们提供最具价值的交流平台。
----------------------------------------
优惠时间:2017年8月30日前

活动链接>>
TOP技术积分榜 社区积分榜 徽章 电子杂志 团队 统计 虎吧 老博客 知识索引树 读书频道 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档 | IT博客
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛 | SAP ERP系统
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 网站律师 隐私政策 知识产权声明
京ICP备16024965号 北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表