ITPUB论坛-中国最专业的IT技术社区

 找回密码
 注册
查看: 90689|回复: 9

【名人堂】专访中兴首席架构师:聊聊大数据架构那些事儿

[复制链接]
论坛徽章:
6
2015年新春福章
日期:2015-04-22 09:15:50美羊羊
日期:2015-04-28 08:58:41暖羊羊
日期:2015-05-05 11:13:16慢羊羊
日期:2015-07-03 14:57:082017金鸡报晓
日期:2017-01-10 15:25:58目光如炬
日期:2016-06-05 22:00:00
发表于 2016-7-12 15:11 | 显示全部楼层 |阅读模式
嘉宾介绍:

QQ图片20160712145610 - 副本.jpg


   王德政,现任中兴通讯中心研究院大数据首席架构师,负责中兴通讯大数据平台的系统架构设计。在18年的电信行业从业经历中,王德政先生曾先后从事GSM、WCDMA、IMS、统一网管、专业服务工具、大数据平台等产品的系统架构工作,曾先后两次获得深圳市科技进步奖。

王楠w_n(Q1):王老师,您好!很高兴有机会采访到您,能否简单介绍下自己?

王德政(A1):你好,很高兴接受你的采访。我是王德政,1998年毕业于浙江大学,获硕士学位。曾先后从事GSM(CN)、WCDMA(CN)、IMS、3G平台、统一网管、专业服务工具、大数据平台等产品的系统架构工作,2007年与2012年,我参与研发的“多功能媒体网关”、“新一代集中网络管理调度平台技术创新及产业化”曾先后两次获得深圳市科技成果登记。现任中兴通讯中心研究院大数据首席架构师,负责中兴通讯大数据平台的系统架构设计。

王楠w_n(Q2):了解到您是1998年加入中兴,具有近18年的电信行业从业经验,作为一名行业前辈,能否将您的从业经验分享一二?在您职业生涯履历中,有没有对您影响深远的转变和决定?

王德政(A2):记得2000年时离开GSM核心网项目,加入WCDMA核心网。这期间大概有两个月较为轻松的过渡期,但这两个月里我没有浪费,系统性地学习了TCP/IP相关的知识。在后来的WCDMA核心网与3G平台的系统设计中,如果没有这些提前学习的知识,将很难胜任这些工作。所以,我的经验就是:当你觉得轻松或无聊的时候,就是你应该系统性学习,为未来远航做准备的时候。

要说最深远的决定,就是通过对自身的评估,清晰地了解自己,知道自己能够做什么以及不能够做什么。应该说,决定心无旁骛地走技术道路,就是对自己最影响深远的决定。

王楠w_n(Q3):纵观业界,有不少关于大数据方面的书籍,均偏重于理念和基础知识的介绍,关于您的新书《大数据架构师指南》您是如何定位的?相较其他业界图书,您认为本书的优势在于哪里?

王德政(A3):在大数据项目建设过程中,往往需要三个层次的知识。第一个层次是关于大数据是什么,能做什么等理念方面的知识;第二个层次是端到端的大数据方案设计与系统架构;第三个层次是大数据相关的基础技术知识,例如,对HDFS、MR、SPARK等技术点的掌握。
当前业界第一个层次与第三个的书籍比较多,读者不难获得相关的学习材料。但第二个层次的书籍非常少,大数据相关的从业者,往往只能通过各类交流活动才能获取这方面的零碎知识。

基于如上原因,我们感觉迫切需要将我们在大型项目中积累的经验总结出来,厘清大数据方案所需的关注重点,并结合具体的实践案例进行说明,帮助从业者在最短的时间内将这些知识系统化。

王楠w_n(Q4):大数据项目一般是按照其应用场景来区别部署的,请您结合中兴的大数据系统框架,谈下实际架构中遇到的一些难点是如何攻克的?构建一个大数据系统时应该从哪些方面考虑?

王德政(A4):构建大数据系统时需要考虑的关键因素,在本书的第三章做了较为详细的描述。应该说,书中的描述只是通用的描述,但不同的场景与系统,其关注的关键因素也是不同的。系统架构的任务之一,就是要识别出这些场景下最重要的关键因素(当然,这些工作也是体现大数据架构师价值的地方)。

例如,如果你的系统需要实时采集存储巨大的数据流量,则入库的性能将成为整个系统设计的关键;如果你的系统需要满足类似于12306铁路售票系统这样大量的并发访问,则访问效率将是整个系统架构的重心。

王楠w_n(Q5):最近,有坛友讨论关于Spark 替代Hadoop 的问题,有人强烈推崇Spark技术,宣称Spark是大数据的未来,同时宣布了Hadoop的死刑。那么与Hadoop相比,Spark技术如何?现工业界大数据技术都在使用何种技术?

王德政(A5):当前大数据已经是一个庞大的生态系统,很难用一种技术(或组件)将所有的场景通吃。作为计算框架,Spark是一种较为通用且高效的计算框架,是大多数场景下的较好折中。例如,如果要实现秒级的实时流处理,则Spark Streaming可以胜任,但如果需要实现亚秒级的实时流处理,则需要使用Storm。就如同瑞士军刀,可以做很多事情,但是在特定严苛的场景下,还是需要使用更为专业的工具才能胜任。

王楠w_n(Q6):之前有网友宣称架构已死,源于行业里对架构师错误的定位。如果架构师这种职业已经死亡或消失,您会如何定位自己的职业?您本人对架构师这个职业又是如何理解的?

王德政(A6):我个人认为架构师这个行业在很长的时间内不会消亡。大数据系统的构建,是为了实现各行业的应用与业务。行业专家具备相应领域的业务知识,但是缺乏构建系统的技术能力;而IT工程师具备相应的技术能力,但又缺乏相关领域的业务知识。这两者之间的鸿沟很深,很难逾越。而架构师就是连接这道鸿沟的桥梁,通过理解两端的知识,构建相应的系统架构,实现业务知识与IT知识的连接。

王楠w_n(Q7):人们常说,解决问题不在于结果而在于过程。最后,请您聊下实际运用设计框架的思想路径。

王德政(A7):相比于编码,架构的设计更加复杂和困难,但是一些方法和实践可以分享给大家,抛砖引玉:

1)高屋建瓴,有所舍,有所得。聚焦在矛盾的主要方面,不要性能、功能、可靠性等都想做到最优,要能够平衡好这些架构要素。

2)切勿脱离业务的实际需求,架构本质上要为商业服务,脱离业务实际的架构是没有商业价值的。

3)不要闭门造车,多参考业界标杆产品的设计理念和优秀实践,吸收消化,为我所用。

4)不要试图做一个完美的理想主义者,架构设计亦如此。架构是为商业服务的,它会随着业务的发展由最初的不完美向完美逐步演进。顺其自然,而不是在设计之初就试图打造最完美的架构。








论坛徽章:
390
宝马
日期:2013-11-22 20:41:54马上加薪
日期:2014-02-19 11:55:14马上有钱
日期:2014-03-11 11:59:122014年世界杯参赛球队:喀麦隆
日期:2014-07-11 12:10:53马上有对象
日期:2014-04-09 16:19:542014年世界杯参赛球队: 洪都拉斯
日期:2014-06-25 08:25:55itpub13周年纪念徽章
日期:2014-09-28 10:55:55itpub13周年纪念徽章
日期:2014-10-01 15:27:22itpub13周年纪念徽章
日期:2014-10-09 12:04:18马上有钱
日期:2014-10-14 21:37:37
发表于 2016-7-13 21:17 | 显示全部楼层
大数据对制造业有什么用处

使用道具 举报

回复
认证徽章
论坛徽章:
832
状元
日期:2015-11-12 10:18:05榜眼
日期:2015-11-12 10:18:05探花
日期:2015-11-12 10:18:05进士
日期:2015-11-12 10:18:05举人
日期:2015-09-11 13:42:08秀才
日期:2015-09-17 09:11:05至尊黑钻
日期:2015-11-20 18:17:09紫钻
日期:2015-11-20 18:18:06粉钻
日期:2015-11-20 18:17:23绿钻
日期:2015-11-20 18:17:48
发表于 2016-7-14 09:54 | 显示全部楼层
这年头啥都是大数据

使用道具 举报

回复
论坛徽章:
78
生肖徽章2007版:牛
日期:2012-08-02 22:43:00紫蛋头
日期:2012-12-08 09:43:38鲜花蛋
日期:2012-11-17 12:02:07鲜花蛋
日期:2013-02-05 21:53:34复活蛋
日期:2012-11-17 12:02:07SQL极客
日期:2013-12-09 14:13:35SQL数据库编程大师
日期:2013-12-06 13:59:43SQL大赛参与纪念
日期:2013-12-06 14:10:50ITPUB季度 技术新星
日期:2012-11-27 10:16:10最佳人气徽章
日期:2013-03-19 17:24:25
发表于 2016-7-19 10:16 | 显示全部楼层
通篇内容,凡是涉及方法论的东西,我都挺赞同的。
唯大数据聊得有点少,只是涉及了大数据实施的技术端的三个层次的概括,属面对入门者,更没有对于大数据和AI等一些方面的看法,不解渴

使用道具 举报

回复
论坛徽章:
0
发表于 2016-7-19 11:36 | 显示全部楼层
后面还有没有干货分享呢?

使用道具 举报

回复
论坛徽章:
4
2011新春纪念徽章
日期:2011-02-18 11:43:33ITPUB 11周年纪念徽章
日期:2012-10-10 13:11:142013年新春福章
日期:2013-02-25 14:51:24秀才
日期:2016-06-23 14:15:06
发表于 2016-8-30 09:21 | 显示全部楼层
大数据啊!离我们太遥远了

使用道具 举报

回复
论坛徽章:
0
发表于 2016-9-22 17:05 | 显示全部楼层
权威定义表明当前的大数据只是一种需求而不是一种新技术

2011年,麦肯锡提出了大数据的定义。五年来,大数据热遍全球,然而到目前为止大数据“雷声大雨点小”,时至今日,无也人能拿出一个国家级的大数据让大家长一长见识,为什么会这样呢?大数据行业的特点与众不同:有需求没技术。
以前的产业“大变革”都是先有技术,然后技术推动产业“大变革”:
由于蒸汽机等的产生,带来了工业革命;
由于计算机技术的产生,带来了信息化社会;
由于互联网的产生,带来了电子商务、互联网+。
然而,如今是全球呼唤大数据,却没有成熟的大数据技术!因此,大家都找不到进军的方向,拿不出让大家认可的“大数据产品”。
以前是全民歌唱蒸汽机、计算机、互联网新技术,而如今却是全民声讨现有的主流计算机技术,权威机构关于大数据的定义已有确指出“当前的主流软件工具已无法处理大数据”:
2011年,麦肯锡对大数据给出的定义是:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。
Gartner对大数据的定义:“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
维基百科对大数据的定义:“大数据是指所涉及的数据量规模巨大到无法通过目前主流软件工具,在合理时间内达到获取、处理的数据。”
互联网数据中心将大数据定义为:“为更经济地从高频率、大容量、不同结构和类型的数据中获取价值而设计的新一代架构和技术”。
上面的有关大数据的定义所给出的结论是悲观的:目前人们无法处理大数据,“需要新的处理模式”才能处理大数据。

使用道具 举报

回复
论坛徽章:
0
发表于 2016-9-22 17:08 | 显示全部楼层
由权威定义可得知:目前并没有权威的、公认的可以处理大数据的理论。因此,当前的所谓的大数据公司都是冒牌的

使用道具 举报

回复
论坛徽章:
0
发表于 2016-10-10 13:59 | 显示全部楼层
多聊点大数据的相关信息,学渣表示非常需要。

使用道具 举报

回复
认证徽章
论坛徽章:
0
发表于 2017-1-3 14:05 | 显示全部楼层
我们公司旁边的移动就有好多中兴

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则

TOP技术积分榜 社区积分榜 徽章 电子杂志 团队 统计 虎吧 老博客 知识索引树 读书频道 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档 | IT博客
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛 | SAP ERP系统
CopyRight 1999-2011 itpub.net All Right Reserved. 北京皓辰网域网络信息技术有限公司版权所有 联系我们 网站律师 隐私政策 知识产权声明
京ICP证:060528号 北京市公安局海淀分局网监中心备案编号:1101082001 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表