【名人堂】专访中兴首席架构师：聊聊大数据架构那些事儿

王楠w_n

嘉宾介绍：




   王德政，现任中兴通讯中心研究院大数据首席架构师，负责中兴通讯大数据平台的系统架构设计。在18年的电信行业从业经历中，王德政先生曾先后从事GSM、WCDMA、IMS、统一网管、专业服务工具、大数据平台等产品的系统架构工作，曾先后两次获得深圳市科技进步奖。

王楠w_n（Q1）：王老师，您好！很高兴有机会采访到您，能否简单介绍下自己？

王德政（A1）：你好，很高兴接受你的采访。我是王德政，1998年毕业于浙江大学，获硕士学位。曾先后从事GSM（CN）、WCDMA（CN）、IMS、3G平台、统一网管、专业服务工具、大数据平台等产品的系统架构工作，2007年与2012年，我参与研发的“多功能媒体网关”、“新一代集中网络管理调度平台技术创新及产业化”曾先后两次获得深圳市科技成果登记。现任中兴通讯中心研究院大数据首席架构师，负责中兴通讯大数据平台的系统架构设计。

王楠w_n（Q2）：了解到您是1998年加入中兴，具有近18年的电信行业从业经验，作为一名行业前辈，能否将您的从业经验分享一二？在您职业生涯履历中，有没有对您影响深远的转变和决定？

王德政（A2）：记得2000年时离开GSM核心网项目，加入WCDMA核心网。这期间大概有两个月较为轻松的过渡期，但这两个月里我没有浪费，系统性地学习了TCP/IP相关的知识。在后来的WCDMA核心网与3G平台的系统设计中，如果没有这些提前学习的知识，将很难胜任这些工作。所以，我的经验就是：当你觉得轻松或无聊的时候，就是你应该系统性学习，为未来远航做准备的时候。

要说最深远的决定，就是通过对自身的评估，清晰地了解自己，知道自己能够做什么以及不能够做什么。应该说，决定心无旁骛地走技术道路，就是对自己最影响深远的决定。

王楠w_n（Q3）：纵观业界，有不少关于大数据方面的书籍，均偏重于理念和基础知识的介绍，关于您的新书《大数据架构师指南》您是如何定位的？相较其他业界图书，您认为本书的优势在于哪里？

王德政（A3）：在大数据项目建设过程中，往往需要三个层次的知识。第一个层次是关于大数据是什么，能做什么等理念方面的知识；第二个层次是端到端的大数据方案设计与系统架构；第三个层次是大数据相关的基础技术知识，例如，对HDFS、MR、SPARK等技术点的掌握。
当前业界第一个层次与第三个的书籍比较多，读者不难获得相关的学习材料。但第二个层次的书籍非常少，大数据相关的从业者，往往只能通过各类交流活动才能获取这方面的零碎知识。

基于如上原因，我们感觉迫切需要将我们在大型项目中积累的经验总结出来，厘清大数据方案所需的关注重点，并结合具体的实践案例进行说明，帮助从业者在最短的时间内将这些知识系统化。

王楠w_n（Q4）：大数据项目一般是按照其应用场景来区别部署的，请您结合中兴的大数据系统框架，谈下实际架构中遇到的一些难点是如何攻克的？构建一个大数据系统时应该从哪些方面考虑？

王德政（A4）：构建大数据系统时需要考虑的关键因素，在本书的第三章做了较为详细的描述。应该说，书中的描述只是通用的描述，但不同的场景与系统，其关注的关键因素也是不同的。系统架构的任务之一，就是要识别出这些场景下最重要的关键因素（当然，这些工作也是体现大数据架构师价值的地方）。

例如，如果你的系统需要实时采集存储巨大的数据流量，则入库的性能将成为整个系统设计的关键；如果你的系统需要满足类似于12306铁路售票系统这样大量的并发访问，则访问效率将是整个系统架构的重心。

王楠w_n（Q5）：最近，有坛友讨论关于Spark 替代Hadoop 的问题，有人强烈推崇Spark技术，宣称Spark是大数据的未来，同时宣布了Hadoop的死刑。那么与Hadoop相比，Spark技术如何？现工业界大数据技术都在使用何种技术？

王德政（A5）：当前大数据已经是一个庞大的生态系统，很难用一种技术（或组件）将所有的场景通吃。作为计算框架，Spark是一种较为通用且高效的计算框架，是大多数场景下的较好折中。例如，如果要实现秒级的实时流处理，则Spark Streaming可以胜任，但如果需要实现亚秒级的实时流处理，则需要使用Storm。就如同瑞士军刀，可以做很多事情，但是在特定严苛的场景下，还是需要使用更为专业的工具才能胜任。

王楠w_n（Q6）：之前有网友宣称架构已死，源于行业里对架构师错误的定位。如果架构师这种职业已经死亡或消失，您会如何定位自己的职业？您本人对架构师这个职业又是如何理解的？

王德政（A6）：我个人认为架构师这个行业在很长的时间内不会消亡。大数据系统的构建，是为了实现各行业的应用与业务。行业专家具备相应领域的业务知识，但是缺乏构建系统的技术能力；而IT工程师具备相应的技术能力，但又缺乏相关领域的业务知识。这两者之间的鸿沟很深，很难逾越。而架构师就是连接这道鸿沟的桥梁，通过理解两端的知识，构建相应的系统架构，实现业务知识与IT知识的连接。

王楠w_n（Q7）：人们常说，解决问题不在于结果而在于过程。最后，请您聊下实际运用设计框架的思想路径。

王德政（A7）：相比于编码，架构的设计更加复杂和困难，但是一些方法和实践可以分享给大家，抛砖引玉：

1)高屋建瓴，有所舍，有所得。聚焦在矛盾的主要方面，不要性能、功能、可靠性等都想做到最优，要能够平衡好这些架构要素。

2)切勿脱离业务的实际需求，架构本质上要为商业服务，脱离业务实际的架构是没有商业价值的。

3)不要闭门造车，多参考业界标杆产品的设计理念和优秀实践，吸收消化，为我所用。

4)不要试图做一个完美的理想主义者，架构设计亦如此。架构是为商业服务的，它会随着业务的发展由最初的不完美向完美逐步演进。顺其自然，而不是在设计之初就试图打造最完美的架构。

〇〇

大数据对制造业有什么用处

1983yu

这年头啥都是大数据

udfrog

通篇内容，凡是涉及方法论的东西，我都挺赞同的。
唯大数据聊得有点少，只是涉及了大数据实施的技术端的三个层次的概括，属面对入门者，更没有对于大数据和AI等一些方面的看法，不解渴

suiguo

后面还有没有干货分享呢？

dcllj

大数据啊！离我们太遥远了

fanyzidb

权威定义表明当前的大数据只是一种需求而不是一种新技术

2011年，麦肯锡提出了大数据的定义。五年来，大数据热遍全球，然而到目前为止大数据“雷声大雨点小”，时至今日，无也人能拿出一个国家级的大数据让大家长一长见识，为什么会这样呢？大数据行业的特点与众不同：有需求没技术。
以前的产业“大变革”都是先有技术，然后技术推动产业“大变革”：
由于蒸汽机等的产生，带来了工业革命；
由于计算机技术的产生，带来了信息化社会；
由于互联网的产生，带来了电子商务、互联网+。
然而，如今是全球呼唤大数据，却没有成熟的大数据技术！因此，大家都找不到进军的方向，拿不出让大家认可的“大数据产品”。
以前是全民歌唱蒸汽机、计算机、互联网新技术，而如今却是全民声讨现有的主流计算机技术，权威机构关于大数据的定义已有确指出“当前的主流软件工具已无法处理大数据”：
2011年，麦肯锡对大数据给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。
Gartner对大数据的定义：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
维基百科对大数据的定义：“大数据是指所涉及的数据量规模巨大到无法通过目前主流软件工具，在合理时间内达到获取、处理的数据。”
互联网数据中心将大数据定义为：“为更经济地从高频率、大容量、不同结构和类型的数据中获取价值而设计的新一代架构和技术”。
上面的有关大数据的定义所给出的结论是悲观的：目前人们无法处理大数据，“需要新的处理模式”才能处理大数据。

fanyzidb

由权威定义可得知：目前并没有权威的、公认的可以处理大数据的理论。因此，当前的所谓的大数据公司都是冒牌的

huifahei0

多聊点大数据的相关信息，学渣表示非常需要。

我就是妇女之友

我们公司旁边的移动就有好多中兴