【大话IT】你离大数据架构师有多远？（获奖名单已公布）

王楠w_n

获得技术图书《大数据架构师指南》的用户有：

itpub路在何方
风铃中の鬼
baijiong998
lispo
liuhuoxingkong


====================================================

话题背景：

首先，先科普下“数据架构师”的相关职责：

数据架构师要负责建立和维持公司数据储存的技术基准，策划硬体和软体的结构，确保数据储存系统可以支持未来的数据量和分析需求。

据了解，美国地区数据架构师的薪资范围是 $65,928 到 $147,868 美元，中间值为 $105,581 美元，以目前的趋势来看，比起 SQL ，擅长 OracleDB 的人才较容易得到高薪。

曾经提到一位面试的朋友认为架构师的工作是选择某个项目是采用Hadoop还是Spark，有人证明选择这个问题比编码还简单，所以这不是架构师的工作，那么架构师的工作是什么呢？

就拿建筑工程做类比，架构师的工作不是某个大厦设计师的工作，而是整个城市布局的设计师。架构师必须了解每一座大厦，每一个菜市场，每一个医院的结构和作用以及它们之间的关系，和一些外部的因素，然后才可以决定如何构建一个美丽健康怡人的城市。

接下来，让我们以此展开讨论：

1.作为企业架构师，我们为什么需要构建数据结构？

2.结合自身，说一下你离架构师有多远，还需要掌握哪些技术？

3.如果你应聘架构师方面的工作，那么你认为设计架构具体都做些什么呢？

4.如果在一个成熟的企业里没有你所想象的架构师呢？或者说，架构师这种职业已经死亡或消失了呢？你会怎么定位你的职业？

讨论时间：2016年6月30日—7月30日

话题奖励：

活动结束后，我们将会选取5个亮点回复，送《大数据架构师指南》图书一本。

作者： 朱进云    陈坚    王德政   
出版社：清华大学出版社
ISBN：9787302435167
上架时间：2016-5-31
出版日期：2016 年6月
开本：16开
版次：1-1
所属分类：计算机 > 数据库 > 综合

内容简介：本书总结了中兴通讯大数据平台DAP团队对大数据技术的最新研究成果，结合中兴大数据平台在各行业的应用实践经验，旨在帮助读者建立系统化的大数据技术脉络，并针对业界一些似是而非的问题进行系统性的讲解与澄清。阅读完本书，读者就可以基本掌握大数据技术的系统架构和核心思想。

样章试读： 大数据架构师指南.pdf (2.43 MB, 下载次数: 2926)

2016-6-30 16:49 上传

点击文件名下载附件

itpub路在何方

1.作为企业架构师，我们为什么需要构建数据结构？
答复：数据结构主要有以下内容：
1）数据标准不一致　　
2）数据模型管理混乱　　
3）深入的性能的问题无法解决　　
4）SQL语句编写水平不高导致出现严重性能问题　　
5）开发人员对执行计划收悉　　
6）上线前缺乏审计　　
7）相对复杂的数据处理能力欠缺　　
8）数据质量差需要执行数据质量管理
数据是客户的财富，虽然对于我们开发人员一文不值，在客户那里就是无价之宝，保障数据的完成性，安全性，可靠性，必须要存在数据结构满足8大要求。


2.结合自身，说一下你离架构师有多远，还需要掌握哪些技术？
答复：架构师首先有很多方向，作为架构师必须具有丰富的开发经验，是个技术主管。
      因为他必须清楚什么是可以实现的，实现的方式有哪些，相应的难度怎么样，实现出来的系统面对需求变化的适应性等一系列指标。
          另外，需要对面向过程、面向对象、面向服务等设计理念有深刻的理解，可以快速的察觉出实现中的问题并提出相应的改进（重构）方案（也就是通常说的反模式）。
          这些都需要长期的开发实践才能真正的体会到，单从书本上很难领会到，就算当时理解了也不一定能融会到实践中去。
      在技术能力上，软件架构师最重要也是最需要掌握的知识是构件通信机制方面的知识，包括进程内通信（对象访问、函数调用、数据交换、线程同步等）以及进程外（包括跨计算机）的通信（如RMI、DCOM、Web Service）。
          在WEB应用大行其道的今天，开发者往往对服务器间的通信关注的比较多，而对进程内的通信较少关注。进程外跨机器通信是构建分布式应用的基石，它是架构设计中的鸟瞰视图；而进程内的通信是模块实现的骨架，它是基石的基石。
          如果具体到一个基于.Net企业级架构设计，首先需要的是语言级别的认识，包括.NET的CLR、继承特性、委托和事件处理等。然后是常用解决方案的认识，包括ASP.NET Web Service、.NET Remoting、企业服务组件等。
          总之，丰富的开发实践经验有助于避免架构师纸上谈兵式的高来高去，给代码编写人员带来实实在在的可行性。
      其次，具有足够的行业业务知识和商业头脑也是很重要的。行业业务知识的足够把握可以给架构师更多的拥抱变化的能力，可以在系统设计的时候留出一些扩展的余地来适应可能来临的需求变化。
          有经验的设计人员可能都碰到过这样的事，一厢情愿的保留接口在需求变化中的命中率非常低。也就是说，在系统设计之初为扩展性留下来的系统接口没能在需求变化的洪流中发挥真正的作用，因为需求的变化并没有按照预想的方向进行，到最后还是不得不为变化的业务重新设计系统。
          这就是因为对业务知识的理解和对市场或者商业的判断没有达到一个实用的、可以为架构扩展性服务的水平。
      再次，架构设计师对人的关注必须提升到架构设计之初来纳入考虑的范围，包括沟通以及对人员素质的判断。软件过程是团队协作共同构建系统的过程，沟通能力是将整个过程中多条开发线粘合在一起的胶水。
          大家都应该碰到过事后说“原来是这样啊，我不知道啊”或者某个开发人员突然高声呼喊“为什么这里的数据没有了”之类的。沟通的目的就是尽量避免多条开发线的混乱，让系统构建过程可以有条理的高效进行。
          另外，对人的关注还表现在对团队成员的素质判断上，比如哪些开发人员对哪些技术更熟悉，或者哪些开发人员容易拖进度等。只有合理的使用人力资源，让合适的人做合适的事情才能让整个软件过程更加高效。
      架构师应时刻注意新软件设计和开发方面的发展情况，并不断探索更有效的新方法、开发语言、设计模式和开发平台不断很快地升级，软件架构师需要吸收这些新技术新知识，并将它们用于软件系统开发工作中。但对新技术的探索应该在一个理性的范围内进行，不能盲目的跟风。
          解决方案提供商永远都希望你能使用它提供的最新技术，而且它们在推广自己的解决方案的时候往往是以自己的产品为中心，容易给人错觉。
          比如数据库，往往让人觉得它什么都能做，只要有了它其它什么都不重要了。但事实上并不是如此，对于小型应用可以将许多业务逻辑用script的方式放入数据库中，但很少看到大型应用采用这样的做法。
          对于新东西需要以一种比较的观点来判断，包括横向的比较和纵向的比较，最后得出一些性能、可移植性以及可升级等指标。另外，新入行的开发人员往往关心新技术动向而忽略了技术的历史，而从DOS时代一路杀过来的开发者就对现在的技术体系有较全面的把握。


3.如果你应聘架构师方面的工作，那么你认为设计架构具体都做些什么呢？
答复:1#:确认需求
　　在项目开发过程中，架构师是在需求规格说明书完成后介入的，需求规格说明书必须得到架构师的认可。架构师需要和分析人员反复交流，以保证自己完整并准确地理解用户需求。
　　2#:系统分解
　　依据用户需求，架构师将系统整体分解为更小的子系统和组件，从而形成不同的逻辑层或服务。随后，架构师会确定各层的接口，层与层相互之间的关系。架构师不仅要对整个系统分层，进行“纵向”分解，还要对同一逻辑层分块，进行“横向”分解。
　　软件架构师的功力基本体现于此，这是一项相对复杂的工作。
　　3#:技术选型
　　架构师通过对系统的一系列的分解，最终形成了软件的整体架构。技术选择主要取决于软件架构。
　　Web Server运行在Windows上还是Linux上？数据库采用MSSql、Oracle还是Mysql？需要不需要采用MVC或者Spring等轻量级的框架？前端采用富客户端还是瘦客户端方式？类似的工作，都需要在这个阶段提出，并进行评估。
　　架构师对产品和技术的选型仅仅限于评估，没有决定权，最终的决定权归项目经理。架构师提出的技术方案为项目经理提供了重要的参考信息，项目经理会从项目预算、人力资源、时间进度等实际情况进行权衡，最终进行确认。
　　4#:制定技术规格说明
　　架构师在项目开发过程中，是技术权威。他需要协调所有的开发人员，与开发人员一直保持沟通，始终保证开发者依照它的架构意图去实现各项功能。
　　架构师不仅要保持与开发者的沟通，也需要与项目经理、需求分析员，甚至与最终用户保持沟通。所以，对于架构师来讲，不仅有技术方面的要求，还有人际交流方面的要求。


4.如果在一个成熟的企业里没有你所想象的架构师呢？或者说，架构师这种职业已经死亡或消失了呢？你会怎么定位你的职业？
答复:如果在一个企业里没有架构师，那么我可以推动自己往这个方向努力发展。
     如果在这个行业里不存在架构师，我想软件领域开发的软件质量应该也会存在很多问题。
     没有架构师或者自己已经从事了架构师这个职位有了危机以后，我想对自己的职位依然做个肯定，因为业务永远会随着客户的需求存在，
         既然有客户需求，业务就会产生，有业务产生，那必然少不了技术实现，可以做技术方案指导，都是很好的方向。

风铃中の鬼

我还是很想要这个书的哈，以架构师为目标的我也来掺和一下

1.作为企业架构师，我们为什么需要构建数据结构？

如果没有构建数据结构，那最终我们的数据产品就会像一个杂乱无章的网子一样，对于客户来说，他只管看结果，只要界面满意，功能齐全就好，但对于我们产品本身的可扩展性，维护性，容错性全部都会大大降低，在这一点上我是有一点感触的，之前见到过某个项目数据构建的不够好，数据结构看似分明，实际开发的程序却附带极高的耦合度，结果就导致牵一发动全身的后果，但凡对某些地方的修改，整个产品都收到影响，这还是在确实有构建数据结构，仅仅是构建的不好的前提下，若是连一点构建工作都不做就直接开发，我敢说，等进入实测阶段的时候，那些BUG甚至会导致项目流产。
所以说，只要数据结构构建完善，并且开发也忠实实现了这个架构，那至少可以让以下几个好处：
1) 高内聚，低耦合，让bug的影响限制在局部，方便快速定位及解决问题
2) 结构分明也带来了优异的可操作性和可维护性，这就跟你把1W行代码写在一个对象里，和分写在几十个对象里带来的好处一样
3) 架构师设计架构肯定要考虑产品扩展性的，无论在产品开发期间，或是在将来为为产品做新的版本都非常有好处，毕竟需求随时变化，没有足够扩展性的产品就代表缺乏足够的生存能力

2.结合自身，说一下你离架构师有多远，还需要掌握哪些技术？

我目前确实还只是一个憧憬架构师的老菜鸟而已，我认为，对于成为一个大数据架构师，必须要具备以下的基础：

1) 过硬的开发能力
架构师肯定要从研发做起的，他不光要设计架构，还必须确定这个架构在技术上是否真的可行，就像题目里说的，设计架构不是简单的设计楼房，而且我认为也不是简单的规划城市，因为理论上完美的架构不一定可行，你在掌控宏观的同时也必须把微观的要素考虑进去，就像一个不开车的博士后去规划城市道路，但堵车原因没有千万也有百十条吧，你没亲自体验过怎么知道自己设计的道路可以治堵?
2) 对架构的见闻要广
并非说设计架构的经验，而是你实际见过多少别人设计的架构，本题是以还没有成为架构师为前提讨论的，所以若说“自己有多少设计架构的经验之后就可以成为架构师”，那就很矛盾了，但没吃过猪肉，总该见过猪跑吧，架构不是你设计的，但你可以去了解去学习，所以想办法多接触各种产品架构是很有必要的，我相信只要我了解的架构越多，对将来真正自己带队设计架构的好处越大。
3) 理论学习
前人经验总结出来的基础理论是很有必要学的，即便开发能力强，见识过很多产品架构，但设计架构时该注意什么，什么问题需要回避，都要通过“阅读”来学习的，所以我很想要这本书哈。


3.如果你应聘架构师方面的工作，那么你认为设计架构具体都做些什么呢？

1) 对新产品就是要设计架构，需要将需求的变化也就是可扩展性和容错性等，技术的可实现性，将来的可维护性，成本等一系列的问题都考虑在内，当然最重要的是满足客户需求
2) 旧产品架构的优化改造，产品不能只卖一次嘛。。都懂得。
3) 高难问题的解决，小兵不懂问组长，组长不懂的就得问你架构师啦，说白了我认为架构师就是一个团队在技术上的最终BOSS，当手下都搞不定的时候就要靠架构师了，但是尤其这点我想吐槽一下，我在以前工作中有一个我很看不起的家伙，他自诩技术负责人，只动嘴不动手，有很多次手下问他某个技术难点怎么实现，他给了一个理论上的实现方案，当再问他具体怎么做，他居然厚着脸皮的说:"这是你们的事，怎么实现我不管"，不就是因为实现不了才找你的吗？其实就是你不会罢了，这是典型的滥竽充数，一生也不会成为真正的架构师。
4) 对一些技术方案做评审，给出合理建议等等

4.如果在一个成熟的企业里没有你所想象的架构师呢？或者说，架构师这种职业已经死亡或消失了呢？你会怎么定位你的职业？

既然是成熟的企业，没有架构师是不是有点矛盾，至少应该有总工程师，或者技术总负责人之类的职位吧，我认为这类职位的职责与架构师相差不多，就是换个名字，如果架构师这种职业死亡，那么架构到底由谁来设计呢？很多以外包项目为模式的工作方式到确实没有架构师，这种时候项目架构大多由项目经理，或者项目组的人共同商议得出结果，但我认为这种工作模式本身就做不出好东西，说白了只是一个用半次品的成果忽悠客户骗钱的模式，即便最终得到回款，也很少会得到客户真正的好评
至于遇到这种没有架构师的企业，我会怎样选择？我个人认为对我的职业规划完全没有影响，跳槽去一家需要架构师的公司就是了

baijiong998

1.作为企业架构师，我们为什么需要构建数据结构？
  企业的架构师，好比一个城市的政府部门----城市发展与规划局。
  架构师从其工作的侧重点来说，大致可以分为四大类：
  业务架构师：定义组织业务模型、结构、任务、目标、流程
  信息架构师：支持业务视图的数据的识别，包括数据计算规则、逻辑\物理数据模型 以及 数据在应用和业务上的使用。
  应用架构师：应用功能和需求
  系统架构师：具体到某个应用系统的设计，纠缠细节。
  
  其中，与本话题相关的 即信息架构师，我们也称为数据架构师。
  我想，构建数据结构的，正是 数据架构师的主要职责之一。
  从目前，我们的实际情况来看，数据架构师大多存在于 企业数据仓库部门 或  大数据相关的部门，较少存在于业务系统的相关部门中。
  数据仓库或大数据相关部门，主要呈现出以下的几个特点：
  a) 数据来源复杂，有企业内部的各个业务系统、也有外部专业机构所提供的数据 以及 各社交媒体的渠道数据。这些数据，各自都有自已的标准。
  b) 数据量较大，处理较为复杂，有的数据需要进入关系模型进行保存，有的数据需要进入维度模型进行保存，采用何种方法才能高效、正确的处理数据是一个比较关键的问题。
  c) 应用较广，一般，企业的基础数据，既要支持内部的统计分析，也还要支持外部的监管审计
  从数据所呈现出的这些特点，统一的数据结构就显得十分必要，而且是数据架构师的重点工作之一。
  
  
2.结合自身，说一下你离架构师有多远，还需要掌握哪些技术？
  当前正处在数据架构岗上，也处理着企业内部的数据架构的相关工作。
  我想，一个好的开发人员，未必是一个合格的架构师，当然，一个好的架构师，也未必是一个好的开发人员。这两者之间，并没有太多的必然关系。
  架构师的产出物，是一个方向，一个规划，而未必是一个具体的实施方案。
  要做好架构师的工作，更多的是掌握企业的各类业务特性，了解企业当前的运营情况及IT系统的构建情况，从而引导并创造出一个新的思路，一个新的方向。
  而不是专注于IT技术（或许，这也就是为什么架构师薪资高于IT技术人员薪资的一个主要原因吧）。比如，某公司一卡通产品的创造，就是划时代的创新。  
  
  
3.如果你应聘架构师方面的工作，那么你认为设计架构具体都做些什么呢？
  当然，现在已经处于架构岗位上。不过，对于架构师该做的事情，我想，应该要包括以下几项吧：
  a) 了解公司的业务，金融公司有相关的业务，互联网公司也有相关的业务，每家公司都有其独特的业务属性，而公司的员工未必都了解。
     作业企业的架构师，不了解业务，肯定不是一个合格的员工。
  b) 方向性的产出物，不要纠结于具体的实施方案 或 技术细节。
     就好像修建107国道一样，国道的走向，路面宽度归架构师。而路面该用什么材料，何时修建完成则不由架构师来做。
  c) 大局观，架构需从大处着眼，不要纠结于当前的技术发展。产出物还要有较好的扩展性。  
  
  
4.如果在一个成熟的企业里没有你所想象的架构师呢？或者说，架构师这种职业已经死亡或消失了呢？你会怎么定位你的职业？
  大到当年的皇宫修建，小到现在的民房建设，其第一步，都是合理的选址、设计图纸，决不是打桩。
  架构师是顺应时代发展，而产出的一个岗位，当年，很多企业都没有这个专职岗位，大多于经验丰富的开发人员担当了本IT系统的架构设计。
  我想，架构师既然是顺应时代的产物，则必定会长期存在一段时间。而职业的规划，最多也就5年吧。
  不过，有个思想还是需要表达的，做贯了将军的，未必还能做一名合格的士兵。
  
  
--------------------------
以上仅个人观点  
  
  
  

lispo

1.作为企业架构师，我们为什么需要构建数据结构？
作为架构师的我，其实也一直在问自己，到底什么叫做架构师？
一家企业，企业的掌舵人，可以称为企业架构师。 而针对企业级项目，系统设计和管理者一般也被称为架构师。

所以，我认为一般的架构师是 事物内部各种关系的设计和管理者（哲学上）

作为IT架构师，研究的对象就是各种事物及关系，而各种事物和关系通常是用各种不同的数据结构的具体体现，可以这么说，构建数据和数据关系（结构）是架构师的基本工作内容。

2.结合自身，说一下你离架构师有多远，还需要掌握哪些技术？
现在就是架构师，但架构师不能说那些具体技术，科学点说是具备那些素质和能力。
具体体现在：
深厚的行业背景知识
全局关系的把控能力
IT专业技能技术（开发环境，语言，项目管理等等）
还有虚实转化能力和特别强的抽象思维能力（建模等）

3.如果你应聘架构师方面的工作，那么你认为设计架构具体都做些什么呢？
严格来说，有产品经理的，架构师的主责是基础产品要求从整体上构建技术实现方案，若没有产品经理的，则工作包含产品经理的全部工作。

现实中，架构师专门负责技术其实是一种浪费，精益开发要求我们全局把控。 一个不能在整体把握的架构师，我们不能称为他是真正的架构师。

4.如果在一个成熟的企业里没有你所想象的架构师呢？或者说，架构师这种职业已经死亡或消失了呢？你会怎么定位你的职业？
全栈工程师 产品经理 或资深专家

liuhuoxingkong

1.作为企业架构师，我们为什么需要构建数据结构？
  数据、业务、服务架构是企业架构的几个方面，尤其对于数据为中心的企业来说，数据如何存储、分析，并加以利用对企业发展来说至关重要，良好的数据结构有利于数据存储、分析和使用这几个方面，考虑到容灾、同步等问题，更不容忽视

2.结合自身结合，说一下你离架构师有多远，还需要掌握哪些技术？
目前来看，无法单纯以时间来计算。技术上来说，深入理解各种存储结构，掌握特征、优劣、适用场景、潜在问题是亟待解决的问题；另外还要有足够的经验，这个除了从案例中学习，还要实际参与到架构任务中

3.如果你应聘架构师方面的工作，那么你认为设计构架具体都做些什么呢？
从底层数据存储，到服务结构、上层服务开放，中间各环节的接口规范，需要制定大体框架，可以不实现细节，但一定要保证整体的稳定性、可扩展性  

4.如果在一个成熟的软件企业里没有你所想象的构架师呢？或者说，构架师这种职业已经死亡或消失了呢？你会怎么定位你的职业？
  理论上不会消亡，分工不同，架构师的水平也需要多年的积累才能够达到，随着技术的不断更新换代，老一代的架构师中无法跟上技术发展的人也会退出，并融入新的力量。目前来看，先拥有架构师的能力是目前的目标，另外也在努力像数据分析师、挖掘工程师的方向发展

houbao408

为什么都没有秀才章了？

daizyflower

何为架构师，错别字好多呀

1983yu

我离这个很远很远

魔界卧龙

1.作为企业架鼓石，我们为什么需要构建数据结构？
  数据是企业的核心所在，应用都是在使用数据，一个好的架构，能让企业的业务扩展大大提高
2.结合自身结合，说一下你离架构师有多远，还需要掌握哪些技术？
说远就远，说不远也不远。技术都是次要的，真正是要把握全局。
3.如果你应聘架构师方面的工作，那么你认为设计构架具体都做些什么呢？
  了解公司业务，选择技术
4.如果在一个成熟的软件企业里没有你所想象的构架师呢？或者说，构架师这种职业已经死亡或消失了呢？你会怎么定位你的职业？
  走管理或者干自己的事业

佚名是译名

遥远的距离         

pastime_Wang

站位,更新!

王楠w_n

daizyflower 发表于 2016-6-30 17:10
何为架构师，错别字好多呀

妈呀，没注意

renxiao2003

为什么大话IT不会秀才章了。