ITPUB论坛-中国最专业的IT技术社区

 找回密码
 注册
查看: 212169|回复: 20

[名人堂] 专访魅族首席DBA:深聊DBA们的职场进阶之路

[复制链接]
论坛徽章:
8
2015年新春福章
日期:2015-04-22 09:15:50美羊羊
日期:2015-04-28 08:58:41暖羊羊
日期:2015-05-05 11:13:16慢羊羊
日期:2015-07-03 14:57:082017金鸡报晓
日期:2017-01-10 15:25:58目光如炬
日期:2016-06-05 22:00:00秀才
日期:2017-04-06 18:09:28秀才
日期:2017-05-09 11:37:55
发表于 2016-4-6 16:55 | 显示全部楼层 |阅读模式
嘉宾介绍

左兴宇,魅族科技首席DBA。原美国saas营销软件公司Demandforce北京研发中心高级DBA,2013年加入魅族数据库团队,对数据存储技术有浓厚兴趣。主导魅族核心机房迁移,用户数据业务DB架构优化,应用中心架构优化,多机房业务容灾数据方案落地,闪存技术落地等工作。


duke217(Q1):左老师,您好!很高兴您能接受我们的采访,在此特别感谢您的支持与配合您能否简单介绍下自己?

左兴宇(A1):大学毕业后在深圳从事了4年的开发工作,那时候没有接触过专职dba,感觉是个很牛逼很神奇的职业,北上后机缘巧合投身数据库行业,在cpc ”单挑过小规模db,也在demandforce”团战过大容量数据集群,在DF的那段时间很惬意,中国和美国的时差导致两边的DBA都不需要晚上值班,这确实是挺爽的。2013年回到珠海后搭上了魅族这艘快船加入数据库团队,有幸经历了魅族近几年来飞跃式的发展,用户数从400W3000WIDC设备数从2位数到4位数,这是个很让人惊叹的飞跃式发展,任何处在这个潮流中的人都受益匪浅。


duke217(Q2):作为2016中国数据库技术大会的演讲嘉宾,您对大会主题“数据定义未来”有何理解?

左兴宇(A2):从人机大战4:1战胜李世石的阿尔法狗到阿里2016财年交易额突破3W亿RMB,这些伟大的成就无一不是建立在数据之上的,数据无处不在,人人都是数据的生产者,同时也是数据的消费者,谁能从浩瀚的数据汪洋中深度挖掘觅得真金,谁就能做笑到最后的那个人。全世界每年产生的数据以50%+的速度持续增长,一年产生的信息量比信息化之前人类发展几千年产生的信息之和还多。我们的日常生活从起床听歌跑步,到外卖订单,到淘宝京东购物,到美团电影,到微博微信朋友圈,这些行为产生的数据,通过大数据分析得到的个人画像,甚至比你自己更了解你。这就是数据的魅力,它成就了你我,也成就了这个时代,它就像空气一样,你感觉不到它的存在,但你已经无法离开它。未来一定是数字化的,数据就是未来。


duke217(Q3):据我所知,您目前则担任魅族的首席DBA,而且曾经是美国saas营销软件公司Demandforce北京研发中心高级DBA,那能否和我们分享下您职业路上的故事?

左兴宇(A3):技术人员很大部分的自豪感和荣誉感来自解决了错综复杂的问题带来的欣喜,也来自通宵数据割接半夜处理故障带来的苦闷,DBA的寂寞谁懂呢?说DBA是“高危“职业,这一点大家不会质疑吧?咱干这个在刀尖上跳舞的营生从来不缺故事,说一个紧急数据修复的故事吧。

记得事故发生时,DBA正在和另外一个项目组团建,从电话里对方慌张的语气里感受到这次事件非同寻常,二话不说放下碗筷赶紧跑路,回来发现确实摊上大事了。第一件事是终止数据继续错乱,已经有开发和运营在做了,第二件事就是尽快修复数据。数据恢复2个要素1)恢复效率 2)数据准确性都要保证,同时还不得影响线上业务正常运行。了解清楚情况后立即着手做数据修复,40几个数据集群,每个集群数据量都在1TB以上,单个备份文件在100G左右,不能用平时恢复数据那样搞了,几个措施1)把DBA分组,每个人负责10个集群 2)把全部备用机器拿出来,提供最大的IO写入能力 3)把备份文件切割,做库级别的并发还原4)用DBA时间换用户时间,DBA两班倒24小时在线。通过这几个手段数据一个晚上全部恢复到前一个版本,经过3天错乱数据全部修复。回想起兄弟们熬夜通红的双眼总会莫名的心酸。

当然DBA的生活不总是苦的累的,通过努力把业务可用性从4个9做到5个9,单用户成本降低420%,日常工作繁忙度从90%降低到50%等等,这些改变带来的欢乐也是刻骨铭心的。有甜有苦,有笑有泪,这才是真实的生活吧。


duke217(Q4):近几年来,魅族可谓发展迅速,面对倍增的超大数据量的日常运维,您又遇到过哪些棘手的问题呢?

左兴宇(A4):魅族的发展也是逐年递进,每个阶段有每个阶段面临的问题,从前往后看:

1、标准化程度太低造成的混沌状态,硬件层,OS层,实例层,库结构等方面没有规范可循。导致的直接问题就是DBA需要付出很大的人力去应付每个项目的差异,人累,且不可持续发展,初级阶段似乎都是这么走过来的。我的一个感受就是,即使是在这个阶段,也一定要分出部分人力来做标准化,因为这个事是“重要不紧急”的,这部分工作在未来能够得到很好的回报。标准化解决的是质量问题。

2、标准化落地这个过程持续了很长时间,直到现在还一直在进化。当标准化走到一定程度时,才可以着手自动化。没有标准化为前提来做自动化,路上会很艰辛。手工操作尽可能的变成自动化工具,工具整合变成平台,DBA变成审核部门和“点鼠标”工程师,把精力从重复单调的日常任务里解放出来,做更有价值的事情。自动化解决的是效率问题。

3、有人说DBA是坐在格子间的”拆迁队“,由于前期资源规划不合理,业务成长迅速远超预期,业务规则改变等等原因,数据到一定规模后的不可避免的会出现分分合合,大的拆小,小的合并,资源不合理的迁移,拆拆迁迁的事不可避免。到这个阶段,怎么样做容量规划,怎么样快速拆迁/减少拆迁,这个需求就变得很迫切。摊子大了就一定要有规划,有数据做支撑的规划设计会减少很多未来会出现的拆迁。我们也在做魅族的数据库中间件,今年中间件出来后我们的拆迁/扩容缩容就简单多了。

4、当业务质量和工作效率达标后,成本一定会被老板提出来。DBA是个业务支撑部门,不直接产生利润,但我们通过提高资源利用率,通过容量系统,通过技术更新等手段,可以减少支出,这也是创收。我们现在正在做容量系统的建设,初略计算一下,这件事做完后可以节约30%以上的支出。得到同样的性能可以有不同的硬件搭配,如何让一台64G的R720跑1T热点数据?如何搭配才是性价比比较高的?如何界定容量上限?这些都是很有意义的工作。



duke217(Q5):我了解到,您多年来一直对数据存储技术有着浓厚的兴趣,那么目前这个领域的技术难点您认为是什么?未来又有何突破方向?

左兴宇(A5):在保证数据正确性的前提下怎么样做到更快的存进去,更快的取出来,这是数据库领域永恒的话题,从历史上的网状数据库,文档数据库,发展到成熟的关系数据库,以及各种NOSQL产品的出现,都是围绕存取这个基本点来发展的。NOSQL产品的蓬勃发展和SQL形成互补关系,NOSQL的服务保有量也逐年提升。软件产品是跑在硬件之上的,性能受限于硬件特性,关系数据库诞生到现在,数据库管理软件的发展一直围绕这IO这个硬件瓶颈做各种优化,以求达到更好的平衡。而NOSQL产品的出现,回避了磁盘IO这个瓶颈,用更快的设备达到更高的性能,比如redis就是一款数据全部跑在内存里的NOSQL产品。近年来出现的闪存技术打破了被硬件IO速度设定的天花板,磁盘能提供的IO能力已经远远高于业务需求,但价格相对机械磁盘也要贵不少。现在有几个问题需要解决。

1)  开发基于闪存硬件的数据库软件,来吃掉高达60W的IOPS,提供更强劲的性能。从最近发布的MySQL5.7来看,厂家针对闪存硬件做了一些调整,但我觉得还不够,或许未来能出现一个100%基于闪存技术的全新的数据库软件。

2)  从成本来看,如何把SSD和HDD高低搭配,在性能提高的同时做到更好的性价比,BAT大厂已经有成熟的解决方案在使用,联想也有团队在干这件事,但对小厂来说还有技术门槛。

3  存储容量越来越大,三星已经做到SSD单盘16TB100WIOPS,国内的闪存厂家宝存/memblaze也做到了单卡6.4T,这么大容量的数据存储,一块卡损坏导致数据影响面放大了很多倍。这在数据库架构方面提出了更高的要求,如何做到业务硬件无关性,如何快速恢复这么大的数据,是我们需要面对的问题。



duke217(Q6):再次感谢您能够接受我们的采访,非常期待您在2016中国数据库技术大会上的精彩分享,最后,请您为我们送上一句祝福吧!

左兴宇(A6):数据库技术大会已经成为了这个领域的风向标,想知道数据库领域发生了什么,未来会怎么走,来参加这个大会就对了。感谢大会组织方为我们提供这么好的平台,祝大会越办越好!


终极折扣进行时!盛宴,不容错过!
作为国内数据库与大数据领域最大规模的技术盛宴,2016第七届中国数据库技术大会(DTCC)将于2016年5月12日-14日召开。
大会以"数据定义未来"为主题,云集了国内外顶尖专家,共同探讨MySQL、NoSQL、Oracle、缓存技术、云端数据库、智能数据平台、大数据安全、数据治理、大数据和开源、大数据创业、大数据深度学习等领域的前瞻性热点话题与技术。本届大会共设定2个主会场,26个分会场,并将吸引5000多名IT人士参会,为数据库人群、大数据从业人员、广大互联网人士及行业相关人士提供最具价值的交流平台。

最后折扣期!4月20日前,订购DTCC大会门票可享8.8折优惠!团购更有折上折

【大会详情】

183822z2i2f2hi832h8ulq.jpg

官网链接:http://dtcc.it168.com/

欢迎扫码关注DTCC官方微信,获取最新信息!

18385408dm80ddev6edqt0.jpg




认证徽章
论坛徽章:
836
状元
日期:2015-11-12 10:18:05榜眼
日期:2015-11-12 10:18:05探花
日期:2015-11-12 10:18:05进士
日期:2015-11-12 10:18:05举人
日期:2015-09-11 13:42:08秀才
日期:2015-09-17 09:11:05至尊黑钻
日期:2015-11-20 18:17:09紫钻
日期:2015-11-20 18:18:06粉钻
日期:2015-11-20 18:17:23绿钻
日期:2015-11-20 18:17:48
发表于 2016-4-6 17:28 | 显示全部楼层
   

使用道具 举报

回复
认证徽章
论坛徽章:
0
发表于 2016-4-6 20:31 | 显示全部楼层
没有进阶的路子啊

使用道具 举报

回复
认证徽章
论坛徽章:
2074
双黄蛋
日期:2015-01-05 11:32:28亚特兰大老鹰
日期:2015-01-05 11:33:18亚特兰大老鹰
日期:2015-01-05 11:33:18亚特兰大老鹰
日期:2015-01-05 11:33:18亚特兰大老鹰
日期:2015-01-05 11:33:18亚特兰大老鹰
日期:2015-01-05 11:33:18亚特兰大老鹰
日期:2015-01-05 11:33:18亚特兰大老鹰
日期:2015-01-05 11:33:18亚特兰大老鹰
日期:2015-01-05 11:33:18亚特兰大老鹰
日期:2015-01-05 11:33:18
发表于 2016-4-7 09:28 | 显示全部楼层
支持啊

使用道具 举报

回复
求职 : SAP实施
认证徽章
论坛徽章:
263
巴塞罗那
日期:2016-01-29 16:40:32巴塞罗那
日期:2016-01-29 16:40:32巴塞罗那
日期:2016-01-29 16:40:32巴塞罗那
日期:2016-01-29 16:40:32巴塞罗那
日期:2016-01-29 16:40:32芝加哥公牛
日期:2017-02-07 09:03:42芝加哥公牛
日期:2017-02-07 09:03:43芝加哥公牛
日期:2017-02-07 09:03:43芝加哥公牛
日期:2017-02-07 09:03:43芝加哥公牛
日期:2017-02-07 09:03:43
发表于 2016-4-7 16:10 | 显示全部楼层

使用道具 举报

回复
论坛徽章:
1
秀才
日期:2017-02-22 15:18:00
发表于 2016-4-7 17:27 | 显示全部楼层
本帖最后由 mssql_wangwang 于 2016-4-7 17:27 编辑
houbao408 发表于 2016-4-7 16:10

希望多谈些架构规划之类的长远目标。

使用道具 举报

回复
论坛徽章:
16
目光如炬
日期:2014-04-28 06:00:12目光如炬
日期:2015-08-16 22:00:00目光如炬
日期:2015-08-16 22:00:00慢羊羊
日期:2015-06-26 10:52:05目光如炬
日期:2015-05-25 17:35:22目光如炬
日期:2015-05-25 17:34:42火眼金睛
日期:2015-05-25 15:24:12懒羊羊
日期:2015-03-20 14:42:42itpub13周年纪念徽章
日期:2014-10-08 15:15:25itpub13周年纪念徽章
日期:2014-10-08 15:15:25
发表于 2016-4-8 11:05 | 显示全部楼层
干货不多。。。

使用道具 举报

回复
认证徽章
论坛徽章:
85
秀才
日期:2016-02-18 09:23:46秀才
日期:2016-03-24 09:20:52秀才
日期:2016-04-21 14:08:532017金鸡报晓
日期:2017-01-10 15:33:11ITPUB15周年纪念
日期:2016-10-13 13:15:34秀才
日期:2016-06-23 14:15:06富豪徽章
日期:2016-12-16 15:51:50秀才
日期:2016-12-21 16:55:072017金鸡报晓
日期:2017-02-08 14:09:13秀才
日期:2016-03-24 09:10:24
发表于 2016-4-11 08:44 | 显示全部楼层

使用道具 举报

回复
认证徽章
论坛徽章:
357
菠菜神灯
日期:2015-04-17 18:02:23菠菜神灯
日期:2016-10-27 16:05:30菠菜神灯
日期:2016-10-27 16:05:30菠菜神灯
日期:2016-10-27 15:43:20菠菜神灯
日期:2016-10-27 16:05:30菠菜神灯
日期:2016-10-27 16:05:30菠菜神灯
日期:2016-10-27 16:05:30菠菜神灯
日期:2015-04-17 18:02:23菠菜神灯
日期:2016-10-27 16:05:30菠菜神灯
日期:2015-07-24 14:56:20
发表于 2016-4-11 15:12 | 显示全部楼层
支持。。。。。。。

使用道具 举报

回复
认证徽章
论坛徽章:
2
秀才
日期:2016-03-24 09:10:24秀才
日期:2016-03-24 09:20:52
发表于 2016-4-11 19:21 | 显示全部楼层
大神啊,过来膜拜下,DBA都是在风雨中成长起来的。

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则

TOP技术积分榜 社区积分榜 徽章 电子杂志 团队 统计 虎吧 老博客 知识索引树 读书频道 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档 | IT博客
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛 | SAP ERP系统
CopyRight 1999-2011 itpub.net All Right Reserved. 北京皓辰网域网络信息技术有限公司版权所有 联系我们 网站律师 隐私政策 知识产权声明
京ICP证:060528号 北京市公安局海淀分局网监中心备案编号:1101082001 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表