ITPUB论坛－专业的IT技术社区

标题: 【ITPUB名人堂访谈】大型金融机构数据架构师刘盛带你体验大数据的冰与火 [打印本页]

作者: arron刘 时间: 2013-8-23 15:43
标题: 【ITPUB名人堂访谈】大型金融机构数据架构师刘盛带你体验大数据的冰与火
大家好，ITPUB名人堂又和大家见面啦！今天我们邀请的是Hadoop与分布式数据处理版版主、ACOUG核心成员、Oracle~OCM——刘盛 ID:Leonarding，他现任某央企大型金融机构数据架构师，负责金融项目基础架构与建模具有丰富Oracle运维管理经验和项目实施经验，擅长大型数据库架构设计与建模、性能调优、故障诊断及高可用实现。目前专注于数据库整体自动运维管理，基于大数据解决方案。曾获2012年度ITPUB最佳技术原创精华奖，技术博客blog: www.leonarding.com 新浪微博:@itpub_leonarding

arron刘：
您先自我介绍一下? 分享一下您的职业经历? 您目前从事的工作?
Leonarding:
大家好，我是刘盛，网名ID是leonarding，现在是ITPUB Hadoop与分布式数据处理版版主 ACOUG核心成员我的blog：www.leonarding.com
大家在圈里习惯叫我“盛哥”，在此非常感谢大家对我的爱护与支持。我的职业经历到目前为止主要有三个阶段，大学实习去了中软融鑫做技术支持属于实习生，说白了就是天天跟着项目经理满城跑（革命一块砖，哪里需要哪里搬）在实习的过程中我才真正接触到Oracle，之前在学校根本没有接触过。毕业之后直接去了天津联通负责“分组网信令检测系统”的项目管理与跟进，当时这个系统是属于大数据级别的（大约20T）由于当时部门没有专职DBA而公司又确实需要这方面的人才，让我萌生了转职DBA的想法，后来顺理成章的考取了OCP->OCM，这才真正的干起了DBA的工作。我目前就职于某央企大型金融机构，从事数据架构工作，负责金融项目基础架构、建模、设备选型、技术解决方案，同时也做一些运维和培训的工作。

arron刘：
ORACLE最近发布了12C版本，相信您已经尝鲜试用过了吧，能不能分享一下12C的新特性，谈谈12C给我们带来了哪些不一样？
Leonarding:
Oracle Open World上个月在上海举办，我相信很多朋友都去参加了这个盛会，其中最大亮点就是Oracle发布了最新版12C，相信广大Oracle DBA都会心动不已，我也跟风的beta了一下，下面说说12C带给我们哪些新特性
（1）在线重命名和重新定位活跃数据文件
这个新特性给迁移数据带来了革命性的方便，甚至可以支持跨存储设备的迁移，例如从非ASM迁移至ASM，反之亦然。可以使用ALTER DATABASE MOVE DATAFILE语句对数据文件进行在线重命名和迁移。
（2）12C支持在同一列上创建多个索引
12C允许在同一列上创建不同类型的索引，有人可能不明白这样做的目的，事实上多重索引的字段在做性能优化时非常的方便，例如一个字段上即可以创建B-tree也可以创建Bitmap索引，但同一时间只有一种索引可用。
多重索引包括：B-tree，Bitmap，Local，Global
（3）RMAN中执行SQL语句
12C中可以在RMAN里直接执行任何SQL和PL/SQL语句，包括DML、DDL、查询v$动态性能视图，数据字典等
（4）RMAN支持表级恢复
这是初级DBA的福音，在12C之前如果要想恢复表只能使用逻辑备份，由于刚入门DBA对Oracle逻辑与物理体系结构缺乏深入了解，在恢复数据的时候往往希望只恢复被损坏的表，这种需求在生产环境中是常常需要的，12C可以支持直接从物理备份中来恢复损坏的表。

arron刘：
现在云计算和大数据是时代的宠儿，ORACLE也不能置身世外Oracle 12c这个C是不是代表着云计算呢？新的数据库版本在云计算中有哪些应用呢？
Leonarding:
云计算是当今社会出镜率较高的词语，Oracle作为世界级大佬当然也不甘落后，看这次的12C就剑指云计算。
Oracle CEO拉里•埃里森童靴在2012年就发布了与云息息相关的四项产品与服务
（1）Oracle IaaS（基础设施服务）
（2）Oracle 私有云
（3）升级版Exadata数据云服务器X3
（4）云数据库Oracle 12c。
而在新版本数据库中最核心的技术创新"多租户架构（Multitenant Architecture)"，正是Oracle为云计算做出的重要变革。它是通过一个插拔式数据库（Pluggable Database）的功能实现的。
这次Oracle推出新版本的同时又给了我们一个信号。Oracle数据库产品，将整合到微软的两个产品中：虚拟机产品ServerHyper-V和云计算WindowsAzure。这意味着客户将来无需购买Oracle数据库，就可以在微软云平台上在线租用。
目前可以看出甲骨文云合作将覆盖云计算的全部层面包括基础设施、平台、应用。

arron刘：
根据您多年的Oracle管理经验，在Oracle数据库性能优化方面您有什么建议和经验？
Leonarding:
从我接触Oracle到现在，我感受最深的就是数据量极度膨胀，随着项目的建设，新项目总是比老项目功能多，采集的数据量大，数据类型多样化，数据聚合操作复杂化。例如我们的金融项目，当用户填入一个指标数据后，后台自动把相关联的指标数据计算出来并反填在输入框中，防止手工计算导致数据报送错误。在这种海量数据并伴随着复杂计算的环境下，单台数据库的优化已经捉襟见肘了，这时候如果你还在研究数据块的内部结构、存储格式、优化器的代价计算、变量窥视等技术，那么可能对系统性能的提升起不了多大的帮助。就算你的SQL写的再完美在大数据量的冲击下也会变成屌丝一枚。现在的你应该把眼界提升到系统架构层面来看待，当单台数据库无力支撑起访问压力时，你该从架构的角度集群的角度来解决遇到的难题。
如图所示

生产数据库为总中心，备用数据库为各个分中心，生产库只负责写入数据，备用库只负责读取数据，这样就实现了业务层面的读写分离，把访问压力减小5倍，从而用集群的方式解决了高压力访问问题。
在这里我只是给大家一个海量数据下的优化思路，这个思路的核心思想就是从架构层面考虑遇到的问题，这也体现了老话“不畏浮云遮望眼，自缘身在最高层”。

arron刘：
做为一名优秀的DBA，能不能谈谈系统升级所带来的思考，聊聊您在工作中解决问题的思路？
Leonarding:
（1）系统升级之思考
使用成熟稳定的软件产品。一个刚刚推出的新产品在没有完善测试的情况下不应急于用在生产环境，冒进在生产系统上使用新版本未必是一件好事。
升级前在测试环境下进行稳定性安全性性能压力等各种变态测试，因为用户行为总会有突发奇想，而你要做的就是比用户想的更多，但也不能代表所有用户的想法。
   如果使用开源产品请先做好bug方案，以便遇到问题能够快速解决，稳定运维团队，不要人走了系统也就没人管了或者不能平滑交接。
   灾备演练不可少。常规方案中灾备很常见，对于不差钱需要7*24小时提供服务的企业来讲，就更需要实事求是地落实、保质保量地进行灾备演练而不是走过场，要保证在任何时候任何环境下都有足够的人力物力财力去支持。

（2）解决问题之思路
   一寸光阴一寸金，寸金难买寸光阴，在系统遇到问题需要解决的时候遇到的往往不是技术上的瓶颈而是流程上的瓶颈，所谓流程，就是遇到问题，需要一层一层上报（关键还不能越级）等报到能够拍板的人时，甚至可能会遭遇领导在开会、领导在出差、领导在午休、领导在宴请、领导在陪领导、领导在XXX系列事件，这也是在大型企业中常常遇到的执行力拖延症。制定可行性的应急方案，让专业的人做专业的事并把权限下放，在短时间内可以有人来接手是解决此类问题的关键。
广大技术工作者从事的领域各有不同，但是通常都有这样一个共性：不善言辞，遇到问题就自己闷头解决，生怕他人认为自己能力不足。对于这一点，我在这里还是想说要相信团队的力量，要常常和大家一起交流方案，遇到问题要与团队一起想办法解决，因为一个人通常不能想的非常全面，有可能问题影响的层面不单单是数据库，还可能会影响到应用，这时你就要拉着你的小伙伴们一起攻坚完美的完成任务。

arron刘：
现在数据库技术更新换代的速度越来越快了，您觉得从业者该怎么选择自己的学习方向？比如说应该学习什么数据库之类的问题。
Leonarding:
这个问题问的很好，现在互联网的飞速发展带来了大数据时代，各行各业都呈现出信息井喷的状态，每天每时每刻我们的电脑、手机、ipad、移动PDA都会收到各种各样信息了解着世界每个地方发生的人和事。在这个时代下解决大数据问题是企业面临的新课题，从而催生出了各种数据库技术。我们作为从业者更能亲身感受到数据库技术正在以迅雷不及掩耳之势进入战国时代，现在主流的两大阵营主要是“关系型”VS“非关系”。我觉的当下DBA已经不能仅仅停留在研究Oracle、Mysql、DB2等关系型数据库上，在一些“高访问负载”“实时数据分析”“非结构化数据”“分布式存储”场景下非关系型数据库有着得天独厚的优势，因此我从去年就开始关注“Hadoop”“MongoDB”“Cassandra”“Neo4j”等NOSQL数据库。因为我发现当下企业需求的解决方案呈多样化的趋势，企业慢慢意识到资源整合的重要性，因此在技术选型方面都倾向于具有小成本、轻量级、高效化、易维护特点的产品，说白了就是用最专业的产品做最专业的事。如果你掌握更多的知识和技能，那么在系统规划、架构设计、设备选型等方面就会得心应手。领导也会让你参与更多的项目来发挥你的特长，自然你的发展空间也会“特长”。

arron刘：
感谢刘盛的精彩分享，谢谢他给我们带来大数据时代如何选择自己的方向和解决问题的思路，同时也期盼着大师的处女作早日完成，最后欢迎大家积极回帖讨论，交流自己的心得。

作者: 赤霄剑 时间: 2013-8-23 17:28
支持老板。。。。。

作者: 白石跃马 时间: 2013-8-23 17:43

作者: jieforest 时间: 2013-8-23 17:48
讲得挺好，支持。

作者: 招财小肥猫 时间: 2013-8-23 18:57
支持哦~盛哥v5

作者: dongmusic 时间: 2013-8-23 19:49
不错，看了他不少帖子，很多干货。

作者: dingjun123 时间: 2013-8-23 20:14
架构师侬好啊。。。

作者: jxzkin 时间: 2013-8-23 20:27
求带盛哥

作者: hwtong 时间: 2013-8-23 20:44
niubility

作者: arron刘 时间: 2013-8-23 22:18
欢迎大家回帖哦

作者: jieforest 时间: 2013-8-23 22:35

arron刘发表于 2013-8-23 22:18
欢迎大家回帖哦

应该是求回帖、求合体！

作者: lastwinner 时间: 2013-8-25 02:01

arron刘发表于 2013-8-23 22:18
欢迎大家回帖哦

你这个回复真水啊！

作者: tianya_2011 时间: 2013-8-25 14:34
盛哥v5

作者: leonarding 时间: 2013-8-26 09:04

dingjun123 发表于 2013-8-23 20:14
架构师侬好啊。。。

兔兄又折煞俺了

作者: leonarding 时间: 2013-8-26 09:05

jieforest 发表于 2013-8-23 17:48
讲得挺好，支持。

哈谢磨刀兄支持

作者: break_myself 时间: 2013-8-26 12:33
看来得去研究一下非关系数据库了

作者: weikunlun 时间: 2013-8-26 14:48
支持！

作者: mchdba 时间: 2013-8-26 14:50
楼主，我这里碰到了mongodb的问题，请指教，谢谢了！

作者: 吴_飚 时间: 2013-8-26 15:08
盛哥V5雄壮~ 套马杆的好汉纸啊！

作者: nannan5000 时间: 2013-8-26 21:50
支持盛哥~~~

作者: X-Power 时间: 2013-8-26 22:55
讲得挺好，支持。

作者: jackyjlc 时间: 2013-8-27 09:41
支持盛哥，感觉盛哥是个很内敛的人。呵呵

作者: 辰昊楠 时间: 2013-8-27 09:45
盛哥作业写的好

作者: developer2002 时间: 2013-8-27 10:42
这种采访贴。。。。。真没劲。

作者: arron刘 时间: 2013-8-27 10:58

developer2002 发表于 2013-8-27 10:42
这种采访贴。。。。。真没劲。

欢迎批评、建议。

作者: 斯文八戒 时间: 2013-8-27 11:31
顶^^^^^^^^^^^

作者: desert_xu 时间: 2013-8-27 12:17
支持盛哥！

作者: guoyJoe 时间: 2013-8-27 15:22
支持刘大rose:

作者: enshunyan 时间: 2013-8-27 20:48
支持，能再详细点更好

作者: tian1982tian 时间: 2013-8-27 23:41
本帖最后由 tian1982tian 于 2013-8-27 23:42 编辑

呵呵，讲的好
讲的正是我纠结的地方，还以为搞大数据偏离了方向了呢，谢谢啊！

作者: leonarding 时间: 2013-8-28 10:10

arron刘发表于 2013-8-27 10:58
欢迎批评、建议。

欢迎各种不同的声音海纳百川

作者: leonarding 时间: 2013-8-28 10:11

tian1982tian 发表于 2013-8-27 23:41
呵呵，讲的好
讲的正是我纠结的地方，还以为搞大数据偏离了方向了呢，谢谢啊！

大数据是未来的趋势

作者: yaokuankuan 时间: 2013-8-28 16:38
“使用成熟稳定的软件产品” 所以我们还在用10g ,我去。。。

作者: yingzimizhan 时间: 2013-8-30 16:44
盛哥V5

作者: tjcscn 时间: 2013-9-1 13:59
支持,支持！

作者: anyou2006 时间: 2013-9-1 17:56

热心人

作者: xp4628 时间: 2013-9-3 10:16
请盛哥问主中心到备中心的数据时怎么同步过去，有什么好的建议，谢谢

作者: songmingliang 时间: 2013-9-6 10:03
讲得挺好，支持。

作者: gushexianzi 时间: 2013-9-9 12:54
盛哥牛掰

作者: sky_heaven 时间: 2013-9-13 12:43
盛哥请吃饭。

作者: htyansp 时间: 2013-9-13 16:38
COW啊

作者: yangmsn 时间: 2013-9-18 09:20
盛哥 V5！！！

作者: xiaohua510510 时间: 2013-9-18 17:02
求盛哥指点迷津

作者: yingzimizhan 时间: 2013-9-28 19:54

作者: 沉沦已久 时间: 2013-10-2 00:37
顶下盛哥

作者: yanggq 时间: 2013-10-2 13:32
支持

作者: mhz888 时间: 2013-10-16 17:49

作者: hidatas 时间: 2013-10-20 16:35
盛哥威武！

作者: jackson198574 时间: 2014-4-16 17:05
顶一下盛哥~~~

作者: jackson198574 时间: 2014-4-16 17:06

leonarding 发表于 2013-8-28 10:10
欢迎各种不同的声音海纳百川

顶一下盛哥！~~~

作者: leonarding 时间: 2014-4-17 10:16

jackson198574 发表于 2014-4-16 17:06
顶一下盛哥！~~~

欢迎强哥莅临指导

作者: jackson198574 时间: 2014-4-17 11:41

leonarding 发表于 2014-4-17 10:16
欢迎强哥莅临指导

不敢不敢，莅临指导这词用得太夸张了...

作者: ydjh460 时间: 2014-5-6 15:15
受益匪浅～～～～

作者: topdataworld 时间: 2014-5-21 14:57
支持！

作者: yyp2009 时间: 2014-5-21 21:56

leonarding 发表于 2013-8-26 09:05
哈谢磨刀兄支持

经常看到楼主的博客

作者: yyp2009 时间: 2014-5-21 21:59

topdataworld 发表于 2014-5-21 14:57
支持！

此人难道是包大人光明磊落？

作者: oraclefen001 时间: 2014-5-21 22:00
本帖最后由 oraclefen001 于 2014-5-21 22:02 编辑

yyp2009 发表于 2014-5-21 21:59
此人难道是包大人光明磊落？

包老师也给我上过课的哦

作者: topdataworld 时间: 2014-5-22 11:12

yyp2009 发表于 2014-5-21 21:59
此人难道是包大人光明磊落？

包大人是俺们的OCM老师哦

作者: yyp2009 时间: 2014-5-22 11:16

topdataworld 发表于 2014-5-22 11:12
包大人是俺们的OCM老师哦

满世界搞培训的哇

作者: Okhotsk 时间: 2014-6-6 22:21
讲的很好，顶了

作者: streetmail 时间: 2014-6-26 19:38
支持

作者: shuttle007 时间: 2014-6-27 10:16
谢谢楼主的分享

作者: eikoylu 时间: 2014-6-29 13:02
学习了！

欢迎光临 ITPUB论坛－专业的IT技术社区 (http://www.itpub.net/)