【话题讨论】案例分析漫谈生产系统升级的一点思考

leonarding · 发表于 2013-8-2 07:38

小事件
   2013年6月23日上午10点左右，中国工商银行网络系统出现故障，工行网站和网上银行持续数小时无法正常登录，工行各营业网点和ATM机业务办理缓慢，购
电等代办业务暂停。工行新闻发言人称，全行计算机系统升级改造导致运行不稳定。
   中国工商银行新闻发言人介绍，昨日是存款利息税下调的第一天，需要对全行计算机系统进行升级改造，加上当日有新基金发行和拆分，以及养老金和工资
发放，业务集中程度很高，造成工行个人业务计算机系统压力骤然加大。该发言人表示，对由此给客户造成的不便，工行深表歉意。该发言人同时表示，当天工
行所有对公业务的办理完全正常。

         大家看完上述报道有何感想，是不是感觉是一篇非常正统，官方，冷冰冰的声明报告，透过事件看本质，说的白话一点就是生产系统在晚上升级的时候出现了后
遗症并在白天业务量上来之后呈现了出来，完~这就是一次IT部门经典黑锅版演绎（估计当初提出5个9标准的同志日子就不太好过了）。我们今天不对工行事件本
身进行评价，而想通过类似事件，谈谈你对系统升级后一点想法和建议。

讨论话题
1.避免或减轻发生事件的好提议
2.说说你们想到的预案方案
3.敢于直言->吐槽boss对IT部门的重视度

讨论时间
2013.8.2~2013.8.12

活动奖励
活动结束后将会抽取五位会员赠送汽车徽章一枚。

crazypeter2005 ie863zgs super_sky liuwarrior cow977

leonarding · 发表于 2013-8-2 09:21

1.好提议
使用成熟稳定的软件产品，我不知道工行的系统升级做了什么，但有可能使用的是刚推出的版本型号，冒进的在生产系统上使用新版本未必是一件好事

升级前在测试环境下进行稳定性安全性性能压力等各种变态测试，因为用户行为总会有突发奇想，而你要做的就是比用户想的更多，但也不能代表所有用户的想法

如果使用开源产品请先做好bug方案，遇到问题能够快速解决，稳定运维团队，不要人走了系统也就没人管了或者接不了手

灾备切换不可少，现常规方案中灾备很常见，对于不差钱需要7*24小时提供服务的一个企业来讲，落实实事求是保质保量进行灾备演练而不是走过场，保证在任何时候都有足够的人力物力财力去支持

2.说说你们想到的预案方案
一寸光阴一寸金，寸金难买寸光阴，在系统遇到问题需要解决的时候往往不是技术上瓶颈而是流程上的瓶颈，所谓流程就是遇到问题需要一层一层上报（关键还不能越级）等报到能够拍板的人时，
甚至可能会发生领导在开会领导在出差领导在午休领导在宴请领导在陪领导等等领导没空系列，这也体现了某某国企央企集权制的弊端。

如何让专业的人做专业的事并把权限下放，在短时间内可以有人来接手这件事

3.敢于直言->吐槽boss对IT部门的重视度

现在很多企业尤其是传统行业，IT部门在公司中承担着鸡肋角色，不产生价值还要消耗资源，自然得不到领导的重视，在支持力度上也和业务部门相差甚远，也跟不好出业绩有关，当然如果你们部门在年底的时候保证了全年
的系统0故障高可用，你就必须把它当做最高荣誉向领导汇报，展现我们无以伦比工作成绩。

还有广大技术工作者不善言辞，这是一个不好的习惯，需要我们共勉

〇〇 · 发表于 2013-8-2 10:08

工行的系统升级db2 9.5->10.5?

guoyJoe · 发表于 2013-8-2 10:19

支持刘哥

oralin_deng · 发表于 2013-8-2 11:16

这是一个好议题，
真的值得我们大家探讨。Production环境维护与升级必需谨重、做好一万分的准备。
宁可每一个scenario、每一个step测试做到位，
也不要匆忙上线。

jxzkin · 发表于 2013-8-2 11:16

IT部门永远不如业务部门的哇

goberl · 发表于 2013-8-2 11:30

leonarding 发表于 2013-8-2 09:21
1.好提议
使用成熟稳定的软件产品，我不知道工行的系统升级做了什么，但有可能使用的是刚推出的版本型号， ...

不出问题是累赘，出了问题白养一批人

z3765295 · 发表于 2013-8-5 11:06

先占楼，后更新

z3765295 · 发表于 2013-8-5 11:56

leonarding 发表于 2013-8-2 09:21
1.好提议
使用成熟稳定的软件产品，我不知道工行的系统升级做了什么，但有可能使用的是刚推出的版本型号， ...

在老板的眼里“系统0故障高可用”就是你的本职工作，你的本职工作并没有像销售部门一样给公司创造了业绩。所以你依旧是一个消耗后勤部门。

zcs0237 · 发表于 2013-8-5 12:17

本帖最后由 zcs0237 于 2013-8-5 18:42 编辑

1.避免或减轻发生事件的好提议
由一把手批准，并由信息化建设最高负责人牵头，及时进行灾备大演练，力求组织周密、资金及人力到位。
2.说说你们想到的预案方案（以某三甲医院His升级为例)
a.上报主管部门批准
b.副院长、信息中心主任开会、书面通知各院部配合（试运行期间医嘱、药房、账目等保留手工备份）
c.一旦新的应用出现影响全院运营，迅速恢复老的His系统
3.敢于直言->吐槽boss对IT部门的重视度
实战演练不能做样子，把各种可能发生的问题都暴露出来
加班费要到位

【话题讨论】案例分析 漫谈生产系统升级的一点思考

【话题讨论】案例分析漫谈生产系统升级的一点思考