从数据中挖掘宝藏，你真地准备好了吗？

xiehuanzhong

1）对于公司不断增加的数据存储，处理和分析需求，您是更倾向于选择增加硬件设备自建和升级数据中心?还是开始尝试来自公有云的相关服务?
是否自建数据中心，这取决于企业对于信息化的投入和企业的发展战略。如果公司实力雄厚，注重信息化的投入，那么选择增加硬件设备来自建或者升级数据中心是必须的，毕竟自己对于数据具有绝对的掌控权，还是比较踏实和相对安全的。公有云一旦被泄，后果是很严重的；如果公司规模小，信息化资金投入有限，那么还是建议依托公有云，比较成本相较于前者会小很多，而且小公司更注重于公有云的应用性和标准化。
其实对于这一点来说，我最有感触的是世界500强排名第一的沃尔玛，沃尔玛非常注重信息化的投入，在20世纪8、90年代就拥有了自己的卫星，并通过卫星进行大数据挖掘和处理。试问，对于大数据，谁有这么大的魄力和眼光？

2）为数据类的应用自建数据中心，硬件选型是选择单纯x86架构?还是选择非x86架构，抑或是将x86与非x86架构混合部署和应用，做出相关决策时最主要的依据是成本，安全，性能、可扩展性还是系统兼容性？
个人更倾向于X86与非X86的架构混合，但是需要逐步转成非X86架构。由于受限于既有历史原因，X86较为成熟稳定，很多核心的数据中心还是要搭建在这个架构上，但是在性能上却不如非X86，未来的趋势也是会被逐步的淘汰，随着非X86架构的逐渐成熟，将会得到越来越多的企业的青睐。所以，主要会根据性能，安全，可扩展性以及成本上来考量，

3）尝试用外部的云平台或云服务承载数据应用需求时，会侧重考虑哪个方面的因素？是价格、知名度、稳定性、响应能力还是客户端的易用性？
如果使用公有云服务，更多的考量在于稳定性，价格以及客户端的易用性。现在对于信息化的观念与之前有了很大的变化，在之前很多企业更多的去注重知名度，只要是牌子响，就认为很有面，（打个比方啊：就比如很多企业买了SAP的ERP产品，说出去就很有面啊，毕竟世界500强里大部分都用这个）但是现在很多企业在信息化上越来越理性，也从“面子”转向了“里子”，注重云平台的性价比，稳定性，以及客户端的体验。

4）请具体谈谈对于推进大数据及数据分析应用时力不从心的地方或环节有哪些？可以涵盖硬件，软件和服务层面
前一阵子，有听到过去IOE，毕竟目前很多核心的技术还是被垄断着的，所以总的来说，力不从心之处在于技术，也就是人才；
那么除了这一点外，我还想再说些其他的：
在观念上，也是有较为大的阻力的，很多企业的决策层对于信息化的认识并不是很深，毕竟信息化在他们眼里看到的总是投入，很难有量化的收益反馈给他们，导致决策层认为信息化就是烧钱，就是成本。而不去把它看着是投资；
在硬件层面，由于垄断的原因，价格都不低，让很多企业感到压力很大，无法去推进大数据的应用；在软件层面，如果采用公有云，就害怕自己的核心数据被别人所掌握，所以就会有顾忌，有担忧。

shenlanyouyu

1）对于公司不断增加的数据存储，处理和分析需求，您是更倾向于选择增加硬件设备自建和升级数据中心?还是开始尝试来自公有云的相关服务?
云计算的出现对于企业开展业务支撑有作用，能够助力企业IT实现按需部署。特别是中小企业，完全自己搭建高并发的系统，成本开销较大。采用成熟的云计算提供厂商，降低成本，并能实现按需部署。
我比较倾向于采用混合云的模式。混合云融合了公有云和私有云。公有云是一种很好的选择,其处理能力远远超出私有云,由于其规模效应,短期而言,成本也低于私有云。公有云弹性可动态扩展，当较高计算需求时，可增加公有云服务器。使用结束后，再回收，结算费用。
私有云主要是面向企业用户的，出于安全考虑，企业更愿意将数据存放在私有云中，但又希望可以获得公有云的计算资源，将公有云和私有云进行混合和匹配，以获得最佳效果的解决方案，既能降低企业成本，又能达到系统安全的目的。混合云可以有效地降低成本。它既可以使用公有云又可以使用私有云，企业可以将应用程序和数据放在最适合的平台上，获得最佳的利益组合。

2）为数据类的应用自建数据中心，硬件选型是选择单纯x86架构?还是选择非x86架构，抑或是将x86与非x86架构混合部署和应用，做出相关决策时最主要的依据是成本，安全，性能、可扩展性还是系统兼容性？
我倾向于将x86与非x86架构混合部署和应用。当前x86架构在超大规模数据中心与高性能计算领域占有领导地位，使用x86服务器来构建集群，价格会更低，系统扩展性会更强。 x86架构应用服务器存在系统资源利用率低下，能耗较高，机房空间占用大，应用优化程度地等问题，现今使用单一服务架构体系解决全部业务需求不现实。IBM Open Power也是一个不错的选择，Open Power开放技术，从芯片、I/O、固件、整机到软件产业链的各个厂商都有机会利用power技术实现自身业务的重大突破。Open power联盟打造先进的服务器、网络、存储、GPU加速技术，为下一代超大规模和云计算中心提供耕作的选择，更灵活的控制，更好的弹性。
IBM Open power的做法效仿了ARM在移动处理器市场采用的IP授权战术，例如苏州中宏芯获得了IBM Power的芯片授权。Open power的开放带来巨大的商业机会，在棱镜门事件后，国家注重信息安全，同时契合了中国IT产业对自主、安全和可控的战略目标。Open power对Linux提供了支持，我们都知道IBM以前都是搭配自家的AIX Unix系统。使用Linux可以轻松、快速构建部署开源平台上的大数据、云计算等应用。Nvidia的加入，结合CUDA GPU技术，加快运算速度。开放的生态系统，能够加强服务器市场的创新。
Power的开放，不在限于IBM的闭门造车。开放IP授权技术势必使整个服务器芯片行业重新洗牌，让中国企业有了机会，追赶世界领先技术公司的计划，弯道超车的机会，推动中国IT行业的发展。

3）尝试用外部的云平台或云服务承载数据应用需求时，会侧重考虑哪个方面的因素？是价格、知名度、稳定性、响应能力还是客户端的易用性？
我个人觉得看重稳定性，如果出现云服务中断 ，云服务不能使用，业务也不能开展起来。云厂商的升级维护导致云服务不能使用。或者升级系统出现问题，前不久阿里云服务事件，阿里云用户的文件被意外删除。部分机器因云盾升级触发bug，导致少量文件被系统误删除。其次是隐私和安全，数据安全性能否保障非常重要，例如好莱坞艳照门事件，原因就是苹果的云服务器被黑客攻破，导致这些隐私数据的泄露。
4）请具体谈谈对于推进大数据及数据分析应用时力不从心的地方或环节有哪些？可以涵盖硬件，软件和服务层面。

looking_boy

先看公司再定位..

Ryan-liumin

1）对于公司不断增加的数据存储，处理和分析需求，您是更倾向于选择增加硬件设备自建和升级数据中心?还是开始尝试来自公有云的相关服务?
升级数据中心和搭建私有云
2）为数据类的应用自建数据中心，硬件选型是选择单纯x86架构?还是选择非x86架构，抑或是将x86与非x86架构混合部署和应用，做出相关决策时最主要的依据是成本，安全，性能、可扩展性还是系统兼容性？
将x86与非x86架构混合部署和应用
3）尝试用外部的云平台或云服务承载数据应用需求时，会侧重考虑哪个方面的因素？是价格、知名度、稳定性、响应能力还是客户端的易用性？
是用外部的云平台最先考虑的安全性已经稳定性
4）请具体谈谈对于推进大数据及数据分析应用时力不从心的地方或环节有哪些？可以涵盖硬件，软件和服务层面。

2009532140

小尾巴鱼 发表于 2015-9-23 17:11
赞一个，九叔对大数据存储的问题分析的太到位啦

他也是九叔？？？？？

workflow263

1）对于公司不断增加的数据存储，处理和分析需求，您是更倾向于选择增加硬件设备自建和升级数据中心?还是开始尝试来自公有云的相关服务?
眼光放现实点，有多少公司在产生大数据，在分析大数据，大数据的价值在哪里？目前现在都在说大数据，那么它的标准是什么，衍伸出的云产品，它的标准又是什么？
很多公司还处于孵化阶段就夭折了，有些公司还在为经营，产品艰难的生存，有些公司还在整企业架构，数据架构，其实对于这一点来说，大数据，谁有这么大的魄力和眼光？
都是从扩存储 到 增加硬件 到 建数据中心 再到 云 ，当然每个阶段对应不同的公司发展阶段，公有云，如何保证数据的安全？怎么衡量这个标准，大家都没底吧

2）为数据类的应用自建数据中心，硬件选型是选择单纯x86架构?还是选择非x86架构，抑或是将x86与非x86架构混合部署和应用，做出相关决策时最主要的依据是成本，安全，性能、可扩展性还是系统兼容性？
从个人经历的项目和公司来看，预算多就上非X86架构（比如power系列，一体机等），预算少就上X86，有的时候硬件可以规避或则覆盖掉软件的缺陷，性能和可扩展性的要求在时间推移和人员流动上都慢慢的被遗忘了或者抛弃了，很难有好的继承性。

3）尝试用外部的云平台或云服务承载数据应用需求时，会侧重考虑哪个方面的因素？是价格、知名度、稳定性、响应能力还是客户端的易用性？
如果使用公有云服务，根据企业的不通，考虑的因素也不一样的，小企业估计考虑的价格，稳定性和易用性
中型企业考虑的估计是安全性，稳定性，价格以及客户端的易用性。
大型企业估计考虑的是安全性和知名度了，或者根本不考虑，都自己建数据中心或则自己搭私有云，有些数据大家都懂的。

4）请具体谈谈对于推进大数据及数据分析应用时力不从心的地方或环节有哪些？可以涵盖硬件，软件和服务层面
个人觉得去oie还没整明白，就开始大数据概念了，大数据的价值在哪里？目前现在都在说大数据，那么它的标准是什么，衍伸出的云产品，很多大公司都在搞云，它的标准又是什么？数据的收集，存储解决了，数据的数学算法模型呢？又几个公司能拥有数据科学家的人才？

zxzc99

升级数据中心

小尾巴鱼

五岳之巅 发表于 2015-9-11 09:05
结合上个月参与武汉ETC路桥总公司和公交总公司的一个实例，来谈谈对主题的回答。
1）对于公司不断增加的数据 ...

好吧，购买硬件不差钱。
但是实际问题还是很明显，数据没有关联性，

小尾巴鱼

xdsnet 发表于 2015-9-11 10:43
1）对于公司不断增加的数据存储，处理和分析需求，您是更倾向于选择增加硬件设备自建和升级数据中心?还是开 ...

好吧，对于数据分析面临的问题很多哇

xuexiaogang

接我上次没有写完的，47、48楼是我写的上次前3个
4、请具体谈谈对于推进大数据及数据分析应用时力不从心的地方或环节有哪些？可以涵盖硬件，软件和服务层面
答：我经历过的有如下几种：一个是企业不会用数据。不知道怎么来使用这些数据，不懂数据价值。也就是说4个V中的values没有得到重视。
还有就是开发人员不会开发，低效的SQL和糟糕的逻辑设计以及数据库设计导致一旦运用BI分析，直接宕机。
由于很多概念性的东西开发人员和领导不一定清楚，导致架构要么做的很低端，要么做的过于复杂。有的为了应对大数据oracle、mysql、redis、memcache、cassandra、mongodb齐上阵，导致数据汇聚和挖掘起来很是麻烦。数据交互成为了最大的瓶颈和问题。
而硬件方面，投入其实是巨大的，如果是土豪级的，可以全部换成SSD硬盘或者增加内存做内存数据库。但是很少有人这么做，因为成本实在是很高。几T的内存就贵的离谱了，而且X86的PC服务器上内存插槽也不是很多。SSD虽然价格下降了，而且和内存也没有太明显的性能差别，但是大量的SSD也不是一般企业可能承受的了的。
服务层面就是运维了。当数量暴涨和并发高的情况，对网络，存储以及数据库和中间件都是严峻的考验，这些的维护和监控是不能懈怠的。有时候稍微一疏忽，那么磁盘空间用尽或者超过警戒阀值了，那么性能就出现问题了。运维人员素质和责任心是对大数据的最大挑战。