从数据中挖掘宝藏，你真地准备好了吗？

hiyachen · 发表于 2015-9-19 19:31

本帖最后由 hiyachen 于 2015-9-19 19:32 编辑

1）对于公司不断增加的数据存储，处理和分析需求，您是更倾向于选择增加硬件设备自建和升级数据中心?还是开始尝试来自公有云的相关服务?
大部分是自建数据中心。用公有云还没有成为主流。
而且自建数据中心的技术逐渐平民化。
成熟技术有：微软的hyper-v、xen技术群、cloud、openstack等技术。

2）为数据类的应用自建数据中心，硬件选型是选择单纯x86架构?还是选择非x86架构，抑或是将x86与非x86架构混合部署和应用，做出相关决策时最主要的依据是成本，安全，性能、可扩展性还是系统兼容性？
选择单纯x86架构?还是选择非x86架构.主要是基于自身的技术储备。私有云和混合云服务企业的技术比较全面，而且成本在急剧降低。
成本：基于传统的PC服务器，工作站等。成本在减低。
安全：基于操作系统的安全技术。
性能：性能得高低由硬件和虚拟化技术决定的。
可扩展性：这是基本需求。高可用性。纵向和横向扩展都要好。
各方面的综合考虑。

3）尝试用外部的云平台或云服务承载数据应用需求时，会侧重考虑哪个方面的因素？是价格、知名度、稳定性、响应能力还是客户端的易用性？
稳定性首要的。

4）请具体谈谈对于推进大数据及数据分析应用时力不从心的地方或环节有哪些？可以涵盖硬件，软件和服务层面。大数据的云应用安全是发展趋势。

rickcafe · 发表于 2015-9-21 11:50

本帖最后由 rickcafe 于 2015-9-21 16:24 编辑

话题讨论：
1）对于公司不断增加的数据存储，处理和分析需求，您是更倾向于选择增加硬件设备自建和升级数据中心?还是开始尝试来自公有云的相关服务?

感觉适合公有云的场景：资金有限的小微企业；无关键业务数据的普通应用/外围应用/前端应用；对互联网带宽有较高需求，但又支付不了带宽成本的客户；

反之，中大型企业，有核心机密数据的客户，对互联网带宽无特别需求的客户，资金有保证的客户，可以考虑到自建和升级。

2）为数据类的应用自建数据中心，硬件选型是选择单纯x86架构?还是选择非x86架构，抑或是将x86与非x86架构混合部署和应用，做出相关决策时最主要的依据是成本，安全，性能、可扩展性还是系统兼容性？

x86的可靠性越来越高，IBM x86服务器用上几年不宕机的案例比比皆是，非x86架构的RAS优势基本丧失殆尽，除非是对可靠性有极高的要求，对性能又没有特别要求的客户，如银行核心业务系统等。

建议不要选非x86架构，主要是兼容性差，可扩展性差，成本高，供应商单一来源锁定。

我以前就是做小机，为小机单独开发应用的公司不多，最终还要移植，得不偿失；

可扩展性差，扩个什么都难，配件少，贵，会换的人也不多；

成本高，小机基本被IBM锁定，价格贵得不可理喻，完全没有性价比；其次维护小机/unix的人越来越少，人力成本也下不来；续保服务也贵；

供应商单一来源，做为商务和采购人员，比同性能的x86服务器，价格贵10倍以上，却压不了价，吃亏上当的感觉是可想而知。

3）尝试用外部的云平台或云服务承载数据应用需求时，会侧重考虑哪个方面的因素？是价格、知名度、稳定性、响应能力还是客户端的易用性？

知名度、稳定性和易用性

云平台服务商出现时间不长，很难理解和比较，只能先看知名度；

其次看稳定性，这个也没什么凭据，一时很难看出来；

易用性，毕竟是化钱买来用的，如果很复杂，不如自建的。

至于响应能力、价格都是要考虑的，但是不试也不知道响应能力，不试多家也不知道市面什么水平。

价格倒是好比的，可是，俗话说好货不便宜，便宜没好货，也有道理。

4）请具体谈谈对于推进大数据及数据分析应用时力不从心的地方或环节有哪些？可以涵盖硬件，软件和服务层面。

玩大数据，我觉得有几个问题：

1. 数据来源
2. 数学模型
3. 潜在客户
4. 应用结果

1. 数据够多吗？上PB了吗？实时更新的数据有多少？带宽是几十Gb，还是几百Gb？没有这些硬性条件，大数据无源之水啊。至少几千台服务器起吧，几十PB存储起吧，这是什么成本？
一般人不要玩。

2. 数学模型，想分析出什么？谁来建模？是否符合预期？花了一堆钱分析一个傻子都能明白的事实，或者傻子都知道错的结果，这不行吧？所谓大数据分析要具有市场价值的，而不是科学研究一些无用的东西。
可是懂数学的有多少啊，懂数学又懂业务的又有多少啊？
系统集成出身的架构师不懂这个。
人才，说到底还是有没有人才。

3. 潜在客户
到底谁需要大数据分析？
如果是大中客户，他的购买力多强？能不能支付成本，创造利润？如果是小微客户，如果销售分析结果？
现在一般是大客户或超大客户购买，每年花个几百万不算啥。
但这种客户一般人搞不定吧，因为对于大数据这些东西大家还有点蒙，怕上当。

4.应用结果
如果给客户演示大数据分析的壮观前景，不能光吹，光PPT，必须上一些真的东西，但这种应用往往想的很美，设计出来毛毛糙糙，很多非专业人士根本看不懂，用不了。
这是问题，理想很丰满，现实很骨感。

五岳之巅 · 发表于 2015-9-21 16:07

本帖最后由五岳之巅于 2015-9-21 16:15 编辑

rickcafe 发表于 2015-9-21 11:50
话题讨论：
1）对于公司不断增加的数据存储，处理和分析需求，您是更倾向于选择增加硬件设备自建和升级数据 ...

大数据分析，不论过程如何复杂，结果都应该是简单呈现，这部分如果做好了，系统整体就提升一个档次。（国内厂商都非常注意这块），我推荐D3.js。

主要就是这几个理由：1、D3.js布局种类多；2、透明、灵活，定制的自由度高；3、开源；4、文档齐全，中文书都已经出了两本了：

z123789456 · 发表于 2015-9-21 16:24

五岳之巅发表于 2015-9-21 16:07
大数据分析，不论过程如何复杂，结果都应该是简单呈现，这部分如果做好了，系统整体就提升一个档次。（国 ...

这个还需要编程，有个软件Tableau傻瓜式的

ylky_2000 · 发表于 2015-9-21 16:37

1）对于公司不断增加的数据存储，处理和分析需求，您是更倾向于选择增加硬件设备自建和升级数据中心?还是开始尝试来自公有云的相关服务?
   可以考虑尝试公有云相关服务。类似12306购票，把查询的放云中。如果是自己选择。可以根据具体情况来。比如你是互联网公司，客户群来自各地、和非常复杂的网络环境中的用户，可以考虑放云端。当然成本也是需要考虑到，这个可以计算的出来，目前都是按容量、按流量来计费。
2）为数据类的应用自建数据中心，硬件选型是选择单纯x86架构?还是选择非x86架构，抑或是将x86与非x86架构混合部署和应用，做出相关决策时最主要的依据是成本，安全，性能、可扩展性还是系统兼容性？
   得先明白x86个非x86的区别是什么？如果你用ibm的服务器，那最好选择power架构的。至于依据是什么。问题中所列的几个点都可以作为参考。
数据中心，我想更多的是提供稳定、可靠和多样性选择吧。不排除具体的一个架构。

3）尝试用外部的云平台或云服务承载数据应用需求时，会侧重考虑哪个方面的因素？是价格、知名度、稳定性、响应能力还是客户端的易用性？
   都用云服务了，易用性这个是暂时的。可以不用过多考虑，云工程师的动手能力和学习能力一般不会太差。
云在乎的稳定性和出故障的响应能力，价格是个伪命题，在有很多选择的时候才有价格谈判的空间。
4）请具体谈谈对于推进大数据及数据分析应用时力不从心的地方或环节有哪些？可以涵盖硬件，软件和服务层面。
   数据分析的地方，是数据分析不是一个简单的it技术问题，更多是一个营业性问题吧，个人看法。
   数据分析模板也好、工具也好，这个应该跟病毒库一样需要不断更新。。

z123789456 · 发表于 2015-9-21 18:59

本帖最后由 z123789456 于 2015-9-21 18:59 编辑

现在，公有云集中了绝大部分的云安全问题，加强公有云安全性是未来亟待解决的问题。
此外，根据材料：数据中心的发展经历了数据中心大集中、资源虚拟化(Virtualization)和服务动态管理(Dynamic Service Orchestration)以及数据处理应急这3个阶段：第三阶段的DC 3.0是为了适应目前特别是大型网站(OTT)数据处理急速增长的业务需求而产生的，而其中大部分技术业界还在预研阶段，有很大程度的不确定性。
最后，感觉现在OpenStack属于No1，很多其他项目都是围绕OpenStack做改良或二次开发而来。虚拟化已经热过，容器技术却方兴未艾。