楼主: 小尾巴鱼

从数据中挖掘宝藏,你真地准备好了吗?

[复制链接]
论坛徽章:
18
秀才
日期:2015-07-30 08:52:40秀才
日期:2016-02-18 10:08:14秀才
日期:2016-02-18 09:24:30秀才
日期:2016-01-25 15:02:04秀才
日期:2016-01-13 12:14:26SQL大赛参与纪念
日期:2016-01-13 10:32:19秀才
日期:2015-12-25 15:31:10秀才
日期:2015-11-23 10:17:19秀才
日期:2015-11-11 10:22:49秀才
日期:2015-11-11 10:07:14
11#
发表于 2015-9-11 08:38 | 只看该作者
3)尝试用外部的云平台或云服务承载数据应用需求时,会侧重考虑哪个方面的因素?是价格、知名度、稳定性、响应能力还是客户端的易用性?
安全性 及 高效性。

使用道具 举报

回复
论坛徽章:
3
秀才
日期:2015-09-21 11:16:42秀才
日期:2015-10-19 15:31:25秀才
日期:2016-04-21 14:08:53
12#
发表于 2015-9-11 09:05 | 只看该作者

结合武汉ETC路桥总公司和公交总公司的一个实例,基于政府视角的回答

本帖最后由 五岳之巅 于 2015-9-11 11:06 编辑

结合上个月参与武汉ETC路桥总公司和公交总公司的一个实例,来谈谈对主题的回答。
1)对于公司不断增加的数据存储,处理和分析需求,您是更倾向于选择增加硬件设备自建和升级数据中心?还是开始尝试来自公有云的相关服务?
答:上述两个部门实质上归属为政府部门,其数据量也非常大,但数据类型比较单一,缺乏关联拓展。非常确定地,他们更倾向于增加硬件自建数据中心而非尝试公有云服务,政府在信息化上还是比较保守的,而且成本并不是其考虑的主要因素,有时成本越高反倒越好,毕竟更有油水。

2)为数据类的应用自建数据中心,硬件选型是选择单纯x86架构?还是选择非x86架构,抑或是将x86与非x86架构混合部署和应用,做出相关决策时最主要的依据是成本,安全,性能、可扩展性还是系统兼容性?
答:政府部门对硬件架构没有特别要求,无论是单纯x86或非x86亦或是混合x86都没关系,只要不影响服务的正常提供即可。其决策最主要的依据不是成本,而是安全和稳定性,至于扩展性能他们一般只认为其为锦上添花而已。

3)尝试用外部的云平台或云服务承载数据应用需求时,会侧重考虑哪个方面的因素?是价格、知名度、稳定性、响应能力还是客户端的易用性?
答:若要令其必须使用外部云服务,知名度、稳定性和响应能力是其考虑的首要因素,而且知名度大于稳定性,稳定性大于响应能力。

4)请具体谈谈对于推进大数据及数据分析应用时力不从心的地方或环节有哪些?可以涵盖硬件,软件和服务层面。
答:在政府机关中,推进大数据分析和数据分析的应用时,主要问题不在于硬件,而在于软件和软件的使用者--人。正版分析软件一般买不起,也没有几家真会购买,大多使用的都是开源软件,但是却极为缺乏懂分析会分析能操作的IT人员。在一个个Office笼罩下的技术环境中,难得能够发现这样的人才。所以,培训势在必行。

使用道具 举报

回复
论坛徽章:
0
13#
发表于 2015-9-11 09:07 | 只看该作者
云服务更好吧

使用道具 举报

回复
论坛徽章:
184
2013年新春福章
日期:2013-05-27 10:23:002013年新春福章
日期:2013-05-27 10:23:002013年新春福章
日期:2013-06-05 15:29:212013年新春福章
日期:2013-06-05 15:29:212013年新春福章
日期:2013-05-27 10:23:002013年新春福章
日期:2013-06-05 15:29:21马上有房
日期:2014-03-03 16:14:44马上有对象
日期:2014-02-18 16:44:082014年新春福章
日期:2014-03-04 16:55:19ITPUB 11周年纪念徽章
日期:2012-09-28 17:34:42
14#
发表于 2015-9-11 09:48 | 只看该作者
占位观看

使用道具 举报

回复
论坛徽章:
13
itpub13周年纪念徽章
日期:2014-11-06 15:29:09秀才
日期:2016-02-18 10:06:46秀才
日期:2016-01-25 14:55:31秀才
日期:2015-10-26 09:55:08秀才
日期:2015-10-26 09:24:12秀才
日期:2015-09-21 09:46:16秀才
日期:2015-08-31 13:02:54知识
日期:2015-08-31 08:57:12秀才
日期:2015-08-17 13:13:14嫦娥
日期:2015-07-24 15:04:18
15#
发表于 2015-9-11 10:43 | 只看该作者
本帖最后由 xdsnet 于 2015-9-11 15:18 编辑

1)对于公司不断增加的数据存储,处理和分析需求,您是更倾向于选择增加硬件设备自建和升级数据中心?还是开始尝试来自公有云的相关服务?
因为大多数数据是相对静态的,而且由于备份需要等,所以倾向于二者结合建立,即私有云和公有云共同开展,公共服务以公有云为主,备份测试等以私有云为主。当然现在还是私有的为主,但会逐渐过渡到前面设定的目标。

2)为数据类的应用自建数据中心,硬件选型是选择单纯x86架构?还是选择非x86架构,抑或是将x86与非x86架构混合部署和应用,做出相关决策时最主要的依据是成本,安全,性能、可扩展性还是系统兼容性?
虽然当前实际业务跑在x86架构上,但以前其实也跑在Sun的非X86服务器上的,机当前和以后的业务考量,我们的架构是非系统核心绑定的,既理论上可以是x86也可以不是,上次的切换就是基于,通过综合考虑成本、性能、安全、扩展性等来实施。以后也会这样做。

3)尝试用外部的云平台或云服务承载数据应用需求时,会侧重考虑哪个方面的因素?是价格、知名度、稳定性、响应能力还是客户端的易用性?
我想肯定都是 性能、稳定性、价格、安全等诸多的综合,对我们来说,现在考虑的优先级应该是 稳定性>性能>价格>安全性 ,但这也仅仅是短期的一个倾向,后面也会随时变动的,而那些提什么都是最重要的(不能有问题的)其实不是现实可行的考量,所有都最重要其实就是所有都不重要的换一种说法而已。实际只可能是诸多因素的综合必选考虑后的可行策略选择。

4)请具体谈谈对于推进大数据及数据分析应用时力不从心的地方或环节有哪些?可以涵盖硬件,软件和服务层面。
理念和实际还是差距很大,知易行难啊。
很多惯性的思维、工作模式可能也限制了合理方案的提出,由于所处的政策环境等所限,有时合理的方案在当前政策下完全不可行,这包括了单位采购政策,资源管理政策。例如单位采购政策可能都不支持你去采购公有云服务(买服务器可以有实体,买公有云服务到底是买的什么东西?!当前类似这样的政策在一些地方还有很多桎梏)。此外对数据安全之类的片面理解(完全不相信公有云服务下的私有数据安全体系等等)
总之,这些障碍不破除,则大数据的应用不是不能搞,但效率之类就值得怀疑了。

使用道具 举报

回复
论坛徽章:
3
马上有对象
日期:2014-06-12 16:32:07蓝色妖姬
日期:2014-08-28 15:17:25秀才
日期:2015-10-08 17:57:58
16#
发表于 2015-9-11 10:52 | 只看该作者
话题讨论:

1)对于公司不断增加的数据存储,处理和分析需求,您是更倾向于选择增加硬件设备自建和升级数据中心?还是开始尝试来自公有云的相关服务?

     会按照数据重要程度、保密级别进行区分,保密级别高、重要程度大的一般会选择自建进行安全存储;
  
     其他非重要且无保密要求的数据,会根据使用情况进行区分,比如使用频率低的可能会考虑离线备份,而少量高频内部访问的数据会存储在内部自建系统中,

     而部分,面向互联网用户高频访问,则可能会考虑云相关服务。

2)为数据类的应用自建数据中心,硬件选型是选择单纯x86架构?还是选择非x86架构,抑或是将x86与非x86架构混合部署和应用,做出相关决策时最主要的依据是成本,安全,性能、可扩展性还是系统兼容性?

     大部分是X86架构,部分是非x86架构,我们采用招标模式,会综合考量成本、安全、性能及可扩展性等方面,我不负责集成方面的,对于上层应用而言,装上操作系统后,我认为差别不是特别大。底层硬件方面不是专家,:)。

3)尝试用外部的云平台或云服务承载数据应用需求时,会侧重考虑哪个方面的因素?是价格、知名度、稳定性、响应能力还是客户端的易用性?

      如果我采用外部的云平台,会考虑厂商的实力及评估该厂商在云计算方面的战略投入情况以及目前的市场份额,其次,会申请对平台的一些功能进行测试,包括如稳定性、易用性等。

4)请具体谈谈对于推进大数据及数据分析应用时力不从心的地方或环节有哪些?可以涵盖硬件,软件和服务层面。

      资源方面:实施大数据项目,投入大、产出不确定高,在资源投入方面争取困难,我们目前采用边想边做,进度方面会比预期的慢,属于谨慎投入类型;

      技术掌握:引入新技术,如Hadoop系列大数据平台实施运维等,在短期内以来内生力量无法完成;

      数据专家:数据科学家不好找,既要懂业务也要懂技术,人才匮乏;

      行业应用:纯技术平台搭建虽然有一定难度,但不是终点,如何在海量数据基础上弄出特色应用推动业务才是关键,可借鉴的案例匮乏,做第一个吃螃蟹的人存陷阱。












使用道具 举报

回复
论坛徽章:
38
紫蜘蛛
日期:2014-11-05 16:43:53秀才
日期:2015-06-24 11:20:12秀才
日期:2015-06-29 15:26:52秀才
日期:2015-07-02 11:39:08秀才
日期:2015-07-03 15:58:35秀才
日期:2015-07-03 15:58:35秀才
日期:2015-07-03 17:00:53知识
日期:2015-07-06 11:21:47秀才
日期:2015-07-09 10:49:16秀才
日期:2015-07-14 09:44:30
17#
发表于 2015-9-11 10:57 | 只看该作者
1)对于公司不断增加的数据存储,处理和分析需求,您是更倾向于选择增加硬件设备自建和升级数据中心?还是开始尝试来自公有云的相关服务?对于先关核心业务 放置在自己的数据中心  服务器上, 剩下大流量的这种业务  你可以放置在共有云上,这样节省了钱,方便管理

2)为数据类的应用自建数据中心,硬件选型是选择单纯x86架构?还是选择非x86架构,抑或是将x86与非x86架构混合部署和应用,做出相关决策时最主要的依据是成本,安全,性能、可扩展性还是系统兼容性?
我觉得  目前的话 还是选择x86  这个比较便宜啊  很好使用,云服务 本来就是使用廉价的x86 来完成服务
3)尝试用外部的云平台或云服务承载数据应用需求时,会侧重考虑哪个方面的因素?是价格、知名度、稳定性、响应能力还是客户端的易用性?
价格  稳定性 等  主要还是  价格和稳定性吧
4)请具体谈谈对于推进大数据及数据分析应用时力不从心的地方或环节有哪些?可以涵盖硬件,软件和服务层面。
bug 太多   坑太多

使用道具 举报

回复
论坛徽章:
59
优秀写手
日期:2015-02-12 06:00:132016猴年福章
日期:2016-02-23 09:58:34猴赛雷
日期:2016-02-23 10:04:24紫水晶
日期:2016-04-01 12:19:28双子座
日期:2016-04-28 10:19:29秀才
日期:2016-06-23 14:15:06奥运会纪念徽章:曲棍球
日期:2016-08-30 13:12:24奥运会纪念徽章:体操
日期:2016-09-26 11:24:37妮可·罗宾
日期:2016-10-25 13:54:46娜美
日期:2017-04-28 10:45:33
18#
发表于 2015-9-11 13:34 | 只看该作者
站位...

使用道具 举报

回复
论坛徽章:
111
ITPUB9周年纪念徽章
日期:2010-10-08 09:34:03马上有房
日期:2014-02-18 16:42:02马上有车
日期:2014-03-20 10:09:22马上有钱
日期:2014-03-20 15:53:11马上有车
日期:2014-03-20 16:13:24马上有房
日期:2014-03-20 16:14:11马上有钱
日期:2014-03-20 16:14:11马上有对象
日期:2014-03-20 16:14:11马上加薪
日期:2014-03-20 16:14:11技术图书徽章
日期:2014-03-27 09:30:56
19#
发表于 2015-9-11 13:54 | 只看该作者
占位更新,好活动!!!

使用道具 举报

回复
论坛徽章:
0
20#
发表于 2015-9-11 13:59 | 只看该作者
无能为力。楼下继续解答

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 未成年人举报专区 
京ICP备16024965号-8  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表