楼主: 小尾巴鱼

从数据中挖掘宝藏,你真地准备好了吗?

[复制链接]
论坛徽章:
244
2015年新春福章
日期:2015-05-28 10:58:322015年新春福章
日期:2015-03-19 09:32:472015年新春福章
日期:2015-03-06 11:58:182015年新春福章
日期:2015-05-21 11:46:522015年新春福章
日期:2015-05-22 13:32:002015年新春福章
日期:2015-06-25 14:26:362015年新春福章
日期:2015-07-01 17:15:212015年新春福章
日期:2015-07-01 17:15:212015年新春福章
日期:2015-07-01 17:12:082015年新春福章
日期:2015-05-18 13:50:34
61#
发表于 2015-10-15 08:16 | 只看该作者
1)对于公司不断增加的数据存储,处理和分析需求,您是更倾向于选择增加硬件设备自建和升级数据中心?还是开始尝试来自公有云的相关服务?
   主要是前者,导出到硬盘备分,当然也在慢慢的尝试云
2)为数据类的应用自建数据中心,硬件选型是选择单纯x86架构?还是选择非x86架构,抑或是将x86与非x86架构混合部署和应用,做出相关决策时最主要的依据是成本,安全,性能、可扩展性还是系统兼容性?
其实都是综合考量的,但是说到底还是安全第一重要的
3)尝试用外部的云平台或云服务承载数据应用需求时,会侧重考虑哪个方面的因素?是价格、知名度、稳定性、响应能力还是客户端的易用性?
安全 安全 还是安全
4)请具体谈谈对于推进大数据及数据分析应用时力不从心的地方或环节有哪些?可以涵盖硬件,软件和服务层面。
不熟,不会开发和使用,感觉不出大数据的明显效果

使用道具 举报

回复
论坛徽章:
0
62#
发表于 2015-10-15 17:26 | 只看该作者
大数据时代每天都变成再分析数据了

使用道具 举报

回复
论坛徽章:
91
秀才
日期:2015-11-02 11:24:03秀才
日期:2017-12-12 10:00:50秀才
日期:2017-09-18 17:34:47秀才
日期:2017-09-18 17:02:592017金鸡报晓
日期:2017-02-08 14:09:132017金鸡报晓
日期:2017-01-10 15:39:05秀才
日期:2016-12-21 16:55:07ITPUB15周年纪念
日期:2016-10-06 10:54:102016猴年福章
日期:2016-02-23 09:58:342016猴年福章
日期:2016-02-18 09:31:30
63#
发表于 2015-10-19 10:43 | 只看该作者
1)对于公司不断增加的数据存储,处理和分析需求,您是更倾向于选择增加硬件设备自建和升级数据中心?还是开始尝试来自公有云的相关服务?
对于不断增加的数据存储,我更倾向于增加设备自建,自己的数据中心更放心一些,容易让公司其他的人感觉到更安全,部分不重要数据是可以考虑存在公有云上的,性价比相对更高;


2)为数据类的应用自建数据中心,硬件选型是选择单纯x86架构?还是选择非x86架构,抑或是将x86与非x86架构混合部署和应用,做出相关决策时最主要的依据是成本,安全,性能、可扩展性还是系统兼容性?
重要数据用非x86,安全足够保证;
不是特别重要的,可以用x86;
做出决策的最主要的依据是安全,其次是成本。

3)尝试用外部的云平台或云服务承载数据应用需求时,会侧重考虑哪个方面的因素?是价格、知名度、稳定性、响应能力还是客户端的易用性?
1、稳定性
2、易用性
3、价格
4、响应能力

4)请具体谈谈对于推进大数据及数据分析应用时力不从心的地方或环节有哪些?可以涵盖硬件,软件和服务层面。
硬件开销巨大,公司不可能一下子完全满足,只能有一部分,最终性能达不到预期效果,继续推进阻力比较大;
软件方面因为开发人员水平参差不齐,软件质量不保险。

使用道具 举报

回复
论坛徽章:
0
64#
发表于 2015-10-19 11:08 | 只看该作者
本帖最后由 may0505 于 2015-10-19 11:09 编辑

1)对于公司不断增加的数据存储,处理和分析需求,您是更倾向于选择增加硬件设备自建和升级数据中心?还是开始尝试来自公有云的相关服务?
相对而言,我更倾向于选择公有云的相关服务。

2)为数据类的应用自建数据中心,硬件选型是选择单纯x86架构?还是选择非x86架构,抑或是将x86与非x86架构混合部署和应用,做出相关决策时最主要的依据是成本,安全,性能、可扩展性还是系统兼容性?


曾经公司有过自建数据中心的经历,当时选择的是混搭模式,X86架构主要是从成本方面来考虑,适用于我们企业里一些不太重要的业务,比如搭建网站服务器。而非X86架构更侧重于核心业务,比如我们的数据库,我们的CMS系统,考虑到数据的安全性和性能方面的考虑,我们会做一些区分。所以整体来讲,性价比、安全、和可扩展性是我们制作决策时重点需要考虑的几点,尤其是随着大数据的来临,数据海量增长,我们网站的访问量也会相应增加,所以我们会考虑在不同地区新增一些服务器,从这个意义上讲,我们很注重可扩展性。

3)尝试用外部的云平台或云服务承载数据应用需求时,会侧重考虑哪个方面的因素?是价格、知名度、稳定性、响应能力还是客户端的易用性?


整体来讲,我们在尝试云平台的时候,优先会考虑价格、稳定性、品牌等知名度因素。比如说阿里云、腾讯云这些平台来讲,它们具有共性的地方,反而不是我们考虑的重点,我们更倾向于比较在满足业务需求的情况下,哪种云平台性价比更高。


4)请具体谈谈对于推进大数据及数据分析应用时力不从心的地方或环节有哪些?可以涵盖硬件,软件和服务层面。


整体来讲,在推进大数据的过程中我们会遇到一些难点,比如海量数据并发访问时该如何解决负载问题,往往用户访问我们网站,对商品数据库进行查询时,随着用户购买商品,我们的库存需要实时更新数据信息,相应会出现一些数据库被频繁访问,有时候会出现查询数据的效率非常低下的情况。

从硬件角度,我们希望它尽量不要宕机,对硬件的性能、稳定性要求较高;从我们网站应用情况来看,我们希望尽量有办法实现高并发访问,数据库的访问能够提高实时性。


使用道具 举报

回复
论坛徽章:
3
秀才
日期:2015-09-21 11:16:42秀才
日期:2015-10-19 15:31:25秀才
日期:2016-04-21 14:08:53
65#
发表于 2015-10-19 11:38 | 只看该作者
小尾巴鱼 发表于 2015-10-13 14:17
好吧,购买硬件不差钱。
但是实际问题还是很明显,数据没有关联性,

呵呵,所以ETC要和公交一起做,试图把私家车和公交车的数据整合。
小鱼,能否提升一下我的权限,很多站内信息无法回复呢。。。

使用道具 举报

回复
论坛徽章:
22
秀才
日期:2015-06-17 15:51:02知识
日期:2015-08-11 10:37:42秀才
日期:2015-08-13 09:04:39秀才
日期:2015-09-21 09:46:16秀才
日期:2015-11-12 17:43:40秀才
日期:2015-12-14 14:47:54秀才
日期:2015-12-14 14:56:09秀才
日期:2016-01-05 09:35:58秀才
日期:2016-01-13 12:14:26秀才
日期:2016-02-18 09:31:52
66#
发表于 2015-10-19 13:29 | 只看该作者
z123789456 发表于 2015-9-21 18:59
现在,公有云集中了绝大部分的云安全问题,加强公有云安全性是未来亟待解决的问题。
此外,根据材料:数据中 ...

亲,请教一下您对数据中心发展经历的过程,这4个阶段的说法出自何处?

使用道具 举报

回复
论坛徽章:
22
秀才
日期:2015-06-17 15:51:02知识
日期:2015-08-11 10:37:42秀才
日期:2015-08-13 09:04:39秀才
日期:2015-09-21 09:46:16秀才
日期:2015-11-12 17:43:40秀才
日期:2015-12-14 14:47:54秀才
日期:2015-12-14 14:56:09秀才
日期:2016-01-05 09:35:58秀才
日期:2016-01-13 12:14:26秀才
日期:2016-02-18 09:31:52
67#
发表于 2015-10-19 13:37 | 只看该作者
初识orcl 发表于 2015-10-19 10:43
1)对于公司不断增加的数据存储,处理和分析需求,您是更倾向于选择增加硬件设备自建和升级数据中心?还是开 ...

hi,orcl,第二点个人有点不同意见,如果在企业内部X86和小型机等的架构最大差别不是在安全性上面,长期运行的可靠性和业务高峰时候的性能支撑是比较大的区别。成本就确实是天地之差.

使用道具 举报

回复
论坛徽章:
22
秀才
日期:2015-06-17 15:51:02知识
日期:2015-08-11 10:37:42秀才
日期:2015-08-13 09:04:39秀才
日期:2015-09-21 09:46:16秀才
日期:2015-11-12 17:43:40秀才
日期:2015-12-14 14:47:54秀才
日期:2015-12-14 14:56:09秀才
日期:2016-01-05 09:35:58秀才
日期:2016-01-13 12:14:26秀才
日期:2016-02-18 09:31:52
68#
发表于 2015-10-19 15:03 | 只看该作者
1)        对于公司不断增加的数据存储,处理和分析需求,您是更倾向于选择增加硬件设备自建和升级数据中心?还是开始尝试来自公有云的相关服务?

自建数据中心和公有云的选择不容易,技术和成本上来说,自建成本高、周期长、持续维护压力大、人员投入多但自主能力强、灵活性高、安全和可靠性能根据企业实际情况灵活调整。公有云见效快、灵活性和支持度随厂商而各不相同,安全性则是云里雾里。至于成本,从个人的计算来看,如果企业的设备200台或更高,则自有数据中心和私有云更合适。而在此下选择公有云会更有效。
在数据管理的层面,这个选择必须考虑业务和技术的前提:
        a).大部分应用系统的架构无法灵活将数据独立出去而不影响业务有效运行,采用历史数据截断和备份是常用方法。对于这样的数据可以采用大量廉价甚至非在线的存储实现,比公有云有效、安全。
        b).如果采用公有云,系统在线运行时候的数据如何有效接入、保证安全、性能和可靠性等方面需要对系统结构、企业网络和公有云厂商做大量工作,如有案例则非常想请教一下。
        c).如果应用服务都是在公有云之上,如针对企业的舆情收集和分析(同样有厂商号称基于云技术),在数据内容、技术体系都在公有云之上的天然情况,使用外部又便宜那何乐而不为?
    因此,个人意见是目前大部分情况下扔是自建数据中心为主,而在业界的云服务、云技术下的技术架构商业产品迅速成熟之后,某部分业务的公有云服务才会更有选择的余地。


2)        为数据类的应用自建数据中心,硬件选型是选择单纯x86架构?还是选择非x86架构,抑或是将x86与非x86架构混合部署和应用,做出相关决策时最主要的依据是成本,安全,性能、可扩展性还是系统兼容性?

数据类的应用,特别是类似“大数据”类的应用会逐步以X86架构为核心,在硬件层面,单台X86设备和小型机等典型性能设备的差距在快速缩小,而云计算、分布式计算、内存数据库、map reduce等等技术使得X86设备在总体性能堆砌、可靠性方面有足够的保障,这样带来灵活性、成本、企业总体资源池效益等方面的优势更加明显!而系统兼容性这个问题在大部分情况下不会带来根本性的影响,对于企业内部而言,安全基本都在同一起跑线。
所以,X86架构在总体成本、性能、可靠性、可扩展性、总体资源池的管理效益等方面都占据非常大的优势。
另外一个角度上看,power为代表的小型机,专业技术带来对它自己保护的同时,却也形成了一个其他业务、技术都难以进入的壁垒的反作用,而不得不游离于许多业务之外。相对于极端开放的linux代表的X86体系,从业界技术人员、覆盖业务内容技术发展速度等方面都有跟不上的感觉。


3)尝试用外部的云平台或云服务承载数据应用需求时,会侧重考虑哪个方面的因素?是价格、知名度、稳定性、响应能力还是客户端的易用性?

这些内容当然都需要考虑,而且都是选择时候的重点。
个人认为厂商所提供服务的“标准化程度”和“特性化服务能力”也同样需要考虑。
字面上不同方向的两点并不矛盾:
a).看从厂商所提供资源和服务的标准化程度到底细致到什么级别。使用了同一个开源技术的云厂商,其对产品掌握的程度、管理的精细化程度、可以实现的功能类型、能否支撑的业务情况会因为标准化程度不同而体现。极端点,厂商1说他们可以根据CPU核心、内存和存储容量给你分配资源,厂商2则可以把中间件、负载均衡、CPU忙闲时间、内存实际使用比率等等给你动态分配……
b).基于第一点,厂商对其所运行云的能力程度,以及对你所需要运作的业务、技术类型的了解程度,例如应用的接口服务等超出IaaS的特性化服务能力,能否把客户真的当爷侍候...


4)请具体谈谈对于推进大数据及数据分析应用时力不从心的地方或环节有哪些?可以涵盖硬件,软件和服务层面。

目前所在的企业看来,大数据和数据分析部分的限制不在硬件部分,无论是小型机、X86还是云都不是这个工作的瓶颈。
影响这类的原因主要是企业的数据本身、信息化的体系和实施时候的能力。
企业在主数据、元数据等方面的管理如果没做好,会对数据应用带来反作用,系统间数据不匹配、业务运作断裂,大数据和数据分析更无从谈起。一些企业或为了面子或受咨询公司蛊惑,数据管理没踏实落地做好,底层数据混乱、系统间数据隔离、高层数据应用不明等原因导致的“马粪外面光,里面一包糠”。
软件和服务层面,过度关注于大、挖掘、高层报表等可以直接、迅速看到一定结果的高层应用,而经常忽略底层要求就是导致走歪路、力不从心的帮凶。

好技术的实现也需要很多配套条件的。

使用道具 举报

回复
论坛徽章:
80
马上有对象
日期:2015-12-23 11:56:36马上加薪
日期:2015-12-23 11:56:17开发板块每日发贴之星
日期:2016-02-24 19:06:04马上有钱
日期:2015-11-20 15:30:12马上有房
日期:2015-12-23 11:55:59马上有车
日期:2015-12-23 11:55:41秀才
日期:2015-11-11 09:58:34举人
日期:2016-01-22 10:55:35进士
日期:2016-01-22 10:55:35探花
日期:2016-01-22 10:55:35
69#
发表于 2015-10-19 17:35 | 只看该作者
站位等火

使用道具 举报

回复
论坛徽章:
85
2015年中国系统架构师大会纪念徽章
日期:2015-09-17 11:10:00举人
日期:2015-09-21 16:42:17秀才
日期:2015-10-08 15:07:00秀才
日期:2015-10-08 17:57:58秀才
日期:2015-10-19 15:31:25秀才
日期:2015-10-19 15:36:25秀才
日期:2015-10-19 15:49:55秀才
日期:2015-10-19 15:50:39秀才
日期:2015-10-26 09:24:12举人
日期:2015-09-21 16:42:09
70#
发表于 2015-10-20 00:53 | 只看该作者
4)请具体谈谈对于推进大数据及数据分析应用时力不从心的地方或环节有哪些?可以涵盖硬件,软件和服务层面。
硬件层面,数据存储和处理,需要资金投入。其次,大数据分析是最重要的,现在累积了海量数据,不能用起来,就是白搭。企业需要懂业务,也懂大数据分析的技术人才,现在最缺乏大数据分析的人才了。

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 未成年人举报专区 
京ICP备16024965号-8  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表