|
1.在您们眼中,数据1.0时代与数据2.0时代有啥区别?在企业工作或者生活中是否真实感触到了数据2.0时代的到来?
数据1.0时代,大部分或者说绝大部分的数据都是关系型数据,即结构化数据,大多使用关系型数据库进行存取。其主要的特点是 封闭,延时;仅在企业内部按需共享。
数据2.0时代,大部分数据都是非结构化数据,虽然目前的大型关系型数据库(如ORACLE,DB2,TERADATA等)都支持非结构化数据的存取,但性能受到较大的影响。
当然,在数据2.0时代,关系型数据依然存在,并且在相当多的行业或企业中,依然是数据的主体。其主要的特点是 开放,实时;按服务需求提供数据。
可能现在大多数的大型企业都涉及到了一些大数据的研究,速度快的企业,可能实现了一些大数据的应用。
就目前,我所在的金融行业,大数据的应用确实存在,但其数据的主要来源还是关系型数据,非结构化数据处理较少。主要是针对公司内部的数据进行分析,挖掘。
从事这部分工作的人员占比也不是很大,对公司的整体价值还没有得到充分的体现。
2.很多人把大数据比喻成海洋,而金子就隐藏在矿脉里,一旦挖不出来,再多的数据也仅仅是一种积累,您是否认同这种观点?您所在的企业是否也遇到过类似的困局?您所熟知的“挖矿”的工具有哪些呢?
在 大数据的4V特点中:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值),其中,最重要的应该是 Value(价值)。不仅仅是针对于大数据,就公司内部各业务系统所产生的数据,
以及企业的EDW存储的意义,都是在于发掘数据的价值,更好的支撑业务的规划。
现在大多数的企业中,都会基于数据进行报表的分析、模型分析、实时推荐 等一些数据类的应用,这一些都是为了发现数据的价值。
但是,目前,我们能从数据中发现的价值还是有限的,因为数据链可能并不是特别完整。这方面,阿里可能做得比较好,从渠道、客户、交易、银行支付、社交等一连串的数据都拥有,就可以更好的利用
这些数据为每一个客户画出一幅金融肖像图。
当前,针对于数据分析的工具,可能比较多,诸如R语言、SAS工具等 工具都能较好的完成数据的分析。
3.数据1.0时代的经典存储、操作系统及软件是否会在数据2.0时代被慢慢淘汰掉?数据2.0时代对软硬件会催生出哪些新的需求?
在数据1.0时代,数据存在一个封闭的特点,即企业内部按需共享,在那个时代,由于技术发展的一些约束,所使用的操作系统大都是AIX,HP-UNIX,有些小中型企业,也会采用WINDOWS操作系统。
所使用的存储大多是EMC,或者其它的磁盘阵列设备等,所使用的数据存取软件大多是关系型的数据库(如ORACLE,DB2,SQLSERVER,TERADATA等),可能有些技术较强的公司,
也会采用MYSQL等。
这些设备及软件,在数据2.0时代,应该依然存在,且不会被淘汰掉。这些硬件与软件的搭配,已经被事实证明,是稳定的,高效的。而在数据2.0时代所发展起来的设备及软件,更多是针对于当前
数据特点所设计的。未必就能适合或满足1.0的要求。
数据2.0时代,分布式与集群的需求,将比1.0时代更旺盛。X86平台的应用也将更广泛。开源的数据库会更多的被企业采用,尤其是支持NOSQL的数据库将越来越多的被企业所使用,我们前期都还在
对MongoDB数据库进行测试。
4.在大数据2.0时代,企业会面临着哪些机遇与挑战?什么样的软件工具或者系统将成为企业处理海量数据的救世主?数据采集、存储、处理与优化一体化的大数据系统?还是可视化、个性化的系统?
在大数据2.0时代,企业的机遇与挑战是并存的,谁能从数据的海洋中,获取到高价值的信息更多,将在市场上占据制高点,从而获取更多的经济利益。
由于各家企业所储备的技术力量不一样,投入到数据分析中的人力资源也不一定充足,因此企业中,大部分的人员,还是针对企业内部的数据进行一些分析与挖掘,能获得的价值数据就是有限的客户行
为分析数据。对于外界的数据,可能涉及的还较少,或者根本就没有涉及。比如,客户是否利用支付宝平台在进行理财,客户是否在其它银行在借贷关系 等。
海量数据主要包含两个主要的含义:一是数据量确实较大,二是数据类型丰富,包括结构化数据,也包含大量的非结构化数据(如图片,影音等)。就这个特点来看,当下较流行的关系型或面向对象的
关系型数据库均不能高效的满足需求。可能在处理海量数据时,结构化数据与非结构化数据会分开在不同的数据库平台上进行处理,最后合并在一处进行分析。
结构化数据,大多是由企业内部产生的,可能还是会在关系型数据库平台上进行存储,分析。
非结构化数据,大多是由客户在企业外部产生的,但又有利于对客户进行行为分析的数据,这类数据可能需要借助HADOOP平台,利用NOSQL数据库进行处理,
然后,借助R语言或SAS工具,对所需数据进行分析、挖掘。得到能支撑企业决策的依据数据。
就我们公司的大数据研究及实施来看,一体化的大数据系统可能不太现实,因为各企业都有各自的需求与特点,就算是一体化的系统,可能也需要进行客户化。 我们目前采用的是各厂商供应一部分,
属于组装系统。
5.在数据2.0时代,存储和计算方式转向了分布式进化,操作系统向IAAS、PAAS进化,软件也向SAAS进化,有人觉得由此可能催生出新的大数据管理系统的变革,其意义将不亚于当年DOS向WINDOWS系统进化的革命性成果。是否产生的影响真会如此?对此您怎么看?
DOS到WINDOWS的改变,是彻底的改变了全社会的生活方式,数据电子化。开启了信息化时代。我记得当年用DOS操作系统时,干什么都得敲命令,搞得很专业一样,其实又没有干多少事情。
到了WINDOWS操作系统上,做什么都显得不那么专业,但确干了很多事情。
虽然,大数据时代来临了,但他的影响,应该不及WINDOWS取代DOS。
-----------------------------------
以上仅个人观点
使用道具 举报
|
|