查看: 58211|回复: 38

【大话IT】智能革命的核心-如何运用大数据

[复制链接]
认证徽章
论坛徽章:
57
目光如炬
日期:2016-03-13 22:00:00射手座
日期:2016-03-11 13:49:54目光如炬
日期:2016-03-06 22:00:01火眼金睛
日期:2016-02-29 22:00:01火眼金睛
日期:2016-01-31 22:00:00猴赛雷
日期:2016-01-27 14:13:262016猴年福章
日期:2016-01-27 14:12:45秀才
日期:2016-01-25 14:55:31目光如炬
日期:2016-01-17 22:00:01射手座
日期:2016-01-15 14:30:33
发表于 2015-11-5 09:41 | 显示全部楼层 |阅读模式
大数据是智能革命的核心。大数据背后的基本思想是,人类一切行为都会留下数字痕迹(或数据),我们(或他人)可以对其加以利用,变得更加智慧。掌握数量日益增加的数据并利用技术能力将其转化成具有商业价值的想法,是推动新世界的主要力量。无疑大数据正在改变世界,我们的居住、择偶、治疗癌症、科研、提升绩效、管理城市、治理国家和管理企业的方式都因此而发生完全改变。

tup.jpg



活动规则:
阅读我们提供的图书试读章节来参加活动,写试读心得或根据提供的话题参与讨论!

本期讨论话题:
1. 网络数据揭示了什么
2. 数据分析团队与业务团队的分工和定位
3.公司是如何运用大数据的

本期奖品:
《智能大数据SMART准则:数据分析方法、案例和行动纲领》图书一本(共5名)

活动时间:
2015年11月5日~12月5日
获奖名单:
bfmo
lasdaybg
AppleVI
2009532140
1983yu

求职 : 数据库管理员
招聘 : Java研发
认证徽章
论坛徽章:
6348
ITPUB9周年纪念徽章
日期:2014-05-02 10:36:402011新春纪念徽章
日期:2014-12-29 12:11:142010广州亚运会纪念徽章:卡巴迪
日期:2014-08-06 08:44:252012新春纪念徽章
日期:2014-12-29 12:11:142013年新春福章
日期:2014-12-29 12:11:14马上有车
日期:2014-12-29 12:11:14马上有房
日期:2014-12-29 12:11:14马上有钱
日期:2014-12-29 12:11:14马上有对象
日期:2014-12-29 12:11:14马上加薪
日期:2014-12-29 12:11:14
发表于 2015-11-5 14:21 | 显示全部楼层
1. 网络数据揭示了什么;
   我们使用各种技术挖掘大数据无非就是想从中获得利益,避免风险;
   所以,也就是使用网络数据来揭秘经济形势之类的比较多呢吧。

2. 数据分析团队与业务团队的分工和定位;
   数据分析需要与业务有紧密联系才能得到相对正确的结果;
   个人感觉技术上来说,怎么分析是用什么技术来分析并不是难事;
   难点在于业务团队针对某种维度的一系列分析是否反映了某种状况的判断还是比较难的
   毕竟这个维度需要在某种环境下特定存在的一个瞬时的状态
   也就是说,大数据本身的时效性,过期的数据未必能得到预期的结果;
   定位上来看,数据分析团队基本属于支撑与配合的角色
   业务团队的话,应该属于整体把握的战略角色;

3.公司是如何运用大数据的
   现在来看,有极少数的巨无霸型的公司会利用大数据分析;
   中小型的公司基本还停留在报表分析阶段;

使用道具 举报

回复
认证徽章
论坛徽章:
2109
亚特兰大老鹰
日期:2015-01-05 11:33:18亚特兰大老鹰
日期:2015-01-05 11:33:18亚特兰大老鹰
日期:2015-01-05 11:33:18亚特兰大老鹰
日期:2015-01-05 11:33:18亚特兰大老鹰
日期:2015-01-05 11:33:18亚特兰大老鹰
日期:2015-01-05 11:33:18亚特兰大老鹰
日期:2015-01-05 11:33:18亚特兰大老鹰
日期:2015-01-05 11:33:18亚特兰大老鹰
日期:2015-01-05 11:33:18亚特兰大老鹰
日期:2015-01-05 11:33:18
发表于 2015-11-5 14:49 | 显示全部楼层
支持啊   

使用道具 举报

回复
认证徽章
论坛徽章:
98
秀才
日期:2016-02-18 10:06:46山治
日期:2017-02-21 16:18:12秀才
日期:2017-02-22 15:14:12秀才
日期:2017-02-22 15:16:26秀才
日期:2017-02-22 15:18:00秀才
日期:2017-03-01 13:53:39秀才
日期:2017-03-20 13:42:20秀才
日期:2017-03-27 17:52:06秀才
日期:2017-03-28 15:11:09秀才
日期:2017-03-28 15:59:38
发表于 2015-11-5 15:06 | 显示全部楼层

1. 网络数据揭示了什么;
   这个……
   揭示了很多秘密
   比如说生活习惯,行业走势,国家经济

2. 数据分析团队与业务团队的分工和定位;
   是从数据分析员的角度,主要是业务与数据分析团队,数据分析员从另外一个角度来理解业务,甚至比业务人员更加深入,但是数据分析不能只从技术角度出发,业务人员的商业直觉也在数据分析中扮演了一个非常重要的角色,商业意识和业务知识则是无可争议的核心。
个人认为最开始的时候是业务先行才有的数据分析,不过在现在任何一个人要开公司或者开创新的项目都会先分析数据,但是这些数据也都是从业务那里搞到的,所以我觉得要是能把这两个部门放在一起才会产生高效率。
分工的话,业务是先锋,分析是军事

3.公司是如何运用大数据的
公司运用大数据去忽悠那些还在用报表分析的小公司来换得业务。

使用道具 举报

回复
论坛徽章:
57
秀才
日期:2016-03-24 09:20:52秀才
日期:2015-12-14 14:47:54秀才
日期:2015-11-30 09:59:23秀才
日期:2015-11-30 09:13:06秀才
日期:2015-11-23 10:17:19秀才
日期:2015-11-23 09:48:22秀才
日期:2015-11-12 17:43:40秀才
日期:2015-11-11 10:22:49秀才
日期:2015-11-11 10:07:14秀才
日期:2015-11-11 09:58:34
发表于 2015-11-5 15:10 | 显示全部楼层
1. 网络数据揭示了什么
    网络数据是网络操作和行为留下的痕迹,利用数据可以反推你的网络行为,通过数据挖掘机器学习之类的可以得到有价值的信息,再通过推荐系统之类的可以引导网络行为,来创造更大的价值。
   
2. 数据分析团队与业务团队的分工和定位
   数据分析团队,偏重于对数据的处理,采集,整理,清洗,提取,挖掘等等,得到有价值的信息,来推动业务的提升改进增值。
   业务团队,偏重于对业务流程的处理和改进,业务所产生的数据可供数据团队所使用。
二者相辅相成,可以互相促进。

3.公司是如何运用大数据的
   目前用到的也就是利用广电业务运营支撑系统所产生的大量数据,进行收视分析。

使用道具 举报

回复
认证徽章
论坛徽章:
249
Jeep
日期:2013-09-04 19:17:57Jeep
日期:2013-10-08 09:46:02Jeep
日期:2013-10-08 16:38:27Jeep
日期:2013-11-22 14:53:46Jeep
日期:2013-11-08 23:59:45Jeep
日期:2013-11-22 17:15:17Jeep
日期:2013-11-22 17:15:17Jeep
日期:2013-11-17 09:59:04季节之章:夏
日期:2015-01-28 14:58:51季节之章:春
日期:2014-12-25 16:20:50
发表于 2015-11-5 15:29 | 显示全部楼层
不知道,大数据研究带来了什么?

使用道具 举报

回复
认证徽章
论坛徽章:
836
状元
日期:2015-11-12 10:18:05榜眼
日期:2015-11-12 10:18:05探花
日期:2015-11-12 10:18:05进士
日期:2015-11-12 10:18:05举人
日期:2015-09-11 13:42:08秀才
日期:2015-09-17 09:11:05至尊黑钻
日期:2015-11-20 18:17:09紫钻
日期:2015-11-20 18:18:06粉钻
日期:2015-11-20 18:17:23绿钻
日期:2015-11-20 18:17:48
发表于 2015-11-5 15:33 | 显示全部楼层
本帖最后由 1983yu 于 2015-11-12 17:09 编辑

1. 网络数据揭示了什么
在大量具体的领域中,网络数据比起可能没有它的时候,能帮助企业组织更好地了解它们的客户。如果不能驾驭这种大数据源,人们将会非常困难地得出这样一种见解。甚至有可能的话,会与此擦肩而过

2. 数据分析团队与业务团队的分工和定位
业务团队根据需求得出需求什么样的数据,然后数据团队来提供。数据团队通过挖掘得到数据,业务团队根据数据制定新的方向

3.公司是如何运用大数据的
不同的公司需求分析的方向肯定不一样,卖东西的分析各种商品的关联性,玩人的就分析人的动向,以更好的提供服务,创收

使用道具 举报

回复
认证徽章
论坛徽章:
241
至尊黑钻
日期:2015-09-25 14:27:26粉钻
日期:2015-10-16 10:53:36紫钻
日期:2015-10-16 10:53:21红钻
日期:2015-09-25 15:05:50黄钻
日期:2015-10-17 12:23:40绿钻
日期:2015-10-24 10:29:30至尊黑钻
日期:2015-08-14 13:24:07粉钻
日期:2015-10-24 10:30:07紫钻
日期:2015-11-03 22:32:09红钻
日期:2015-11-06 17:21:40
发表于 2015-11-5 16:58 | 显示全部楼层
没看到试读章节啊
mark一下

使用道具 举报

回复
论坛徽章:
46
奥运会纪念徽章:现代五项
日期:2008-10-24 13:26:49奥运会纪念徽章:摔跤
日期:2012-07-23 15:26:57复活蛋
日期:2012-11-19 11:58:05灰彻蛋
日期:2012-12-06 14:47:452013年新春福章
日期:2013-02-25 14:51:24保时捷
日期:2013-08-26 09:19:31奔驰
日期:2013-10-08 15:46:342014年新春福章
日期:2014-02-18 16:41:11马上有车
日期:2014-02-18 16:41:11马上有对象
日期:2014-04-02 10:53:11
发表于 2015-11-5 17:51 | 显示全部楼层
也许是我太老了,总觉得就是在忽悠,这些基本的东西早就有了,
比如啤酒尿布的故事,现在不过换个瓶子继续来卖。
技术可能有很多新的技术,也确实不错,但真正需要用的,能用的有多少?
靠大数据也就是能推导出可能性高的趋势,适合某个商业模式的优化。
但当满世界都是各种迎合大多数人的习惯的东西之后,真的不敢想象世界是什么样。

真正能推动革命的蒸汽机,电等等改变一种生产,行为方式的东西,
就不用期待了。

使用道具 举报

回复
论坛徽章:
57
ITPUB15周年纪念
日期:2016-10-13 13:15:342017金鸡报晓
日期:2017-01-10 15:39:052017金鸡报晓
日期:2017-02-08 14:09:13秀才
日期:2017-02-22 15:14:12秀才
日期:2017-02-22 15:16:26秀才
日期:2017-02-22 15:18:00秀才
日期:2017-05-09 11:37:55秀才
日期:2017-07-11 14:19:35ITPUB18周年纪念章
日期:2018-11-13 15:31:24
发表于 2015-11-5 18:41 | 显示全部楼层
1. 网络数据揭示了什么
网络数据向我们揭示了:
a. 购物行为
为了了解购物行为,一个良好的起点是确认客户是如何来到一个网站来开始购物的。网络数据能让你了解到客户在购买他下一产品时候在想什么以及他们是如何让自己的购买决定过程起作用的。
b. 客户购买过程和购买偏好
使用网络数据并通过观察客户是如何在网站上“冲浪”的,分析人员就能确定出客户是如何做出他们的购买决定的。通过他们的购买偏好来获得对他们的了解是可能的。
c. 搜索行为
理解客户是如何使用某个网站的搜索内容能让我们对如何与每个客户进行交互产生深刻地了解。你还能得知网站为了促销而增添或不增添价值时,会在哪些方面有所不同。
另一种使用网络数据的方式是了解客户的产品搜索规律,这是为了搞清楚网站所提供的信息中有哪些会被所有客户认为是有价值的,尤其是要搞清楚被那些“最佳”客户认为是有价值的信息。客户在购买产品之前,会多久一次查看产品预览信息、附加的图片信息或技术规格信息?请注意当你追踪这些网络会话中的信息,并把它与其他客户数据相结合的时候,你要能知道人们是否会花一天时间去搜索,然后在另外一天去完成购买。最终的购买活动往往是一简单地执行购买活动,并被高度定位的网络会话。我们需要将历史浏览数据汇总起来构成一对客户产品搜索规律的整体印象。或许企业组织正在考虑去除的某一不太被用到的网站特性是一关键客户群体中最喜欢的特性。因此在这种情况下,这一特性应该被保留下来。
搞清楚对每位客户来说都是很重要的那些网站特性以及每位客户是如何利用网站来进行搜索的,这能帮助你更好地让网站迎合客户个人的需要。对于那些经常深度“挖掘”产品详细规格的客户来说,或许这些产品规格在她们一查看产品时就能被展现出来。对于那些经常想看产品图片的客户来说,或许产品图片应以全尺寸的格式展现,而不是只是展现缩略图。这是为了让你的客户能更方便的进行搜索,从而让她们在准备搜索产品并购买的时候,来你而不是你的竞争对手的网站。
d. 反馈行为
在客户所能提供的最佳信息中,有一些是关于产品和服务的详细反馈信息的。一个简单的事实是客户愿意花时间提供反馈信息来表明她们对某一品牌的热衷程度。通过使用文本挖掘技术来了解客户反馈中所表现出来的语气、意图和主题,你就可以开始对个人客户最看重的东西的印象变得更加好。
2. 数据分析团队与业务团队的分工和定位
与建设常规的软件开发团队相比,企业在数据科学团队的招聘、建设和成长方面面临各种全新的挑战。企业组建大数据分析团队首先需要搞清楚以下三个问题:数据分析团队在企业组织架构中的智能定位、所需资源以及数据分析团队的架构。
职能定位
企业上下需要在一开始就明确数据分析团队在企业组织架构中的定位,以及主要的利益相关者。不同企业的做法不同,有的企业让CTO领导数据科学团队,有的则选择让CFO甚至CMO领导,有的选择由一个项目经理统领分散于不同业务部门的数据专家,还有一些企业将数据科学团队定位于研发团队,没有具体的日程表或利益相关者。以上取决于企业的组织模式、企业文化、资源和数据科学团队的具体任务。由于数据科学如此性感,企业的高官们都想将其纳入自己的管辖范围,因此如果不能事先明确数据科学团队的职能定位,在日后的运营中势必引起各部门之间的困惑和摩擦。
资源需求
了解技术人才市场的人都知道,数据科学人才的身价不菲,而企业往往在组建数据科学团队前对资源需求估计不足。对于一个超过300人的互联网公司来说,如果想组建一个有明确任务(例如推荐引擎、用户激活等)的数据科学团队,第一阶段可以考虑组建一个5-8人的团队,包括一名技术项目经理、1-2名负责建模的数据科学家,以及3-5名数据工程师负责部署生产代码。
团队构成
当明确了资源需求和团队规模后,下一步面临的问题是如何找到合适的数据科学人才。
以8人数据科学团队为例,团队初创成员大致分为以下三类:
1).技术项目经理。拥有3到5年的相关团队管理和项目经验;最好拥有扎实的技术背景,最好能够编程(虽然并不需要真的去编程)。数据分析团队的技术项目经理不仅仅需要丰富的项目管理经验,还必须了解数据分析相关的算法和技能,最好能够进行代码审核。
2).数据科学家。数据科学家要求有广泛而扎实的专业背景,最好拥有物理学、数学、计算机科学、生物学或相关学科领域的博士学位。判断数据科学家水平最简单的依据是她曾经发表过的研究论文质量。有一点需要注意的是,一位机器学习领域的资深专家很可能软件开发技能很差,因此在考察数据科学家技能时不要想当然,务必要明确其编程技能。对于以应用为主的互联网企业来说,编程技能对于一个初创的数据科学团队来说非常重要,除非你要组建的是一个学术性的数据科学团队。
3).数据工程师。不需要太多学术背景,只要是对数据分析感兴趣的靠谱的软件开发人员都可胜任。数据工程师需要对算法、数据架构和软件工程有深入了解,尤其是算法层面,因为很多软件工程师这方面的知识很薄弱,而对于数据科学团队来说算法至关重要。可以尝试从开源项目的积极贡献者中去寻找未来的数据工程师。通常对数据工程师的技能要求与数据科学家类似(例如Python、Scala等)
以上每类数据科学人才的招聘要求视企业和预算的不同而异,团队组建初期没必要招聘太过资深的人士,因为在团队职能和领域范围在初期会经历比较大的变动。而且数据科学团队初期由于需要搭建数据平台,清洗数据,需要干大量“脏活”。

3.公司是如何运用大数据的
a. 最优产品推荐
一种常见的市场数据分析是为每位客户预测下一次的最优产品推荐。在所有可用的选择方案中,推荐哪种产品会是下一次向客户推荐的有最大机率完成交易的产品?而有了这些网络行为数据就能完全地改变下一次向客户推荐何种最优产品的决定,并且会让这些决定变得更加可靠稳妥。
b. 客户流失模型
在电信行业中,很多公司已经投入了大量时间和精力来创建、强化和完善客户流失模型。客户流失模型指明的是那些最有可能注销他们帐号的客户,所有必须前瞻性的采取行动预防他们这样做。对于这个行业来说,客户流失是个大问题;可能会使巨额资金处于风险中。该模型对成本基线有很大影响。客户流失管理已经是,并且仍将是了解客户使用和收益模式的关键。
c. 客户响应模型
有很多模型会被创建用来帮助预测客户面对一请求采取行动时,会做出何种抉择。这些模型一般都会试图预测何种客户会购买产品、接受产品推荐或点击一封email邮件信息中的链接。对于这样一些模型,经常会使用一种被称之为逻辑回归的技术。这些模型常常会被称为客户响应模型或客户购买倾向模型。我们之前讨论的客户流失模型也是同样一种类型的模型。主要区别在于客户流失模型的目的是预测一种消极的行为(流失)而不是一种积极的行为(购买或响应)。
当我们正在使用一种客户响应或购买倾向模型时,我们会根据所有客户所采取的行动可能性的高低进行计分和等级评定。然后根据这些评定出来的等级创建合适的客户群体,以此来筛选客户。理论上,每位客户都会有一个独一无二的分数。然而在实践中,因为只有一小撮变量来定义大多数模型,所以很多客户最终都会得到一个相同程度或近似于相同程度的分数。对于那些花钱很少或不经常购物的客户来说,这尤其是如此。在这样一种情况下,很多具有非常相似、非常低分数的客户最终都会划入到一个很大的群体中。  
d. 客户群体划分
网络数据还能催生大量完全崭新的数据分析方法。这其中有一种方法是只以客户通常的网页浏览习惯来划分客户群体。比起传统的人口统计或基于销售情况的划分方案,这种划分方法向我们提供了一种完全不同的客户观点。 有许多种数据源可用来划分客户群体。销售、人口统计和问卷调查反馈是其中的几种。

e. 广告宣传结果评估
更好地评估付费搜索和在线广告宣传结果是另一种由客户级别的网络行为数据产生的具有高度影响力的数据分析方法。传统的网络数据分析高度总结了诸如总体点击数、搜索次数、每次点击或印象(放置广告图像的网页每一次显示,就是一次印象。——译者注)成本、点击最多的关键词和网页页面位置统计数据这样的东西。然而无论如何,这些度量标准是处于总体计算级别的,只是个体网络浏览会话级别的数据累积计算而得出的结果。所处的上下文环境也只局限于网络销售渠道。

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

PostgreSQL中国大会,参会票抢购!

由 PostgreSQL中文社区与ITPUB联合主办的第九届《PostgreSQL 中国技术大会》将在北京隆重召开。PostgreSQL 作为功能最强的的开源关系型数据库之一,得到了越来越多企业的推广和运用,也越来越受到广大技术爱好者的欢迎和重视。这将是 PostgreSQL 的又一次交流盛会。
----------------------------------------
时间:2019年11月29~11月30日

点击报名>>
TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 
京ICP备09055130号-4  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表