大数据时代，R 语言是否是数据分析最理想技术

xgghxkhuang

经常用r来做图，其精美程度胜过多数商业软件，用r展现的可视化数据相当灵活美观，r作图是它的亮点。

xgghxkhuang

数据分析前期准备
业务理解，商业理解，寻找资源，包括数据利益相关的业务方，从业务上理解分析的目的，了解业务的痛点和期望，然后分析现行条件下的数据资源，圈定数据范围，设计宽表集成各种数据，数据清洗，缺失补充，平滑异常数据，数据探索与衍生数据转换，数据去量纲中心化处理，数据准确性校验。

xgghxkhuang

r语言的数据结构比较晦涩，使用起来要小心，容易混淆的，小数据量r可以完胜，大数据量最好抽样一下，不然无法跑过的。

xgghxkhuang

R毕竟只是数据分析技术实现的一门工具，可以理解为古代战将手中的兵器，但是分析的好坏兵器运用如何只是一方面，核心还是业务，所有的技术全部为业务和商业服务，脱离了业务和商业，再好的技术也是无用的，一切为了解决业务商业问题，一切在于落地的商业应用。

tantebird

1. R 可以完成哪些事？
R语言可以完成的工作非常的多。
众所周知，R语言的诞生与统计学有着千丝万缕的联系，R语言也是一种统计计算和作图语言，因此，R语言最显著的用途之一就是用来进行统计计算，包括：

• 基本的数学运算；
• 各种分布下概率的计算；
• 变量的数字特征和统计量的计算；
• 对数据进行抽样（系统抽样、分层抽样等等各种抽样方法）；
• 参数的区间估计；
• 参数的假设检验；
• 方差分析
  
  
  
  

随着DT时代的来临，数据的价值被越来越受到重视，这促进了数据分析和数据挖掘行业的发展。而R语言就是数据分析和数据挖掘的一大神器，这不仅仅因为R语言是免费的，更是因为R语言是开源的，有许许多多的科学家和开发人员为R语言贡献了数千种包（package），利用不同的包，你可以用R来很容易地完成不同的工作，有的复杂算法的调用只需一行代码即可。

• 比如，你想根据ITPUB以往的流量数据来预测接下来一个星期网站的流量，这个时候，回归分析或许可以帮你快速地达成目的，而R中做回归分析的命令竟是简单的lm()函数，一行命令即可搞定。
• 再比如，Dataguru网站想根据学员以往报名学习课程的信息，来给新学员个性化推荐课程。这个时候关联规则分析算法就可以派上用场了，而实现对数据的关联规则分析只需简单地调用apriori包里面的apriori()函数即可
• 还有，在市场营销分析中，如果你想对顾客群体进行划分，以观察每个群体的特征，那么聚类分析就值得一试，R语言实现聚类分析的函数也是一行。
• ……
  
  
  
  

许多数据挖掘和机器学习的算法工具，R语言也都有现成的包可以调用。比如：

• Logistic回归；
• 决策树；
• 支持向量机；
• 神经网络；
• 贝叶斯分类
  
• ……
  
  
  

R语言提供了多种数据库的接口，比如mysql、Oracle，这就使得R能非常方便地与多种数据库集成，直接从数据库中查询获取数据，然后在R中进行处理分析，大大提高了R的可扩展性。另外，R还能与Hadoop集成，从而使得R具备了处理大数据的能力。
最后，不能忽视的是R语言的作图能力，R除了内置的graphics包之外，还有很多优秀的画图扩展包，比如ggplot2、RGobi包，它们使得R可以根据个性化的需求绘制图形，非常方便。
R语言能做的事情实在是太多了，我这里就不全部列出了。
2. 数据分析的前期准备有哪些？
做过数据分析项目的人都会知道，一个数据分析项目的90%时间可能都花在“前期准备”上，真正用在分析的时间其实不多，这就足见数据分析“前期准备”工作的重要性。大体上来说，数据分析的前期准备工作有如下几个方面：

• 分析目标的确定。你需要与业务方沟通洽谈，了解数据分析需要解决哪些问题、这些问题的背景、以及业务方起望你达到的结果。
• 将业务问题转化为数据分析解决方案。根据对数据分析问题的理解，结合所掌握的数据分析工具方法，将实际问题抽象为数据分析模型。
• 特征指标的提取。这一步需要你根据对问题的分析，来确定一些特征指标，越多越好。
• 数据的搜集。尽可能多地搜集历史数据，数据越多，你的分析结论就越可靠，记住，“巧妇难于无米之炊”。
• 对数据的预处理。拿到数据之后，并不能直接进行数据分析，因为原始数据中往往包含很多噪声，你需要对数据进行一些预处理的工作，比如删除缺失值或者对缺失值进行填充、删除离群值、对特征指标进行分析等等。
• 数据的探索性分析。这一步是数据分析的前奏，它会帮助你更加全面地理解要分析的数据，你可以观察每一个特征变量的分布情况、也可以作图观察一下样本的分布情况，或者你认为某个变量对分析主题是至关重要的，你便可以在数据探索阶段来验证一下你的想法了。
  
  
  

完成了以上的数据分析前期准备工作之后，你就可以转入正式地数据分析了。
3. 说说您读完试读样章后的启发？
看到楼主贴出试读样张之后，我立马下载了阅读。读罢，感受之一便是，翻译的质量非常高，读起来非常通畅，完全没有技术类翻译著作晦涩拗口的弊习。虽然样张放出的都只是R语言的基础部分，一些高级主题比如统计建模、机器学习的部分并没有在样张中给出，但读完样张中所包含的4个章节，我便更加期待本书的其他部分的内容了。
最大的感受便是，此书包含的知识点非常丰富。虽说自己使用R也有一段时间了，基本的R命令也是比较熟悉的，但在阅读样张过程中，发现书中介绍的某些用法，自己竟然感觉十分的新奇，比如第3张中介绍lattice作图时，用dotplot()函数绘制了不同food类型下amount岁year的变化趋势，书中的介绍非常清晰明了，看了之后有种醍醐灌顶的感觉。
新的知识会不断涌现，而学习也是永无止境的。多阅读新书，会有新的收获。
下面是我的第3章的读书笔记，把觉得有用的、但自己并不非常熟悉的内容总结了一下。注，这篇笔记是我用rmarkdown编写的。

《R语言核心技术手册（第2版）》阅读笔记之第3章

tantebird @ITPUB

Sunday, September 07, 2014

两个向量做乘积时，是对应的元素相乘，结果还是一个向量。不是向量之间的数乘运算。

#P20

c(1,2,3,4)*c(10,20,30,40)

## [1]  10  40  90 160

两个向量之间运算时，如果两个向量的长度不等，则长度较短的向量的元素会重复使用，以使两向量长度一致。注意，如果长向量的长度不是短的整数倍时，会出现警告信息。

#P20

c(1,2,3,4,5)+c(10,20)

## Warning: 长的对象长度不是短的对象长度的整倍数

## [1] 11 22 13 24 15

R中的取对数运算：

#P22

log(x=64,base=4)

## [1] 3

R中的两种赋值操作符：

#P24

a <- 1;a

## [1] 1

b = 2;b

## [1] 2

在R中自定义函数：

#P24

f <- function(x,y){c(x+1,y+1)}

f(1,2)

## [1] 2 3

值得注意的是，在对函数的参数赋值时，等号要使用“=”，而不要使用“<-”，因为后者往往会将参数值赋给一个对象，而不是函数的参数。 另外，关于R的函数的一个小技巧是在控制台输入函数名称，就可以看到函数的源代码了：

#P25

f

## function(x,y){c(x+1,y+1)}

R中可以使用class函数来定义一个对象的类。

#28

x <- 10;class(x)

## [1] "numeric"

class(f)

## [1] "function"

在R中函数也是一个对象，属于function类。

将字符串转换为日期类型的函数:

#P29

as.Date("2009-09-09")+7

## [1] "2009-09-16"

R中的线性回归，一个简单的例子：

#P31

summary(lm(dist~speed,data=cars))

##

## Call:

## lm(formula = dist ~ speed, data = cars)

##

## Residuals:

##    Min     1Q Median     3Q    Max

## -29.07  -9.53  -2.27   9.21  43.20

##

## Coefficients:

##             Estimate Std. Error t value Pr(>|t|)   

## (Intercept)  -17.579      6.758   -2.60    0.012 *

## speed          3.932      0.416    9.46  1.5e-12 ***

## ---

## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

##

## Residual standard error: 15.4 on 48 degrees of freedom

## Multiple R-squared:  0.651,  Adjusted R-squared:  0.644

## F-statistic: 89.6 on 1 and 48 DF,  p-value: 1.49e-12

上面汇总的结果包括函数的调用、拟合残差的分布、回归系数以及拟合优度的信息。

R中内置了几个数据可视化的包：graphics、grid和lattice。通常你会发现graphics和lattice包中函数都非常有用。关于数据可视化还有其他包可供选择，比如RGobi包，它提供了一些绘制交互图形的工具。

R中画直方图：

#P32

library(nutshell)   #install.packages("nutshell")

## Loading required package: nutshell.bbdb

## Loading required package: nutshell.audioscrobbler

data(field.goals)

hist(field.goals$yards)

hist(field.goals$yards,breaks=35)   #修改breaks参数在直方图上添加更多的组数

将表格展现变为点状图（对于向量中的每个点在x轴上都只画一个点）。

#P33

table(field.goals$play.type)

##

## FG aborted FG blocked    FG good      FG no

##          8         24        787        163

stripchart(field.goals[field.goals$play.type=="FG blocked",]$yards,pch=19,method="jitter")  #将method设置成jitter从而使每个点都能清楚地显示

简单的画图：

#P35

data(cars)

dim(cars)

## [1] 50  2

plot(cars,xlab="Speed (mph)",ylab="Stopping distance (ft)",las=1,xlim=c(0,25))   #las=1,坐标轴标签总是呈水平放置

lattice栅格图提供了一些非常好的工具，可以绘出漂亮的图形，尤其适用于需要比较几组数据的时候。在R中lattice包默认是不加载的。如果不加载她就调用其中的函数，R控制台会报错。 为了显示数据的趋势，可以使用dotplot函数（类似于Excel中的折线图）。特别地，我们想知道Amount是如何随着Year变化的，而且想要针对不同的Food值分别绘制出趋势的图形。使用默认的设置绘图：

#P35

library(lattice)

library(nutshell)

data(consumption)

dotplot(Amount~Year|Food,consumption)

默认的图形难以阅读：坐标轴上的标签太大了，每个子图的刻度都是一样的，摆放也不太合适。对图形显示做一些调整就好多了：

dotplot(Amount~Year|Food,data=consumption,aspect="xy",scales=list(relation="sliced",cex=.4))  #aspect选项可以改变每个子图的纵横比，以接近45度角的斜率来显示变化（使变化更容易看到）。scales选项可以改变坐标轴的绘制方式

R中的帮助：

#P37

help(glm) #获得某个函数的帮助信息

?glm #获得某个函数的帮助信息

?'+' #获得某个操作符的帮助信息

example(glm) #查看函数的示例

##

## glm> ## Dobson (1990) Page 93: Randomized Controlled Trial :

## glm> counts <- c(18,17,15,20,10,20,25,13,12)

##

## glm> outcome <- gl(3,1,9)

##

## glm> treatment <- gl(3,3)

##

## glm> print(d.AD <- data.frame(treatment, outcome, counts))

##   treatment outcome counts

## 1         1       1     18

## 2         1       2     17

## 3         1       3     15

## 4         2       1     20

## 5         2       2     10

## 6         2       3     20

## 7         3       1     25

## 8         3       2     13

## 9         3       3     12

##

## glm> glm.D93 <- glm(counts ~ outcome + treatment, family = poisson())

##

## glm> anova(glm.D93)

## Analysis of Deviance Table

##

## Model: poisson, link: log

##

## Response: counts

##

## Terms added sequentially (first to last)

##

##

##           Df Deviance Resid. Df Resid. Dev

## NULL                          8      10.58

## outcome    2     5.45         6       5.13

## treatment  2     0.00         4       5.13

##

## glm> ## No test:

## glm> summary(glm.D93)

##

## Call:

## glm(formula = counts ~ outcome + treatment, family = poisson())

##

## Deviance Residuals:

##       1        2        3        4        5        6        7        8

## -0.6712   0.9627  -0.1696  -0.2200  -0.9555   1.0494   0.8472  -0.0917

##       9

## -0.9666

##

## Coefficients:

##              Estimate Std. Error z value Pr(>|z|)   

## (Intercept)  3.04e+00   1.71e-01   17.81   <2e-16 ***

## outcome2    -4.54e-01   2.02e-01   -2.25    0.025 *

## outcome3    -2.93e-01   1.93e-01   -1.52    0.128   

## treatment2   1.34e-15   2.00e-01    0.00    1.000   

## treatment3   1.42e-15   2.00e-01    0.00    1.000   

## ---

## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

##

## (Dispersion parameter for poisson family taken to be 1)

##

##     Null deviance: 10.5814  on 8  degrees of freedom

## Residual deviance:  5.1291  on 4  degrees of freedom

## AIC: 56.76

##

## Number of Fisher Scoring iterations: 4

##

##

## glm> ## End(No test)

## glm>

## glm> ## No test:

## glm> ## an example with offsets from Venables & Ripley (2002, p.189)

## glm> utils::data(anorexia, package = "MASS")

##

## glm> anorex.1 <- glm(Postwt ~ Prewt + Treat + offset(Prewt),

## glm+                 family = gaussian, data = anorexia)

##

## glm> summary(anorex.1)

##

## Call:

## glm(formula = Postwt ~ Prewt + Treat + offset(Prewt), family = gaussian,

##     data = anorexia)

##

## Deviance Residuals:

##     Min       1Q   Median       3Q      Max

## -14.108   -4.277   -0.548    5.484   15.292

##

## Coefficients:

##             Estimate Std. Error t value Pr(>|t|)   

## (Intercept)   49.771     13.391    3.72  0.00041 ***

## Prewt         -0.566      0.161   -3.51  0.00080 ***

## TreatCont     -4.097      1.893   -2.16  0.03400 *

## TreatFT        4.563      2.133    2.14  0.03604 *

## ---

## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

##

## (Dispersion parameter for gaussian family taken to be 48.7)

##

##     Null deviance: 4525.4  on 71  degrees of freedom

## Residual deviance: 3311.3  on 68  degrees of freedom

## AIC: 490

##

## Number of Fisher Scoring iterations: 2

##

##

## glm> ## End(No test)

## glm>

## glm> # A Gamma example, from McCullagh & Nelder (1989, pp. 300-2)

## glm> clotting <- data.frame(

## glm+     u = c(5,10,15,20,30,40,60,80,100),

## glm+     lot1 = c(118,58,42,35,27,25,21,19,18),

## glm+     lot2 = c(69,35,26,21,18,16,13,12,12))

##

## glm> summary(glm(lot1 ~ log(u), data = clotting, family = Gamma))

##

## Call:

## glm(formula = lot1 ~ log(u), family = Gamma, data = clotting)

##

## Deviance Residuals:

##     Min       1Q   Median       3Q      Max

## -0.0401  -0.0376  -0.0264   0.0290   0.0864

##

## Coefficients:

##              Estimate Std. Error t value Pr(>|t|)   

## (Intercept) -0.016554   0.000928   -17.9  4.3e-07 ***

## log(u)       0.015343   0.000415    37.0  2.8e-09 ***

## ---

## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

##

## (Dispersion parameter for Gamma family taken to be 0.002446)

##

##     Null deviance: 3.51283  on 8  degrees of freedom

## Residual deviance: 0.01673  on 7  degrees of freedom

## AIC: 37.99

##

## Number of Fisher Scoring iterations: 3

##

##

## glm> summary(glm(lot2 ~ log(u), data = clotting, family = Gamma))

##

## Call:

## glm(formula = lot2 ~ log(u), family = Gamma, data = clotting)

##

## Deviance Residuals:

##     Min       1Q   Median       3Q      Max

## -0.0557  -0.0293   0.0103   0.0171   0.0637

##

## Coefficients:

##              Estimate Std. Error t value Pr(>|t|)   

## (Intercept) -0.023908   0.001326   -18.0  4.0e-07 ***

## log(u)       0.023599   0.000577    40.9  1.4e-09 ***

## ---

## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

##

## (Dispersion parameter for Gamma family taken to be 0.001813)

##

##     Null deviance: 3.118557  on 8  degrees of freedom

## Residual deviance: 0.012672  on 7  degrees of freedom

## AIC: 27.03

##

## Number of Fisher Scoring iterations: 3

##

##

## glm> ## Not run:

## glm> ##D ## for an example of the use of a terms object as a formula

## glm> ##D demo(glm.vr)

## glm> ## End(Not run)

## glm>

## glm>

help.search("regression") #获得某个主题的帮助信息

??regression #获得某个主题的帮助信息

library(help="grDevices") #获得某个包的帮助信息

有些函数会包含至少一个指南文档（vignette）。这是一种简单的介绍性文档，通常都会包含具体的例子。可以使用vignette命令来查看指南文档

vignette("affy") #查看某个包的指南文档

## Warning: vignette 'affy' not found

vignette(all=FALSE) #查看已加载的所有包中的指南文档

vignette(all=TRUE) #查看已安装的所有包的指南文档

java3344520

学过dataguru的R，感觉R的接口太少了，毕竟很多东西需要靠外部系统来支撑的

非商业的东西感觉对商业支持有点弱弱

lidrema

1.R 可以完成哪些事？
R语言可以说是S语言的翻版，但毕竟开源的力量是无限的且受欢迎的，R语言主要用于数据处理、统计分析、绘图。其函数式的编程思想，使得语句更简洁，与当下的python、scala等编程思想一致，同样也拥有OOP编程思想。其主要功能有：
数据存储和处理系统；
数组运算工具（其向量、矩阵运算方面功能尤其强大）；
完整连贯的统计分析工具；
优秀的统计制图功能；
简便而强大的编程语言：可操纵数据的输入和输出，可实现分支、循环，用户可自定义功能
主要应用的领域：
统计分析：包括统计分布，假设检验，统计建模
金融分析：量化策略，投资组合，风险控制，时间序列，波动率
数据挖掘：数据挖掘算法，数据建模，机器学习
互联网：推荐系统，消费预测，社交网络
生物信息学：DNA分析，物种分析
生物制药：生存分析，制药过程管理
全球地理科学：天气，气候，遥感数据
数据可视化：静态图，可交互的动态图，社交图，地图，热图，与各种Javascript库的集成

2.        数据分析的前期准备有哪些？
据分析的前期准备分为（REF：//8楼）：
1）数据的分组
将调查可得的数据资料进行分组。即可以采用统计分组方法，将大量调查资料，按一定的特征标志分成不同的部分，以正确区分现象和事物的不同性质与特征。
可分别采用按数量、质量、时序和地区等进行统计分组的方法。
2）数据的概括归纳
将分组后的数据进行汇总合并，并与其他样本数据进行分析对比。
有频数分布、中值、计算离散趋势三种方法。
3）开始数据分析
分析方法按照变量的多少可分为单变量分析、双变量分析和多变量分析。
在单变量分析中有：估计方法和显著性检验方法。
在双变量分析中最常用的方法有交叉分析、相关分析、回归及方差分析。
多变量分析有一个因变量分析、几个因变量分析等方法。

3. 说说您读完试读样章后的启发？
        看完第3章内容，R语言语法和很多函数式编程语言很像，如Python，很简洁，有交互式控制台，同样也是OOP，更易于表示复杂的对象（如统计模型或图形）。提供了关于数据统计分析大量的函数及数据可视化包：graphics、grid和lattice。第10章主要是关于R语言中对象类的操作，第11章主要是介绍R语言数据导入的几种方式。书中的内容讲解的还是比较浅显易懂的。
        总之，R语言对于数据的统计与分析，以及其与hadoop结合的前景，还是受人关注的！

alipay_

值得关注

alfah

能给个R的基础手册下载咩？

iyee_tu

还没有了解R语言。关注一下