首页 > 代码库 > R中的高效批量处理函数(lapply sapply apply tapply mapply)(转)

R中的高效批量处理函数(lapply sapply apply tapply mapply)(转)

转自:http://blog.csdn.net/wa2003/article/details/45887055

R语言提供了批量处理函数,可以循环遍历某个集合内的所有或部分元素,以简化操作。

这些函数底层是通过C来实现的,所以效率也比手工遍历来的高效。
批量处理函数有很重要的apply族函数:lapply sapply apply tapply mapply。apply族函数是高效能计算的运算向量化(Vectorization)实现方法之一,比起传统的for,while常常能获得更好的性能。

  • apply : 用于遍历数组中的行或列,并且使用指定函数来对其元素进行处理。
  • lapply : 遍历列表向量内的每个元素,并且使用指定函数来对其元素进行处理。返回列表向量。
  • sapply : 与lapply基本相同,只是对返回结果进行了简化,返回的是普通的向量。
  • mapply: 支持传入两个以上的列表。 
  • tapply: 接入参数INDEX,对数据分组进行运算,就和SQL中的by group一样。

(1)行或列遍历操作函数apply

apply(X, MARGIN, FUN, ...)
参数:
X: an array, including a matrix.   MARGIN: 1:行操作; 2:列操作  FUN:函数名

用apply可以很方便地按行列求和/平均,其结果与colMeans,colSums,rowMeans,rowSums是一样的。

举例如下:

> a<-matrix(1:12,c(3,4))> a     [,1] [,2] [,3] [,4][1,]    1    4    7   10[2,]    2    5    8   11[3,]    3    6    9   12> apply(a,1,sum)[1] 22 26 30> apply(a,2,sum)[1]  6 15 24 33> apply(a,1,function(x) sum(x)+2)[1] 24 28 32> apply(a,1,function(x) x^2)     [,1] [,2] [,3][1,]    1    4    9[2,]   16   25   36[3,]   49   64   81[4,]  100  121  144

(2)列表(list)遍历函数lapply

lapply(list, function, ...)
特点:对每列进行操作,非常适合数据框;输入的数据必须是list型。
> a<-matrix(1:12,c(3,4))> a     [,1] [,2] [,3] [,4][1,]    1    4    7   10[2,]    2    5    8   11[3,]    3    6    9   12> a.df<-data.frame(a)> a     [,1] [,2] [,3] [,4][1,]    1    4    7   10[2,]    2    5    8   11[3,]    3    6    9   12> is.list(a.df)[1] TRUE> str(a.df)data.frame:    3 obs. of  4 variables: $ X1: int  1 2 3 $ X2: int  4 5 6 $ X3: int  7 8 9 $ X4: int  10 11 12> lapply(a.df, function(x) x+3)$X1[1] 4 5 6$X2[1] 7 8 9$X3[1] 10 11 12$X4[1] 13 14 15> lapply(a.df, function(x) sum(x)+3)$X1[1] 9$X2[1] 18$X3[1] 27$X4[1] 36> y<-lapply(a.df, function(x) sum(x)+3)> is.list(y)[1] TRUE> names(y)[1] "X1" "X2" "X3" "X4"> y$X1[1] 9$X2[1] 18$X3[1] 27$X4[1] 36> y[1]$X1[1] 9> y[[1]][1] 9> y$X1[1] 9

(3)sapply

sapply(list, function, ..., simplify)
simplify=F:返回值的类型是list,此时与lapply完全相同
simplify=T(默认值):返回值的类型由计算结果定,如果函数返回值长度为1,则sapply将list简化为vector;
如果返回的列表中每个元素的长度都大于1且长度相同,那么sapply将其简化位一个矩阵
> yy<-sapply(a.df, function(x) x^2)> yy     X1 X2 X3  X4[1,]  1 16 49 100[2,]  4 25 64 121[3,]  9 36 81 144> str(yy) num [1:3, 1:4] 1 4 9 16 25 36 49 64 81 100 ... - attr(*, "dimnames")=List of 2  ..$ : NULL  ..$ : chr [1:4] "X1" "X2" "X3" "X4"> str(y)List of 4 $ X1: num 9 $ X2: num 18 $ X3: num 27 $ X4: num 36> yy<-sapply(a.df, function(x,y) x^2+y, y=3)> yy     X1 X2 X3  X4[1,]  4 19 52 103[2,]  7 28 67 124[3,] 12 39 84 147> y1<-sapply(a.df, sum)> y1X1 X2 X3 X4 6 15 24 33> str(y1) Named int [1:4] 6 15 24 33 - attr(*, "names")= chr [1:4] "X1" "X2" "X3" "X4"> y1<-sapply(a.df, sum,simplify=F)> y1$X1[1] 6$X2[1] 15$X3[1] 24$X4[1] 33> str(y1)List of 4 $ X1: int 6 $ X2: int 15 $ X3: int 24 $ X4: int 33

(4)mapply:mapply是sapply的多变量版本(multivariate sapply),Apply a Function to Multiple List or Vector  Arguments

mapply(FUN, ..., MoreArgs = NULL, SIMPLIFY = TRUE, USE.NAMES = TRUE)
> mapply(function(x,y) x^y, c(1:5), c(1:5))[1]    1    4   27  256 3125> a<-matrix(1:12,c(3,4))> a     [,1] [,2] [,3] [,4][1,]    1    4    7   10[2,]    2    5    8   11[3,]    3    6    9   12> mapply(sum, a[,1],a[,3],a[,4])[1] 18 21 24> mapply(function(x,y,z) x^2+y+z, a[,1],a[,3],a[,4])[1] 18 23 30

(5)

tapply(X, INDEX, FUN = NULL, ..., simplify = TRUE)

x是需要处理的向量,INDEX是因子(因子列表),FUN是需要执行的函数,simplify指是否简化输入结果(考虑sapply对于lapply的简化)

补充个因子函数gl,它可以很方便的产生因子,在方差分析中经常会用到

> gl(3,5)                 3是因子水平数,5是重复次数 [1] 1 1 1 1 1 2 2 2 2 2 3 3 3 3 3Levels: 1 2 3> gl(3,1,15)                 15是结果的总长度 [1] 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3Levels: 1 2 3>  df <- data.frame(year=kronecker(2001:2003, rep(1,4)), loc=c(beijing,beijing,shanghai,shanghai), type=rep(c(A,B),6), sale=rep(1:12))> df   year      loc type sale1  2001  beijing    A    12  2001  beijing    B    23  2001 shanghai    A    34  2001 shanghai    B    45  2002  beijing    A    56  2002  beijing    B    67  2002 shanghai    A    78  2002 shanghai    B    89  2003  beijing    A    910 2003  beijing    B   1011 2003 shanghai    A   1112 2003 shanghai    B   12> tapply(df$sale,df[,c(year,loc)],sum)      locyear   beijing shanghai  2001       3        7  2002      11       15  2003      19       23> tapply(df$sale,df[,c(type,loc)],sum)    loctype beijing shanghai   A      15       21   B      18       24

R中的高效批量处理函数(lapply sapply apply tapply mapply)(转)