package(1):tm

首页 > 代码库 > package(1):tm

2024-09-13 13:47:33 220人阅读

tm包是R语言中为文本挖掘提供综合性处理的package，进行操作前载入tm包，vignette命令可以让你得到相关的文档说明。使用默认安装的R平台是不带tm package的，在安装的过程中，它会依赖于NLP’，‘BH’ ，‘slam’包，所以最简单的方式就是采用在线安装。在tm 中主要的管理文件的结构被称为语料库（Corpus），代表了一系列的文档集合

tm包安装

在安装依赖的slam包时，出现如下异常，R版本3.2.5

> install.packages("slam", type = "source")
Installing package into ‘C:/Users/zhushy/Documents/R/win-library/3.2’
(as ‘lib’ is unspecified)
Warning in install.packages :
  package ‘slam’ is not available (for R version 3.2.5)

通过如下方式解决:

参考：https://cran.r-project.org/web/packages/tm/index.html
参考：http://stackoverflow.com/questions/40419015/install-packagestm-dependency-slam-is-not-available
```
library(devtools)
install_url("https://cran.r-project.org/src/contrib/Archive/slam/slam_0.1-37.tar.gz")
```

基本函数

基本用法参考：http://blog.163.com/zzz216@yeah/blog/static/162554684201412892742116/
vignette("tm") //会打开一个tm.pdf的英文文件，讲述tm package的使用及相关函数

VectorSource函数： 可以将字符向量创建为corpus，示例如下：

> library(tm)
> library(NLP)
> doc=c("halo halo !","this is second word!") 
> corpus1=Corpus(VectorSource(doc))
> corpus1
<<SimpleCorpus>>
Metadata:  corpus specific: 1, document level (indexed): 0
Content:  documents: 2

system.file(): 在指定的package中找到每个文件的地址

#找到tm包下texts/crude文件夹的位置，里面含有20个xml文档
adress=system.file("texts","crude",package="tm") 
reuters=Corpus(DirSource(adress),readerControl=list(reader=readReut21578XML))

DirSource()：建立一个目录，除此之外还可以利用如下的函数导入不同形式的数据

VectorSource：由文档构成的向量
DataframeSource：数据框，就像 CSV 文件

readerControl=list(reader=,language=)，ReadControl中有ReadDOC,readPDF,readPlain,readReut21578XML等不同的读入方式，可以使用getReaders()函数显示出所用的可能的方式，如下：

> getReaders()
 [1] "readDOC"                 "readPDF"                 "readPlain"              
 [4] "readRCV1"                "readRCV1asPlain"         "readReut21578XML"       
 [7] "readReut21578XMLasPlain" "readTabular"             "readTagged"             
[10] "readXML"

Corpus：会将此目录下的文件当做一个个的文档

查看及写语料包

writeCorpus() ：将生成的语料库保存成多个纯文本文件
```
writeCorpus(corpus1,"E:\\R\\",c("a1.txt","a2.txt")) 
```
结果如下图：（说明：原字符中下图中字符，有敏感词变禁止提交，so 上面的代码换成字母类）

查看：inspect\print\summary

> inspect(reuters)
<<VCorpus>>
Metadata:  corpus specific: 0, document level (indexed): 0
Content:  documents: 20

[[1]]
<<XMLTextDocument>>
Metadata:  16
........

> print(reuters)
<<VCorpus>>
Metadata:  corpus specific: 0, document level (indexed): 0
Content:  documents: 20

> summary(reuters)
    Length Class           Mode
127 2      XMLTextDocument list
144 2      XMLTextDocument list
191 2      XMLTextDocument list
194 2      XMLTextDocument list
.......

transformation

主要是tm_map函数，可以使用 getTransformations()函数查看所有的字符处理方式(好象不全）

> getTransformations()
[1] "removeNumbers"     "removePunctuation" "removeWords"       "stemDocument"      "stripWhitespace"

示例：

#将reuters转换为纯文本，去除标签
reuters=tm_map(reuters,PlainTextDocument) 
# 所有字母转换成小写
corpus_clean <- tm_map(reuters, tolower)
# 去除text中的数字
corpus_clean <- tm_map(reuters, removeNumbers)
 # 去除停用词，例如and,or,until...
corpus_clean <- tm_map(reuters, removeWords, stopwords())
# 去除标点符号
corpus_clean <- tm_map(reuters, removePunctuation)
# 去除多余的空格，使单词之间只保留一个空格
corpus_clean <- tm_map(reuters, stripWhitespace)

meta

元数据是为了标记语料库的附加信息，最简单的使用范式就是调用meta()函数 .文档会被预先被定义一些属性，比如作者信息，但也可能是任意自定义的元数据标签。这些附加的元数据标签都是独立的附加在单个文档上。从语料库的视角上看，这些元数据标签被独立的存储在每个文档上。除了meta()函数外，DublinCore()函数提供了一套介于SimpleDublin Core元数据和tm元数据之间的映射机制，用于画的或设置文档的元数据信息
DublinCore：按照都柏林核心的国际标准显示

示例：

data("crude") 
meta(crude[[1]])
DublinCore(crude[[1]])

可以对其进行相应的修改、添加

> data("crude") 
> meta(crude[[1]],tag="author")
character(0)
> meta(crude[[1]],tag="author") <- "ZZ"
> meta(crude[[1]])
  author       : ZZ
  datetimestamp: 1987-02-26 17:00:56
  .......

词条-文档关系矩阵

在tm 包里，根据词条、文档分别作为行、列或反之，对应有TermDocumentMatrix 和 DocumentTermMatrix 两类稀疏矩阵, 如下：

> doc=c("This is Frist Word.","That is Second Word!") 
> corpus1=Corpus(VectorSource(doc))
> dtm <- DocumentTermMatrix(corpus1)
> inspect(dtm)
<<DocumentTermMatrix (documents: 2, terms: 5)>>
Non-/sparse entries: 6/4
Sparsity           : 40%
Maximal term length: 6
Weighting          : term frequency (tf)
Sample             :
    Terms
Docs frist second that this word
   1     1      0    0    1    1
   2     0      1    1    0    1

字典是一个字符集合。经常用于在文本挖掘中展现相关的词条时。使用Dictionary() 函数实现，当将字典传递到DocumentTermMatrix() 以后，生成的矩阵会根据字典提取计算，而不是全部提取

> d=c("word") 
> inspect(DocumentTermMatrix(corpus1, list(dictionary = d)))
<<DocumentTermMatrix (documents: 2, terms: 1)>>
Non-/sparse entries: 2/0
Sparsity           : 0%
Maximal term length: 4
Weighting          : term frequency (tf)
Sample             :
    Terms
Docs word
   1    1
   2    1

实际上对于矩阵的操作R 有大量的函数（比如聚类、分类算法等）支持，但这个包还是提供了一些常用的函数支持。
假如需要找出发生2 次及以上的条目，可以使用findFreqTerms() 函数：
```
> findFreqTerms(dtm,2)
[1] "word"
```
找到相关性，比如对于opec，找到相关系数在0.8 以上的条目，使用findAssocs()，以上小节示例为例
词条-文档关系矩阵一般都是非常庞大的数据集，因此这里提供了一种删减稀疏条目的方法removeSparseTerms，比如有些条目尽在很少的文档中出现。一般来说，这样做不会对矩阵的信息继承带来显著的影响。

因为生成的term-document矩阵dtm是一个稀疏矩阵，再进行降维处理，之后转为标准数据框格式,以上节示例说明：

#进行降维处理
dtm2 <- removeSparseTerms(dtm, sparse=0.95) 
#将term-document矩阵生成数据框
data <- as.data.frame(inspect(dtm2))

完整示例

library(tm)
library(NLP)

#找到tm包下texts/crude文件夹的位置，里面含有20个xml文档
adress=system.file("texts","crude",package="tm") 
reuters=Corpus(DirSource(adress),readerControl=list(reader=readReut21578XML))

#将reuters转换为纯文本，去除标签
reuters=tm_map(reuters,PlainTextDocument) 
# 所有字母转换成小写
corpus_clean <- tm_map(reuters, tolower)
# 去除text中的数字
corpus_clean <- tm_map(reuters, removeNumbers)
 # 去除停用词，例如and,or,until...
corpus_clean <- tm_map(reuters, removeWords, ("english")) 
# 去除标点符号
corpus_clean <- tm_map(reuters, removePunctuation)
# 去除多余的空格，使单词之间只保留一个空格
corpus_clean <- tm_map(reuters, stripWhitespace)
#将文档转为稀疏矩阵,
dtm <- DocumentTermMatrix(reuters)
#找出发生5次及以上的条目
findFreqTerms(dtm, 5) 
#找相关性，比如对于opec，找到相关系数在0.8 以上的条目
findAssocs(dtm, "opec", 0.8)  
#要考察多个文档中特有词汇的出现频率，可以手工生成字典，并将它作为生成矩阵的参数
d <- Dictionary(c("prices", "crude", "oil")))
inspect(DocumentTermMatrix(reuters, list(dictionary = d)))

#进行降维处理
dtm2 <- removeSparseTerms(dtm, sparse=0.95) 
#将term-document矩阵生成数据框
data <- as.data.frame(inspect(dtm2))

package(1):tm

声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉：投诉/举报工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。

联系
我们

首页 > 代码库 > package(1):tm

package(1):tm

看完仍有疑问？有类似问题直接问程序猿