首页 > 代码库 > 用python做中文自然语言预处理

用python做中文自然语言预处理

2024-07-06 11:34:26   228人阅读

这篇博客根据中文自然语言预处理的步骤分成几个板块。以做LDA实验为例，在处理数据之前，会写一个类似于实验报告的东西，用来指导做实验，OK，举例：

一，实验数据预处理（python,结巴分词）
1.对于爬取的评论做分词和词性标注处理(mac-result.txt)
2.对于结果只用公版的停用词表去停用词，不进行人工筛选(mac-result1.txt)
3.保留：名词，名词短语（两者为评论描述主题）
　　　　形容词，动词，动词短语（对主题的描述）以及其他可能有实意的词
   去除：副词，标点,拟声词等无实意词包括/x /zg /uj /ul /e /d /uz /y
              结果为mac-result2.txt
4.标准化处理，合并空格，去除空白字符，处理后的文档变为“词，空格，词，空格。。。。”的形式。结果为：mac-result3.txt
5.复合词合成.分词结果不准确，有专有名词等，所以提取复合词 mac-result4.txt(提取的复合词表fuheci.txt)
6.做或者不做复合词提取，每十行合并（mac-result5.txt)直接做LDA实验，抽取主题。

标题是用Python做中文自然语言预处理，我将我所用的预处理全部贴到下面：

1，分词.词性标注以及去停用词。见上一篇博客：http://www.cnblogs.com/nlp-yekai/p/3711360.html

3，做词性筛选：

#coding utf-8
import os
import sys
import re

f1=open("/home/alber/data_base/jd_content/app-mac/mac-result1.txt",‘r‘)
txt=f1.readlines()
f1.close()
txtlist=[]
cixing=["/x","/zg","/uj","/ul","/e","/d","/uz","/y"]#词列表为自己定义要过滤掉的词性
for line in txt:
    line_list2=re.split(‘[ ]‘, line)
    line_list=line_list2[:]
    for segs in line_list2:
        for K in cixing:
            if K in segs:
                line_list.remove(segs)
                break
            else:
                pass
    txtlist.extend(line_list)
f2=open("/home/alber/data_base/jd_content/app-mac/mac-result2.txt",‘a‘)
resultlist=txtlist[:]    
for v in txtlist:
    if "/" in v:
        slope=v.index("/")
        letter=v[0:slope]+" "
        f2.write(letter)
    else:
        f2.write(v)

4.标准化处理，去除空行，空白字符等。

#coding=utf-8
import os
import sys
import re
import time

f1=open("/home/alber/data_base/jd_content/app-mac/mac-result2.txt",‘r+‘)
f2=open("/home/alber/data_base/jd_content/app-mac/mac-result3.txt","a")
txt=f1.readlines()
f1.close()
list1=[]
for line in txt:
    if len(line)>=2:
        line_clean=" ".join(line.split())
        lines=line_clean+" "+"\n"
        f2.write(lines)
    else:
        pass
f2.close()

后面的以后再写吧，处理到这基本上可以导入各种模型跑起来了。


联系
我们