1 # -*- coding: UTF-8 -*-
 2 #对数据进行基本的探索
 3 #返回缺失值个数以及最大值最小值
 4 
 5 import pandas as pd
 6 
 7 datafile=‘air_data.csv‘#航空原始数据，第一行为属性标签
 8 
 9 resultfile=‘explore.xls‘#数据探索结果表
10 
11 data=http://www.mamicode.com/pd.read_csv(datafile,encoding=‘utf-8‘) #读取原始数据，指定UTF-8编码（需要用文本编辑器将数据转换为UTF-8）
12 explore=data.describe(percentiles=[],include=‘all‘).T #.T对数据进行转置，方便查阅，percentiles是指定计算多少的分位数（如1/4分位数，中位数）
13 ‘‘‘describe（）函数自动计算字段count(非空值)，unique(唯一值)，top(频数最高者)，freq(最高频数)，std(方差)，min(最小值)，
14 50%（中位数），max(最大值)‘‘‘
15 
16 explore[‘null‘]=len(data)-explore[‘count‘]  #describe()函数自动计算非空值，需要手动计算空值,每个属性空值数
17 explore=explore[[‘null‘,‘max‘,‘min‘]]
18 explore.columns=[u‘空值数‘,u‘最大值‘,u‘最小值‘]  #表头重命名
19 
20 explore.to_excel(resultfile)    #导出结果

 1 # -*- coding: UTF-8 -*-
 2 # 数据清洗，过滤掉不符合规则的数据
 3 
 4 import pandas as pd
 5 
 6 datafile = ‘air_data.csv‘  # 航空原始数据，第一行为属性标签
 7 cleanedfile = ‘data_cleaned.scv‘  # 数据清洗后保存文件
 8 
 9 data = http://www.mamicode.com/pd.read_csv(datafile, encoding=‘utf-8‘)  # 读取原始数据，指定UTF-8编码
10 data = http://www.mamicode.com/data[data[‘SUM_YR_1‘].notnull() *
11             data[‘SUM_YR_2‘].notnull()]  # 票价非空值才保留
12 
13 # 只保留票价非零的，或者平均折扣率与总飞行公里数同时为0的记录
14 index1 = data[‘SUM_YR_1‘] != 0  # 属性下面返回True或者False
15 index2 = data[‘SUM_YR_2‘] != 0
16 index3 = (data[‘SEG_KM_SUM‘] == 0) & (data[‘avg_discount‘] == 0)  # 该规则是与‘
17 
18 data = http://www.mamicode.com/data[index1 | index2 | index3]
19 
20 data.to_csv(cleanedfile, encoding=‘utf-8‘)  # 导出实验结果

 1 # -*- coding: UTF-8 -*-
 2 # 对数据进行基本的探索
 3 # 返回缺失值个数以及最大值最小值
 4 
 5 import pandas as pd
 6 
 7 datafile = ‘zscoredata.xls‘  # 航空原始数据，第一行为属性标签
 8 zscoredfile = ‘zscoreddata.xls‘  # 标准化后的数据储存路径
 9 
10 # 标准化处理
11 data =http://www.mamicode.com/ pd.read_excel(datafile)
12 data = http://www.mamicode.com/(data - data.mean(axis=0)) / (data.std(axis=0))  # 标准化变换
13 
14 data.columns = [‘Z‘ + i for i in data.columns]  # 表头重命名
15 
16 data.to_excel(zscoredfile, index=False)  # 写入数据,False不要序列

 1 #-*- coding: utf-8 -*-
 2 #K-Means聚类算法
 3 
 4 import pandas as pd
 5 from sklearn.cluster import KMeans #导入K均值聚类算法
 6 
 7 inputfile = ‘zscoreddata.xls‘ #待聚类的数据文件
 8 k = 5                       #需要进行的聚类类别数
 9 
10 #读取数据并进行聚类分析
11 data = http://www.mamicode.com/pd.read_excel(inputfile) #读取数据
12 
13 #调用k-means算法，进行聚类分析
14 if __name__==‘__main__‘:
15     kmodel = KMeans(n_clusters = k, n_jobs = 8) #n_jobs是并行数，一般等于CPU数较好
16     kmodel.fit(data) #训练模型
17 
18     kmodel.cluster_centers_ #查看聚类中心
19     kmodel.labels_ #查看各样本对应的类别