首页 > 代码库 > Python的数据处理学习(二)

Python的数据处理学习(二)

2024-08-10 12:42:51   219人阅读

本文参考Paul Barry所著的《Head First Python》一书,参考代码均可由http://python.itcarlow.ie/站点下载。本文若有任何谬误希望不吝赐教~

二. 代码模块
 
1. 准备学习
 
(1)数据读取
with open(james.txt) as jaf: #打开文件
    data = http://www.mamicode.com/jaf.readline() #读数据行
 james =data.strip().split(‘,‘) #将数据转换为列表
 
说明：data.strip().split(‘,‘)叫做方法串链，strip()应用到data中的数据行，去除字符串中所有的空白符，处理后的结果由第二个方法split(‘,‘)处理，split(‘,‘)表示将结果以,形式分割开，返回列表。
 
(2)数据清理
定义函数sanitize()，将各个选手成绩的列表格式统一为mins.secs格式
def sanitize(time_string):
    if ‘-‘ in time_string:
        splitter = ‘-‘
    if ‘:‘ in time_string:
        splitter = ‘:‘
    else:
        return(time_string)
(mins,secs) = time_string.split(splitter)
return(mins + ‘.‘ + secs)
 
说明：split是内置函数，表示字符串的分解
 
(3) 转换列表---推导列表
分别举例普通列表转换方法与利用推导列表的方式：
clean_mikey = [] #列表创建
for each_t in mikey: #迭代
    clean_mikey.append(sanitize(each_t)) #转换与追加
等价于
clean_mikey = [sanitize(each_t) for each_t in mikey]
 
说明：sanitize()为自定义的一个数据清理函数,内置函数sorted是对整个列表排序
 
(4) 删除重复数据--not in
列表操作方法：
unique_james = []
for each_t in james:
    if each_t not in unique_james:
        unique_james.append(each_t)
集合操作方法：(python集合突出特点，就是集合中数据项的无序性，且不允许重复)
示例： 
distances = set(james)
 
(5)“分片”，访问列表中多个列表项
print(sorted(set([sanitize(t)] for t in james]))[0:3])
 
(6)将多个重复代码改为函数
def get_coach_data(filename):
    try:
        with open(filename) as af:
            return(data.strip().split(‘,‘))
    except IOError as ioerr:
        print(‘File error:‘ + str(ioerr))
        return(None)
 
2. 定制数据对象
 
(1)新数据格式,James2.txt,Julie2.txt,Mikey2.txt,Sarah2.txt，文件分别打开如下：(全名, 出生日期, 训练成绩)
James Lee,2002-3-14,2-34,3:21,2.34,2.45,3.01,2:01,2:01,3:10,2-22,2-01,2.01,2:16
Julie Jones,2002-8-17,2.59,2.11,2:11,2:23,3-10,2-23,3:10,3.21,3-21,3.01,3.02,2:59
Sarah Sweeney,2002-6-17,2:58,2.58,2:39,2-25,2-55,2:54,2.18,2:55,2:55,2:22,2-21,2.22
Mikey McManus,2002-2-24,2:22,3.01,3:01,3.02,3:02,3.02,3:22,2.49,2:38,2:40,2.22,2-31
 
(2)数据抽取：(以Sarah为例)
Sarah = get_coach_data(‘sarah2.txt‘)
(sarah_name,sarah_dob) = sarah.pop(0),sarah.pop(0)
pop(0)调用将删除并返回列表最前面的数据项，并赋值给指定变量姓名和出生日期
 
(3)使用字典关联数据，字典是一种内置的数据结构，允许将数据和键而不是数字关联，这样可以使内存中的数据与实际数据的结构保持一致。
比如，键                   关联的数据
        Name     ——> Sarah Sweeney
        DOB      ——> 2002-6-17
        Times    ——> 2:58,2.58,2:39,2-25,2-55,2:54,2.18,2:55,2:55,2:22,2-21,2.22
创建字典的方式：
          大括号创建：cleese = {}
          工厂函数：   palin = dict()
增加数据两种方式：
          cleese[‘Name‘] = ‘John Cleese‘
          palin = {‘Name‘: ‘Michael Palin‘}
 
(4)应用：
        sarah_data = http://www.mamicode.com/{}
        sarah_data[‘Name‘] = sarah.pop(0)
        sarah_data[‘DOB‘] = sarah.pop(0)
        sarah_data[‘Times‘] = sarah
        print(sarah_data[‘Name‘ + "‘s fastest times are: " + str(sorted(set[sanitize(t) for t in sarah_data[‘Times‘]]))[0:3]))
 
(5)一次性完成字典的创建，并返回字典
def get_coach_data(filename):
    try:
        with open(filename) as f:
            data = http://www.mamicode.com/f.readline()
        templ = data.strip().split(‘,‘)
        return({‘Name‘:templ.pop(0),
                    ‘DOB‘:templ.pop(0),
                     ‘Times‘:str(sorted(set([sanitize(t) for t in templ]))[0:3])})
    except IOError as ioerr:
        print(‘File error:‘ + str(ioerr))
        return(None)
 
(6)将代码及其数据打包在类中
class Athlete:
    def __init__(self,a_name,a_dob,a_times=[]):
        self.name = a_name
        self.dob=a_dob
        self.times=a_times
   
   def top3(self):
       return(sorted(set([sanitize(t) for t in self.times]))[0:3])
   
   def get_coach_data(filename):
       try:
        with open(filename) as f:
            data = http://www.mamicode.com/f.readline()
        templ = data.strip().split(‘,‘)
        return(Athlete(templ.pop(0),templ.pop(0),templ)
     except IOError as ioerr:
        print(‘File error:‘ + str(ioerr))
        return(None)
 
(7)类调用与结果输出
james = get_coach_data(‘james2.txt‘)
结果输出:
James Lee‘s fastest times are: [‘2.01‘,‘2.16‘,‘2.22‘]
 
下一节课讲类的继承

Python的数据处理学习(二)


联系
我们