Pandas在处理千万行级别的数据中有非常高的实用价值，通过将文本数据读取加载到内存中，在利用Pandas进行数据处理运算，效率非常高。（Excel表适合处理几十万行级别的数据，Pandas则适用于处理千万级别的数据）。

一般情况下千万级别的数据动辄在几个GB以上，因此建议电脑内存在16GB以上为佳。python在处理超过内存能力的大数据时，虽说程序不会中断，但对运行效率影响很大。

在Pandas数据读取和处理中一下代码为常用代码：

import pandas as pd  ‘必选，加载pandas
import numpy as np  ‘通常必选，如产生随机数
import gc  ‘可选，用于内存管理
import time  ‘可选，如用于计时

reader = pd.read_table(‘文件名.txt‘,header=None,sep=‘|‘,index_col=0)  ‘加载文件到内存，加载的方式可以通过参数进行灵活控制
reader.value_counts([列ID号]).to_csv(‘文件名.csv‘)  ‘类似于excel中的countif，运行效率比excel高出非常多！
reader.([列ID号]).sum()  ‘对不同的列进行统计分析

reader.drop_duplicates([列ID号]).to_csv(‘文件名.csv‘)  ‘将除重后的数据存入单独文件里 

reader.sort([列ID号], ascending=False,其他条件...)  ‘按某列值对数据进行排序

reader.loc(reader[列ID号] ==/!=/> ‘条件值‘, 其他条件...)

此外，除简单统计外，Pandas还提供如下统计计算：

Pandas读取文本