数据格式：

这里。原始特征的输入文件的格式使用libsvm的格式，即每行是label index1:value1 index2:value2这样的稀疏矩阵的格式。

sklearn中自带了非常多种特征选择的算法。

我们选用特征选择算法的根据是数据集和训练模型。

以下展示chi2的使用例。chi2，採用卡方校验的方法进行特征选择。比較适合0/1型特征和稀疏矩阵。

from sklearn.externals.joblib import Memory
from sklearn.datasets import load_svmlight_file
mem = Memory("./mycache")
@mem.cache
def get_data():
    data = http://www.mamicode.com/load_svmlight_file("labeled_fea.txt")>
sklearn中分类模型也非常多，接口统一。非常方便使用。
分类之前。能够不进行特征选择。也能够先独立进行特征选择后再做分类，还能够通过pipeline的方式让特征选择和分类集成在一起。

from sklearn.externals.joblib import Memory
from sklearn.datasets import load_svmlight_file
mem = Memory("./mycache")
@mem.cache
def get_data():
    data = http://www.mamicode.com/load_svmlight_file("labeled_fea.txt")>
 
值得注意的是，上面的程序训练和预測阶段都是在同一份程序运行。而实际应用中。训练和预測是分开的。因此，要使用python的对象序列化特征。每次训练完之后。序列化模型对象。保存模型的状态，预測时反序列化模型对象。还原模型的状态。
 
 
 
 
參考资料：
http://scikit-learn.org/stable/modules/generated/sklearn.datasets.load_svmlight_file.html
http://scikit-learn.org/stable/modules/generated/sklearn.datasets.dump_svmlight_file.html
http://scikit-learn.org/stable/modules/feature_selection.html#feature-selection
http://scikit-learn.org/stable/auto_examples/text/document_classification_20newsgroups.html#example-text-document-classification-20newsgroups-py


本文作者：linger
本文链接：http://blog.csdn.net/lingerlanlan/article/details/47960127