“两会”新闻分析框架已经完成两个多月了，一直没时间总结，这几天看了一下项目，发现很多东西都忘掉了，趁现在还记得一点东西，先写下部分内容，因为公司网络限制，不能贴代码和图片......

编程语言：

    本项目中今日头条部分主要使用Python3，微博和微信爬虫主要使用Java。

相关技术：

    今日头条部分直接请求search的API，返回的数据格式为JSON，获取头条search的数据主要流程如下：

    打开Chrom控制台-->选择Network-->进入头条，搜索内容-->在Network中寻找相关的url-->获取URL中的Header中的URL，然后使用的时候重新拼接URL。

    另外对于部分内容，直接使用Selenium模拟浏览器，直接抓去内容加载完毕后的html节点，这样做的好处是可以抓取任何内容，缺点是效率很低。

数据分析：

    数据分析采用了编辑距离、奇异值分解、k-means、向量积、半监督学习等技术。

编辑距离：

    编辑距离算法主要用来计算两个字符串之间的相似性。两个字符串A和B，通过增加、删除、修改其中的字符串，将A字符串变为B字符串，如果需要n操作，那么编辑距离为n。

奇异值分解：

    首先感谢朱红军老师提供的思路和资料，这部分主要因为关键词太多，难以直接聚类分析，首先需要去掉一部分无关的数据。主要是将数据构建为一个原始矩阵k（大小m x n），得到<Key, Value1, Value2, ...>的List数据，key为关键词，value为每条新闻中出现的次数，列名为新闻ID。然后将矩阵k分为u,sigma,v三个矩阵。其中u矩阵大小为m x m；sigma矩阵为 m x n的矩阵，只有对角线有值； v 矩阵为 n x n的矩阵，通过sigma矩阵可以判断哪些关键词出现的频率最高，哪些出现的频率最低，将出现频率低的去掉，可以实现第一次降噪，输出<Key, Value1，Value2。。。>格式的List。

    另外可以对数据进行多次奇异值分解，但是结果有点复杂难以做下一步的分析。

    奇异值分解：http://www.cnblogs.com/bincoding/p/6922718.html

聚类分析：

    这部分主要使用到网上的代码，通过奇异值分解之后的数据，可以确定每条新闻出现的每个关键词的次数。如果某两个关键词多次在一条新闻中出现，那么可以判断这两个关键词大概率相似，可以分为一类，比如“习大大"多次和"主席"出现在同一条新闻中，还有”去产能“多次和"煤矿"“钢铁”一起出现。数据量越大，结果越精确。

向量积：

    这一部分主要原理是：通过判断每句话中词语出现的顺序和次数，来判断两句话是否相似。这部分算法主要采用网上的开源框架，但是因为时间关系并没有完全实现，只做一个简单的了解。

半监督学习：

    通过向量积来判断两个值是否相等，结果可能并不正确，这个时候可以人为修正结果，对结果分类进行修改，数据量越大越准确。这部分队友使用Django框架实现，只做了解。

代码和数据： https://github.com/haibincoder/ToutiaoCrawler  奇异值分解和k-means算法在svd目录

头条数据挖掘总结