首页 > 代码库 > 使用htmlparse爬虫技术爬取电影网页的全部下载链接
使用htmlparse爬虫技术爬取电影网页的全部下载链接
昨天，我们利用webcollector爬虫技术爬取了网易云音乐17万多首歌曲，而且还包括付费的在内，如果时间允许的话，可以获取更多的音乐下来，当然，也有小伙伴留言说这样会降低国人的知识产权保护意识，诚然，我们的重点在于如何灵活运用我们已学的技术，这就需要我们不断的练习，不停的思索和深入发掘，在了解了精髓和意义之后运用到实践中才是技术的最高境界。
今天呢，本着昨天的兴趣，想来爬一爬电影资源，中途为了找一个好用趁手的工具，也是费了不少心思，早上半天基本上都在学习和找资料的过程中度过，下午开始才进入状态，那么， 今天我们就来利用htmlparse爬取电影网页中的全部电影下载链接。
我们先来认识一下htmlparse:
HTMLParser具有小巧，快速的优点，缺点是相关文档比较少（英文的也少），很多功能需要自己摸索。对于初学者还是要费一些功夫的，而一旦上手以后，会发现HTMLParser的结构设计很巧妙，非常实用，基本你的各种需求都可以满足。
TMLParser的核心模块是org.htmlparser.Parser类，这个类实际完成了对于HTML页面的分析工作。这个类有下面几个构造函数：
- public Parser ();
- public Parser (Lexer lexer, ParserFeedback fb);
- public Parser (URLConnection connection, ParserFeedback fb) throws ParserException;
- public Parser (String resource, ParserFeedback feedback) throws ParserException;
- public Parser (String resource) throws ParserException;public Parser (Lexer lexer);
- public Parser (URLConnection connection) throws ParserException;
- public static Parser createParser (String html, String charset);
对于大多数使用者来说，使用最多的是通过一个URLConnection或者一个保存有网页内容的字符串来初始化Parser，或者使用静态函数来生成一个Parser对象。ParserFeedback的代码很简单，是针对调试和跟踪分析过程的，一般不需要改变.
这里比较有趣的一点是，如果需要设置页面的编码方式的话，不使用Lexer就只有静态函数一个方法了。对于大多数中文页面来说，好像这是应该用得比较多的一个方法。
1、前期准备，下载htmlparse压缩包并配置到eclipse上，到下面网址可以下载
http://htmlparser.sourceforge.net/，解压后如下图所示
2、网页的分析与根据网页源码使用htmlparse
1、这里先分析与获取一个电影介绍页面的内容
我们现在先来获取一个页面的下载链接
/** * 获取一个页面的下载链接 */ public static String getMoiveDownloadUrl(String moiveIntroUrl) { // 页面下载连接保存在这里 String moiveDownLoadUrl = ""; try { // 首先根据页面URL建立一个Parser. Parser parser = new Parser(moiveIntroUrl); // 使用parser中extractAllNodesThatMatch方法，这个有许多的过滤器，可以帮助我们过滤出我们想要的内容,具体可以看api的介绍 // 这里我们使用链接文本过滤器，可以过滤出链接里面含ftp的内容，这样就可以取出我们想要的链接 NodeList nodelist = parser.extractAllNodesThatMatch(new LinkStringFilter("ftp")); for (int i = 0; i < nodelist.size(); i++) { LinkTag tag = (LinkTag) nodelist.elementAt(i); moiveDownLoadUrl = tag.getLink(); } } catch (ParserException e) { e.printStackTrace(); } return moiveDownLoadUrl; }
2、获取一个分页里的所有电影介绍页面
/** * * 获取一个分页里的所有电影介绍页面 */ public static List getAllMoiveUrlFromOneList(String pageListUrl) { // 将链接地址以集合的形式返回出去 List<String> allMoiveUrl = new ArrayList<String>(); try { Parser parser = new Parser(pageListUrl); // 这里我们使用属性过滤器，可以帮助我们过滤一些属性特殊或者属性里面值唯一的标签 NodeList nodelist = parser.extractAllNodesThatMatch(new HasAttributeFilter("class", "ulink")); for (int i = 0; i < nodelist.size(); i++) { LinkTag tag = (LinkTag) nodelist.elementAt(i); // 将取出的分页链接拼接一下，放入到集合中来。 allMoiveUrl.add("http://www.ygdy8.net" + tag.getLink()); } } catch (ParserException e) { e.printStackTrace(); } return allMoiveUrl; }
3、获取电影网里面的所有分页
/** *获取电影网里面的所有的分页 */ public static List getAllPage() { // 将链接地址以集合的形式返回出去 List<String> allPage = new ArrayList<String>(); try { Parser parser = new Parser("http://www.ygdy8.net/html/gndy/jddy/index.html"); //http://www.ygdy8.net/html/gndy/jddy/index.html NodeList nodelist = parser.extractAllNodesThatMatch(new TagNameFilter("option")) .extractAllNodesThatMatch(new HasAttributeFilter("value")); for (int i = 0; i < nodelist.size(); i++) { OptionTag tag = (OptionTag) nodelist.elementAt(i); if (tag.getAttribute("value").contains("list")) { allPage.add("http://www.ygdy8.net/html/gndy/jddy/" + tag.getAttribute("value")); } } } catch (ParserException e) { e.printStackTrace(); } return allPage; }
OK。至此，我们就可以得到全部分页的链接，各个电影介绍页面的链接，介绍页面里的下载链接。接下来我们要做的就是将这三个方法整合起来，获得全部电影的下载链接。
/** * * 功能：保存数据到文件中 * @param content 要保存的内容 * @param fileName 目标文件名（路径） * */ public static boolean writeContentToFileTwo(String content, String fileName) { boolean flag = false; try { PrintWriter pw = new PrintWriter(new OutputStreamWriter(new FileOutputStream(fileName, true))); pw.println(); pw.print(content); pw.flush(); pw.close(); flag = true; } catch (FileNotFoundException e) { e.printStackTrace(); flag = false; } return flag; } public static List getAllMoive() { List<String> movieList = new ArrayList<String>(); // 得到全部的分页链接 List<String> allPage = getAllPage(); for (Iterator iterator = allPage.iterator(); iterator.hasNext();) { String pageListUrl = (String) iterator.next(); List<String> allMoiveUrl = getAllMoiveUrlFromOneList(pageListUrl); for (Iterator iterator2 = allMoiveUrl.iterator(); iterator2.hasNext();) { String moiveIntroUrl = (String) iterator2.next(); String moiveDownLoadUrl = getMoiveDownloadUrl(moiveIntroUrl); writeContentToFileTwo(moiveDownLoadUrl, "a.txt"); movieList.add(moiveDownLoadUrl); } } return movieList; } public static void main(String[] args) { getAllMoive(); }
效果如下图所示：
好啦，大功告成啦！是不是很简答呢。
其实这个工具的使用是不复杂的，流程也很清晰，问题的关键在于如何在一个庞大的html页面中获取你想要的内容，可以多一点查看各种的节点过滤器，它可以帮助我们选出我们想要的内容，每次在爬取网页之前我们都要花大量时间去分析一个网页，找到我们想要的内容，不能多也不能少，这我觉得才是爬虫的使用的重点。
如果您对本文有什么异议或者发现有什么问题，欢迎留言，发表您的看法和观点。
附上项目源码和全部电影下载链接的excel：https://git.oschina.net/AuSiang/myBug/attach_files
使用htmlparse爬虫技术爬取电影网页的全部下载链接