首页 > 代码库 > 优酷电视剧爬虫代码实现一:下载解析视频网站页面(2)
优酷电视剧爬虫代码实现一:下载解析视频网站页面(2)
1.新建一个电视剧爬虫入口类StartDSJCount。如果后期还需要综艺或者电影,也可以仿照再新建综艺或电影爬虫入口类。
package com.dajiangtai.djt_spider.start;
import com.dajiangtai.djt_spider.entity.Page;
import com.dajiangtai.djt_spider.service.IDownLoadService;
import com.dajiangtai.djt_spider.service.impl.HttpClientDownLoadService;
/**
* 电视剧爬虫入口类
* @author Administrator
* 1.在StartDSJCount 中定义页面下载接口downLoadService
2.需要对它get/set,这样在StartDSJCount实例化后,可以设置属性downLoadService,这个接口需要实例化,因此,使用set方式对接口进行实例化。
3.添加public Page downloadPage(String url)方法,调用接口this.downLoadService.download(url)方法
4.main方法中进行测试。
*/
public class StartDSJCount {
//页面下载接口
private IDownLoadService downLoadService;
public static void main(String[] args) {
StartDSJCount dsj = new StartDSJCount();
dsj.setDownLoadService(new HttpClientDownLoadService());
String url = "http://list.youku.com/show/id_z9cd2277647d311e5b692.html?spm=a2h0j.8191423.sMain.5~5~A!2.iCUyO9";
//下载页面
Page page = dsj.downloadPage(url);
System.out.println(page.getContent());
}
//下载页面方法
public Page downloadPage(String url){
return this.downLoadService.download(url);
}
public IDownLoadService getDownLoadService() {
return downLoadService;
}
public void setDownLoadService(IDownLoadService downLoadService) {
this.downLoadService = downLoadService;
}
}
测试结果:
2.定义解析接口IProcessService。这里是以优酷为例,不同的视频网站有不同的页面格式,因此,解析方式也不同。所以,需要实现一个解析接口。
package com.dajiangtai.djt_spider.service;
import com.dajiangtai.djt_spider.entity.Page;
/**
* 页面解析接口
* @author Administrator
*
*/
public interface IProcessService {
public void process(Page page);
}
优酷电视剧爬虫代码实现一:下载解析视频网站页面(2)