首页 > 代码库 > js爬虫心得

js爬虫心得

第一步:分析要爬的网站:包括是否需要登陆、点击下一页的网址变化、下拉刷新的网址变化等等
第二步:根据第一步的分析,想好爬这个网站的思路
第三步:爬好所需的内容 保存

爬虫过程中用到的一些包:

(1)const request =  require(‘superagent‘); // 处理get post put delete head 请求  轻量接http请求库,模仿浏览器登陆

(2)const cheerio = require(‘cheerio‘); // 加载html
(3)const fs = require(‘fs‘); // 加载文件系统模块 将数据存到一个文件中的时候会用到

fs.writeFile(‘saveFiles/zybl.txt‘, content, (error1) => { // 将文件存起来 文件路径 要存的内容 错误
if (error1) throw error1;
// console.log(‘ text save ‘);
});

(4)const fs = require(‘graceful-fs‘); // 将文件存为xlse

const writeStream = fs.createWriteStream(‘saveFiles/trader.xlsx‘); //新建xlsx文件

writeStream.write(title);//像slsx里面写入内容

(5)const Promise = require(‘bluebird‘); //异步处理

(6)const Nightmare = require(‘nightmare‘);//一个高层次的浏览器自动化图书馆 先要安装phantomjs 然后在装nightmare

(7)const co = require(‘co‘);

爬虫的相关思路:

(1)获取首页面的所需内容
(2)在首页面的所有内容里面获取所需内容的链接
(3)将(2)里面的链接存到一个list里面去
(3)新写一个function,采用.pop()方法,用来取通过链接得到的新的内容
(4)判断list.length是否大于0,
(5)如果不是,开始爬子页面 并且调用该方法
(6)如果list的长度为0,就说明这一页爬完了,开始下一页,则将url改变
(7)重复(2)(3)(4)(5)(6)直至所有页面爬完

js爬虫心得