首页 > 代码库 > js爬虫心得
js爬虫心得
第一步:分析要爬的网站:包括是否需要登陆、点击下一页的网址变化、下拉刷新的网址变化等等
第二步:根据第一步的分析,想好爬这个网站的思路
第三步:爬好所需的内容 保存
爬虫过程中用到的一些包:
(1)const request = require(‘superagent‘); // 处理get post put delete head 请求 轻量接http请求库,模仿浏览器登陆
(2)const cheerio = require(‘cheerio‘); // 加载html
(3)const fs = require(‘fs‘); // 加载文件系统模块 将数据存到一个文件中的时候会用到
fs.writeFile(‘saveFiles/zybl.txt‘, content, (error1) => { // 将文件存起来 文件路径 要存的内容 错误
if (error1) throw error1;
// console.log(‘ text save ‘);
});
(4)const fs = require(‘graceful-fs‘); // 将文件存为xlse
const writeStream = fs.createWriteStream(‘saveFiles/trader.xlsx‘); //新建xlsx文件
writeStream.write(title);//像slsx里面写入内容
(5)const Promise = require(‘bluebird‘); //异步处理
(6)const Nightmare = require(‘nightmare‘);//一个高层次的浏览器自动化图书馆 先要安装phantomjs 然后在装nightmare
(7)const co = require(‘co‘);
爬虫的相关思路:
(1)获取首页面的所需内容
(2)在首页面的所有内容里面获取所需内容的链接
(3)将(2)里面的链接存到一个list里面去
(3)新写一个function,采用.pop()方法,用来取通过链接得到的新的内容
(4)判断list.length是否大于0,
(5)如果不是,开始爬子页面 并且调用该方法
(6)如果list的长度为0,就说明这一页爬完了,开始下一页,则将url改变
(7)重复(2)(3)(4)(5)(6)直至所有页面爬完
js爬虫心得
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。