首页 > 代码库 > nodejs制作爬虫程序
nodejs制作爬虫程序
在nodejs中,可以通过不断对服务器进行请求,以及本身的fs =》filesystem 模块和clientRequest模块对网站的资源进行怕取,目前只做到了对图片的趴取!视频文件格式各异,有的视频网站上视频可能是加密过的。无法爬取来;
‘use strict‘; const http = require(‘http‘); const fs = require(‘fs‘); const path = require(‘path‘); // 创建一个clientRequest对象 // const cr = http.get(‘http://www.baidu.com‘); // cr.on(‘response‘, (res) => { // console.log(‘服务端接受到我的请求了‘); // console.log(res); // }) // 需要将所有的img标签对应的src属性值提取出来 //再次发起请求,将突破保存在本地的磁盘上面; //给定一个url,将其下载到本地磁盘;封装一个函数 //不断调用这个函数;使用正则表达式,提取所需要的字符串; // const cr = http.get(‘http://www.dbmeinv.com/‘, (res) => { // let str; // // 注册data流事件; // res.on(‘data‘, (chunk) => { // str += chunk; // }); // //注册end事件; // res.on(‘end‘, () => { // console.log(str); // }) // }) // const cr = http.get(‘‘); // cr.on(‘response‘, (res) => { // console.log(‘服务端接受到我的请求了‘); // console.log(res); // let data = http://www.mamicode.com/‘‘; // res.on(‘data‘,(chunk)=>{ // data += chunk; // }); // res.on(‘end‘,()=>{ // console.log(data); // }) // }); for(let i =1;i<17;i++) { // let num = Math.random()*12000+ let url =‘https://user.qzone.qq.com/812551954‘; // console.log(url); down(url); } function down(url){ http.get(url,(res)=>{ let data = ‘‘; res.on(‘data‘,(chunk)=>{ data += chunk; }); res.on(‘end‘,()=>{ //文件 let regexp = /src="http://www.mamicode.com/(http://[0-9a-zA-Z./]+jpg)"/g; let arr = []; let temp; while((temp=regexp.exec(data))!=null){ arr.push(temp[1]); } // console.log(arr); arr.forEach((item)=>{ download(item); }) }) }); } //用正则表达式去匹配对应的图片资源; // 首先编写函数下载单张图片 // 目标地址 // 获取目标页面的所有内容; 包括html等; function download(url) { // let url = "http://ww2.sinaimg.cn/large/0060lm7Tgy1fe69ac1v44j30dw0k3gof.jpg" //创建一个clientRequest对象,向服务器发送请求; http.get(url, (res) => { res.setEncoding(‘binary‘); let data = ‘‘; //数据开始传输事件; res.on(‘data‘, (chunk) => { data += chunk; }); //数据传输结束的时候,将其接受 res.on(‘end‘, () => { let pic = path.basename(url); //此时图片的内容已经在data中了; //图片存储的路径 let file = path.join(‘pic‘, pic); fs.writeFile(file, data, ‘binary‘, (err) => { if (err) throw err; console.log(`图片${pic}下载成功`); }) }) }) }
nodejs制作爬虫程序
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。