首页 > 代码库 > nodejs制作爬虫程序

nodejs制作爬虫程序

在nodejs中,可以通过不断对服务器进行请求,以及本身的fs  =》filesystem 模块和clientRequest模块对网站的资源进行怕取,目前只做到了对图片的趴取!视频文件格式各异,有的视频网站上视频可能是加密过的。无法爬取来;

‘use strict‘;
const http = require(‘http‘);
const fs = require(‘fs‘);
const path = require(‘path‘);
// 创建一个clientRequest对象
// const cr = http.get(‘http://www.baidu.com‘);
// cr.on(‘response‘, (res) => {
//     console.log(‘服务端接受到我的请求了‘);
//     console.log(res);
// })
// 需要将所有的img标签对应的src属性值提取出来
//再次发起请求,将突破保存在本地的磁盘上面;
//给定一个url,将其下载到本地磁盘;封装一个函数
//不断调用这个函数;使用正则表达式,提取所需要的字符串;
// const cr = http.get(‘http://www.dbmeinv.com/‘, (res) => {
//     let str;
//     // 注册data流事件;
//     res.on(‘data‘, (chunk) => {
//         str += chunk;
//     });
//     //注册end事件;
//     res.on(‘end‘, () => {
//         console.log(str);
//     })
// })
// const cr = http.get(‘‘);
// cr.on(‘response‘, (res) => {
//     console.log(‘服务端接受到我的请求了‘);
//     console.log(res);
//     let data = http://www.mamicode.com/‘‘;
//     res.on(‘data‘,(chunk)=>{
//         data += chunk;
//     });
//     res.on(‘end‘,()=>{
//         console.log(data);
//     })
// });

    for(let i =1;i<17;i++) {
        // let num = Math.random()*12000+
        let url =‘https://user.qzone.qq.com/812551954‘;
        // console.log(url);
        down(url);
    }
    function down(url){
        http.get(url,(res)=>{
            let data = ‘‘;
            res.on(‘data‘,(chunk)=>{
                data += chunk;
            });
            res.on(‘end‘,()=>{
                //文件
                let regexp = /src="http://www.mamicode.com/(http://[0-9a-zA-Z./]+jpg)"/g;
                let arr = [];
                let temp;
                while((temp=regexp.exec(data))!=null){
                    arr.push(temp[1]);
                }
                // console.log(arr);
                arr.forEach((item)=>{
                    download(item);
                })
            })
        });
    }


//用正则表达式去匹配对应的图片资源;

// 首先编写函数下载单张图片
// 目标地址
// 获取目标页面的所有内容; 包括html等;
function download(url) {
    // let url = "http://ww2.sinaimg.cn/large/0060lm7Tgy1fe69ac1v44j30dw0k3gof.jpg"
    //创建一个clientRequest对象,向服务器发送请求;
    http.get(url, (res) => {
        res.setEncoding(‘binary‘);
        let data = ‘‘;
        //数据开始传输事件;
        res.on(‘data‘, (chunk) => {
            data += chunk;
        });
        //数据传输结束的时候,将其接受
        res.on(‘end‘, () => {
            let pic = path.basename(url);
            //此时图片的内容已经在data中了;
            //图片存储的路径
            let file = path.join(‘pic‘, pic);
            fs.writeFile(file, data, ‘binary‘, (err) => {
                if (err) throw err;
                console.log(`图片${pic}下载成功`);
            })
        })
    })
}

 

nodejs制作爬虫程序