首页 > 代码库 > 美女图片小爬虫,嘿嘿

美女图片小爬虫,嘿嘿

/** * Created by Administrator on 2016/9/22 0022. *///依赖的模块var http=require(‘http‘);var fs=require(‘fs‘);var cheerio=require(‘cheerio‘);var request=require(‘request‘);var iconv = require(‘iconv-lite‘);var setParams={    initUrl:‘http://www.mm131.com/xinggan/2663.html‘,//初始化网页请求地址    maxNum:10,//设置最大爬取数量    intervalTime:800,//设置间隔时间    index:0,//从0开始标记爬取的数量    nextTimeInitUrl:‘‘,//保存下次爬取图片时需要初始化的网页地址    logs:‘‘//把日志保存起来,下次手动改initUrl为日志里的地址};function getSexyPics(initUrl) {    var resData=http://www.mamicode.com/‘‘;"错误:" + e.message);    });    function saveLogs(logs){        fs.exists(‘./logs‘, function (exists) {            if (!exists) {                fs.mkdir(‘./logs‘);            }            fs.writeFile(‘./logs/‘+‘日志‘+‘.txt‘,logs,‘utf-8‘,function(err){                if(err)console.log(err);            })        });    }    function downloadImg($,imgTil,idx){        var imgUrl=‘‘;        $(‘.content-pic a img‘).each(function () {            imgUrl=encodeURI($(this).attr(‘src‘));//获取图片的地址            var suffix=imgUrl.substring(imgUrl.lastIndexOf(‘.‘));//获取图片后缀名            console.log(‘第‘+idx+‘张图片---‘+imgTil+‘---‘+imgUrl);            fs.exists(‘./img‘, function (exists) {                if (!exists) {                    fs.mkdir(‘./img‘);                }                request(imgUrl).pipe(fs.createWriteStream(‘./img/‘+imgTil+suffix));            });        });    }}getSexyPics(setParams.initUrl);

技术分享

觉得好用的给个赞,技术分享...

美女图片小爬虫,嘿嘿