首页 > 代码库 > 02_使用WebMagic获取CSDN推荐专家的个人博客信息

02_使用WebMagic获取CSDN推荐专家的个人博客信息

【首先,查看一下CSDN的推荐专家的页面】

技术分享

【然后再查看一下主页面】

技术分享

准备用爬虫获取一下几个变量

1.姓名

2.访问量

3.积分

4.等级

5.排名

6.原创

7.转载

8.译文

9.评论

10.链接

11.照片

 

【工程截图】因为主要用到WebMagic,所有的jar包在WebMagic的git地址,自行下载。

技术分享

 

【User.java】便于展示,或者后期存入数据库用

package com.cnblogs.test;public class User {    private String name;  //名字    private String fangwen; //访问数量    private String jifen;  //积分    private String dengji; //等级    private String paiming; //排名    private String yuanchuang;//原创    private String zhuanzai;  //转载    private String yiwen;    //译文    private String pinglun;   //评论    private String link;  //链接    private String photo;  //照片          @Override    public String toString() {        return "\n========================= \n "                + " 姓名=" + name                 + "\n 访问量=" + fangwen                 + "\n 积分=" + jifen                 + "\n 等级=" + dengji                 + "\n 排名=" + paiming                + "\n 原创=" + yuanchuang                 + "\n 转载=" + zhuanzai                + "\n 译文=" + yiwen                 + "\n 评论=" + pinglun                 + "\n 链接="+ link                 + "\n 照片=" + photo                 + "\n==========================\n";    }
/*******省略get/Set方法******/}

【CSDNSpider.java】

 

02_使用WebMagic获取CSDN推荐专家的个人博客信息