首页 > 代码库 > 02_使用WebMagic获取CSDN推荐专家的个人博客信息
02_使用WebMagic获取CSDN推荐专家的个人博客信息
【首先,查看一下CSDN的推荐专家的页面】
【然后再查看一下主页面】
准备用爬虫获取一下几个变量
1.姓名
2.访问量
3.积分
4.等级
5.排名
6.原创
7.转载
8.译文
9.评论
10.链接
11.照片
【工程截图】因为主要用到WebMagic,所有的jar包在WebMagic的git地址,自行下载。
【User.java】便于展示,或者后期存入数据库用
package com.cnblogs.test;public class User { private String name; //名字 private String fangwen; //访问数量 private String jifen; //积分 private String dengji; //等级 private String paiming; //排名 private String yuanchuang;//原创 private String zhuanzai; //转载 private String yiwen; //译文 private String pinglun; //评论 private String link; //链接 private String photo; //照片 @Override public String toString() { return "\n========================= \n " + " 姓名=" + name + "\n 访问量=" + fangwen + "\n 积分=" + jifen + "\n 等级=" + dengji + "\n 排名=" + paiming + "\n 原创=" + yuanchuang + "\n 转载=" + zhuanzai + "\n 译文=" + yiwen + "\n 评论=" + pinglun + "\n 链接="+ link + "\n 照片=" + photo + "\n==========================\n"; }
/*******省略get/Set方法******/}
【CSDNSpider.java】
02_使用WebMagic获取CSDN推荐专家的个人博客信息
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。