首页 > 代码库 > HttpClient + Jsoup模拟登录教务处并获取课表
HttpClient + Jsoup模拟登录教务处并获取课表
1、概述
最近想做一个校园助手类的APP，由于第一次做，所以打算先把每个功能单独实现，防止乱了阵脚。利用教务处登录获取课表和成绩等是一个基本功能，所以以获取课表为例实现了这个功能。完整代码点这里，尝试了好几次的，所以写的比较乱。
2、涉及的关键知识
首先，明确获取课表的流程：其实，获取课表就是让手机模拟浏览器，给服务器传去账号、密码，然后服务器会返回cookies（不懂自行百度），利用cookie就可以穿梭自如了，比如查课表。但是，浏览器登录时，返回的html文件浏览器是会自动解析成网页展现在我们面前的，但是APP就不行了，所以需要我们自己从html字符流中解析出我们需要的信息。就我自己的情况来看，模拟登录花了不少时间（这方面很不熟），解析html很快就解决了（可能是之前实践偶解析JSON）。
这样一个APP主要涉及到3个重要知识点：
1、如何模拟登录：java有自己的HttpURLConnection，但是不够灵活，所以用 appache的HttpClient更方便
2、如何解析HTML：网上查一下，Jsoup很合适。
3、AsyncTask：显然获取网页并解析是不能再主线程进行的，所以需要使用异步任务。
4、回调函数：这个不是必须的，但是我为了降低程序耦合度把网络请求那部分单独成了一个类，这时候更新主UI就需要利用回调函数了，之后细说。
3、模拟登陆（以窝工UPR为例）
1、解析教务处登录界面，看到一些教程用的还是HttpWatch，确实过时了，显然直接Google浏览器F12就行了。如下图，选择Network
点一下登录，就可以看到一大堆信息，我们需要的是第一个：
点击就可以看到详细信息了：
重要的有两个，Cookie，拿到这个我们才能导出去访问，Form Data就是模拟登录时要提交（POST）的表单数据；
4、HTML解析
利用上一步模拟登录拿到的Cookie就可以去获取课表了，同理，需要解析网页，如下，点击我的课表
可以看到一大堆信息，找到需要的
这个Response就是会返回我们的字符流，我们需要的就是解析它，设计到Jsoup的详细使用就不细说了，自己也是今天才接触，
总之借助以上两步就可以写出主要类Login.java的代码了，如下：
1 package com.example.upr.net; 2 3 import java.io.BufferedReader; 4 import java.io.IOException; 5 import java.io.InputStream; 6 import java.io.InputStreamReader; 7 import java.io.UnsupportedEncodingException; 8 import java.util.ArrayList; 9 import java.util.List; 10 11 import org.apache.http.HttpEntity; 12 import org.apache.http.HttpResponse; 13 import org.apache.http.NameValuePair; 14 import org.apache.http.client.ClientProtocolException; 15 import org.apache.http.client.HttpClient; 16 import org.apache.http.client.entity.UrlEncodedFormEntity; 17 import org.apache.http.client.methods.HttpGet; 18 import org.apache.http.client.methods.HttpPost; 19 import org.apache.http.cookie.Cookie; 20 import org.apache.http.impl.client.AbstractHttpClient; 21 import org.apache.http.impl.client.DefaultHttpClient; 22 import org.apache.http.message.BasicNameValuePair; 23 import org.jsoup.Jsoup; 24 import org.jsoup.nodes.Document; 25 import org.jsoup.nodes.Element; 26 import org.jsoup.select.Elements; 27 28 import com.example.upr.CompleteListener; 29 30 import android.R.integer; 31 import android.os.AsyncTask; 32 import android.provider.ContactsContract.Contacts.Data; 33 import android.util.Log; 34 import android.widget.Toast; 35 36 public class Login extends AsyncTask<Void, Void, String[][]>{ 37 38 private String zjh; 39 private String mm; 40 private String webPage; 41 private String [][] kebiao = new String[15][8]; 42 private CompleteListener listener; 43 public Login(String account, String password, CompleteListener listener) { 44 zjh = account; 45 mm = password; 46 47 this.listener = listener; 48 } 49 @Override 50 protected String[][] doInBackground(Void... arg0) { 51 List<NameValuePair> list = new ArrayList<NameValuePair>(); 52 list.add(new BasicNameValuePair("zjh", zjh)); 53 list.add(new BasicNameValuePair("mm", mm));//表单信息 54 String encode = "gb2312";//编码格式，从F12工具中可以找到 55 HttpClient httpClient = new DefaultHttpClient(); 56 List<Cookie> cookies; 57 try { 58 HttpEntity entity = new UrlEncodedFormEntity(list ,encode);//封装数据 59 HttpPost post = new HttpPost(com.example.upr.Constant.LOGIN_URL);//建立POST请求 60 post.setEntity(entity); 61 HttpResponse httpResponse = httpClient.execute(post); 62 String data, result; 63 if (httpResponse.getStatusLine().getStatusCode() == 200) {//登录成功 64 cookies = ((AbstractHttpClient) httpClient).getCookieStore().getCookies();//获取Cookie 65 HttpGet httpGet = new HttpGet("http://zhjw.dlut.edu.cn/xkAction.do?actionType=6"); 66 httpGet.setHeader("Cookie", "JSESSIONID="+ cookies.get(0).getValue()+";"+ 67 "NSC_kjbpxv-iuuq="+cookies.get(1).getValue());//注意分号 68 httpResponse = new DefaultHttpClient().execute(httpGet); 69 70 StringBuffer sb = new StringBuffer(); 71 entity = httpResponse.getEntity(); 72 InputStream inputStream = entity.getContent(); 73 BufferedReader br = new BufferedReader(new InputStreamReader(inputStream, encode)); 74 while ((data = http://www.mamicode.com/br.readLine()) != null) { 75 sb.append(data); //读取返回的网页 76 } 77 result = sb.toString(); 78 webPage = result; 79 80 } else { 81 return null; 82 } 83 } catch (UnsupportedEncodingException e) { 84 e.printStackTrace(); 85 return null; 86 } catch (ClientProtocolException e) { 87 // TODO Auto-generated catch block 88 e.printStackTrace(); 89 return null; 90 } catch (IOException e) { 91 // TODO Auto-generated catch block 92 e.printStackTrace(); 93 return null; 94 } 95 96 Document document = Jsoup.parse(webPage); 97 if (document != null) { 98 Element element = document.getElementById("user");//通过id直接定位到数据 99 Elements trElements = element.select("tr");100 //以下是提取课表信息，每个网站不同，一下代码要解析的html放在最下面了101 for (int i = 0; i < trElements.size(); i++) {102 Elements tdElements = trElements.get(i).select("td");103 for (int j = 0; j < tdElements.size(); j++) {104 String text = tdElements.get(j).text();105 if (tdElements.size() == 1) {106 continue;107 } else if (tdElements.size()==9) {108 if (j != 0) {109 kebiao[i][j-1] = text;110 }111 }else {112 kebiao[i][j] = text;113 }114 115 }116 }117 return kebiao;118 } else {119 return null;120 }121 122 }123 @Override124 protected void onPostExecute(String[][] result) {125 super.onPostExecute(result);126 listener.onConnectFinish(result);//执行回调函数，更新主UI127 }128 }129 /*130 <table cellpadding="0" width="100%" class="displayTag" cellspacing="0" border="1" id="user">131 <tr>132 <td colspan="2" class="sortable"> </td>133 <td width="13%" class="sortable">134 <div align="center">星期一</div></td>135 <td width="13%" class="sortable">136 <div align="center">星期二</div></td>137 <td width="13%" class="sortable">138 <div align="center">星期三</div></td>139 <td width="13%" class="sortable">140 <div align="center">星期四</div></td>141 <td width="13%" class="sortable">142 <div align="center">星期五</div></td>143 <td width="13%" class="sortable">144 <div align="center">星期六</div></td>145 <td width="13%" class="sortable">146 <div align="center">星期日</div></td>147 </tr>148 <tr bgcolor="#FFFFFF">149 <td width="3%" rowspan="4"> 150 <p class="style4">上午</p></td>151 <td width="11%">第1节(08:00-08:45)</td>152 <td> 计算机网络A_01(西部校区综合教学2号楼B406)153 <br></td>154 <td> </td>155 <td> </td>156 <td> 编译原理_01(校部综合教学1号楼综151)157 <br></td>158 <td> 计算机组成原理_01(西部校区综合教学2号楼B103)159 <br></td>160 <td> </td>161 <td> </td></tr>162 <tr bgcolor="#FFFFFF">163 <td width="11%">第2节(08:50-09:35)</td>164 <td> 计算机网络A_01(西部校区综合教学2号楼B406)165 <br></td>166 <td> </td>167 <td> </td>168 <td> 编译原理_01(校部综合教学1号楼综151)169 <br></td>170 <td> 计算机组成原理_01(西部校区综合教学2号楼B103)171 <br></td>172 <td> </td>173 <td> </td></tr>174 <tr bgcolor="#FFFFFF">175 <td width="11%">第3节(10:05-10:50)</td>176 <td> </td>177 <td> 面向对象程序设计_01(西部校区综合教学2号楼A301)178 <br></td>179 <td> </td>180 <td> 人工智能_01(西部校区综合教学2号楼A101)181 <br></td>182 <td> </td>183 <td> </td>184 <td> </td></tr>185 <tr bgcolor="#FFFFFF">186 <td width="11%">第4节(10:55-11:40)</td>187 <td> </td>188 <td> 面向对象程序设计_01(西部校区综合教学2号楼A301)189 <br></td>190 <td> </td>191 <td> 人工智能_01(西部校区综合教学2号楼A101)192 <br></td>193 <td> </td>194 <td> </td>195 <td> </td>196 <tr bgcolor="#FFFFFF">197 <td colspan="9"> 198 <p align="center" class="td2 style5">199 <strong>午 休</strong></p>200 </td>201 </tr>202 </tr>203 <tr bgcolor="#FFFFFF">204 <td width="3%" rowspan="4"> 205 <p class="style4">下午</p></td>206 <td width="11%">第5节(13:30-14:15)</td>207 <td> 编译原理_01(校部综合教学1号楼综151)208 <br></td>209 <td> 计算机组成原理_01(西部校区综合教学2号楼B103)210 <br></td>211 <td> </td>212 <td> 计算机网络A_01(西部校区综合教学2号楼B406)213 <br></td>214 <td> </td>215 <td> </td>216 <td> </td></tr>217 <tr bgcolor="#FFFFFF">218 <td width="11%">第6节(14:20-15:05)</td>219 <td> 编译原理_01(校部综合教学1号楼综151)220 <br></td>221 <td> 计算机组成原理_01(西部校区综合教学2号楼B103)222 <br></td>223 <td> </td>224 <td> 计算机网络A_01(西部校区综合教学2号楼B406)225 <br></td>226 <td> </td>227 <td> </td>228 <td> </td></tr>229 <tr bgcolor="#FFFFFF">230 <td width="11%">第7节(15:35-16:20)</td>231 <td> 人工智能_01(西部校区综合教学2号楼A101)232 <br></td>233 <td> </td>234 <td> </td>235 <td> </td>236 <td> 面向对象程序设计_01(西部校区综合教学2号楼A301)237 <br></td>238 <td> </td>239 <td> </td></tr>240 <tr bgcolor="#FFFFFF">241 <td width="11%">第8节(16:25-17:10)</td>242 <td> 人工智能_01(西部校区综合教学2号楼A101)243 <br></td>244 <td> </td>245 <td> </td>246 <td> </td>247 <td> 面向对象程序设计_01(西部校区综合教学2号楼A301)248 <br></td>249 <td> </td>250 <td> </td>251 <tr bgcolor="#FFFFFF">252 <td colspan="9"> 253 <p align="center" class="td2 style5">254 <strong>晚 饭</strong></p>255 </td>256 </tr>257 </tr>258 <tr bgcolor="#FFFFFF">259 <td width="3%" rowspan="4"> 260 <p class="style4">晚上</p></td>261 <td width="11%">第9节(18:00-18:45)</td>262 <td> 社会学*_886(校部综合教学1号楼综152)263 <br></td>264 <td> 人类文明史*_887(校部材料馆材101)265 <br></td>266 <td> </td>267 <td> </td>268 <td> </td>269 <td> </td>270 <td> </td></tr>271 <tr bgcolor="#FFFFFF">272 <td width="11%">第10节(18:55-19:40)</td>273 <td> 社会学*_886(校部综合教学1号楼综152)274 <br></td>275 <td> 人类文明史*_887(校部材料馆材101)276 <br></td>277 <td> </td>278 <td> </td>279 <td> </td>280 <td> </td>281 <td> </td></tr>282 <tr bgcolor="#FFFFFF">283 <td width="11%">第11节(19:50-20:35)</td>284 <td> 社会学*_886(校部综合教学1号楼综152)285 <br></td>286 <td> 人类文明史*_887(校部材料馆材101)287 <br></td>288 <td> </td>289 <td> </td>290 <td> </td>291 <td> </td>292 <td> </td></tr>293 <tr bgcolor="#FFFFFF">294 <td width="11%">第12节(20:45-21:30)</td>295 <td> </td>296 <td> </td>297 <td> </td>298 <td> </td>299 <td> </td>300 <td> </td>301 <td> </td></tr>302 </table>303 304 */
5、关于回调函数的使用
这一部分之前完全没预料到，只是后来才发现，不用内部类，想更新UI就得用回调函数，其更深层次的思想是一种设计模式，还是自己学的太少！知识使用完全浮于表面。
6、Demo演示
7、总结
零零散散花了不少时间，一来确实第一次做类似工作，二来自己习惯非常不好，对于新工具，研究API和即学即用能力不强。明天应该好好研究一下HttpClient和Jsoup，达到熟练抓取各种网页的目的！毕竟这只是开始！现在的学习状态实在太低效了。
以上。
HttpClient + Jsoup模拟登录教务处并获取课表
声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉： 投诉/举报 工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。