首页 > 代码库 > URLConnection类详解

URLConnection类详解

为了防止无良网站的爬虫抓取文章,特此标识,转载请注明文章出处。LaplaceDemon/SJQ。

http://www.cnblogs.com/shijiaqi1066/p/3753224.html

 

URLConnection概述

URLConnection是一个抽象类,表示指向URL指定资源的活动连接。

URLConnection类本身依赖于Socket类实现网络连接。一般认为,URLConnection类提供了比Socket类更易于使用、更高级的网络连接抽象。但实际上,大多数程序员都会忽略它。因为URLConnection太贴近HTTP协议。它假定传输的内容前面都有MIME首部或类似的东西。但大多数协议(如FTP和SMTP)并不使用MIME首部。

 

URLConnection继承树查看如下:

wps_clip_image-6273

 

 

URLConnection类声明为抽象类,除了connect()方法,其他方法都已经实现。URLConnection的三个实现子类都位于sun.net.www包下。

 

URLConnection类的保护类型的构造方法:

protected URLConnection(URL url)

  构造一个到指定 URL 的 URL 连接。

 

connect()方法由子类实现本地与服务器的连接方式。一般使用TCP socket,但也可以使用其他其他机制来建立。

abstract  void connect()

  打开到此 URL 引用的资源的通信链接(如果尚未建立这样的连接)。

 

当派生URLConnection子类时,通常会覆盖URLConnection的其他方法,使其返回有意义的值。

 

读取首部

String getContentType()

  返回 Content-type 头字段的值。即数据的MIME内容类型。若类型不可用,则返回null。

  除了HTTP协议,极少协议会使用MIME首部。若内容类型是文本。则Content-type首部可能会包含一个标识内容编码方式的字符集。

例:Content-type:text/html; charset=UTF-8

 

int getContentLength()

  返回 Content-length 头字段的值。该方法获取内容的字节数。许多服务器只有在传输二进制文件才发送Content-length首部,在传输文本文件时并不发送。若没有该首部,则返回-1。

  若需要知道读取的具体字节数,或需要预先知道创建足够大的缓冲区来保存数据时,可以使用该方法。

 

String getContentEncoding()

  返回 Content-encoding 头字段的值。获取内容的编码方式。若内容无编码,则该方法返回null。

  注意:Content-encoding(内容编码)与字符编码不同。字符编码方式由Content-type首部或稳定内容的信息确定,它指出如何使用字节指定字符。内容编码方式则指出字节如何编码其他字节。

例:若编码格式为x-gzip,则可以使用java.util.zip.GZipInputStream来解码。

 

long getDate()

  返回 date 头字段的值。获取请求的发送时间。即自1900年1月1日子夜后过去的毫秒数。

  注意:这是从服务器的角度看到的发送时间。可能与本地时间不一致。若首部不包括Date字段,则返回0。

 

long getExpiration()

  返回 expires 头字段的值。获取Expires的值。若无该字段,则返回0。0即表示不过期,永远缓存。

  注意:该值是自1970年1月1日上午12:00后的毫秒数。

 

long getLastModified()

  返回 last-modified 头字段的值。该值是自1900年1月1日子夜后过去的毫秒数。若无该字段,则返回0。

 

获取任意首部字段

String getHeaderField(String name)

  返回指定的头字段的值。

 

Map<String,List<String>> getHeaderFields()

  返回头字段的不可修改的 Map。

 

String getHeaderFieldKey(int n)

  返回第 n 个头字段的键。

 

String getHeaderField(int n)

  返回第 n 个头字段的值。

 

long getHeaderFieldDate(String name, long Default)

  返回解析为日期的指定字段的值。

 

int getHeaderFieldInt(String name, int Default)

  返回解析为数字的指定字段的值。

 

 

配置连接

URLConnection类的保护类型字段如下:

protected  URL url

  该字段指定URLConnection连接的URL。构造函数会在创建URLConnection时设置,此后就不能再改变。

 

protected  boolean connected

  当连接打开时,该字段为true。若连接关闭,则为false。没有直接读取或改变connected值的方法。任何导致URLConnection连接的方法都会将此变量设为true,包括connect(),getInputStream(),和getOutputStream()。

  任何导致URLConnection断开的方法都会将此字段设为false。

  java.net.URLConnection没有断开方法,但一些子类,如java.net.HttpURLConnection中存在这样的方法。

 

protected  boolean allowUserInteraction

  该字段表示是否允许与用户交互。默认为false,即不允许交互。该值只能在URLConnection连接前设置。

例:Web浏览器可能需要访问用户名和口令。

 

protected  boolean doInput

  该字段在URLConnection可用于输入时为true,否则为false。默认为true。

 

protected  boolean doOutput

  该字段在URLConnection可用于输出时为true,否则为false。默认为false。

 

protected  long ifModifiedSince

  该字段指示了将放置If-Modified-Since首部字段中的日期(格林威治标准时间1970年1月1日子夜后的毫秒数)。

 

protected  boolean useCaches

  该字段指定了是否可以在缓存可用时使用缓存。默认为true,表示缓存将被使用;false表示缓存不被使用。

 

以上字段定义了客户端如何向服务器作出请求。这些字段只能在URLConnection连接前修改。否则抛出IllegalStateException异常。

每个字段都有一些相应的方法。

  • URL getURL()
  • void setDoInput(boolean doinput)
  • boolean getDoInput()
  • void setDoOutput(boolean dooutput)
  • boolean getDoOutput()
  • void setUseCaches(boolean usecaches)
  • boolean getUseCaches()
  • void setAllowUserInteraction(boolean allowuserinteraction)
  • boolean getAllowUserInteraction()
  • void setIfModifiedSince(long ifmodifiedsince)
  • long getIfModifiedSince()

还有一些方法,这些方法用于定义和获取URLConnection对象的默认行为:

  • static boolean getDefaultAllowUserInteraction()
  • boolean getDefaultUseCaches()
  • void setDefaultUseCaches(boolean defaultusecaches)
  • static void setDefaultAllowUserInteraction(boolean defaultallowuserinteraction)
  • static void setFileNameMap(FileNameMap map)
  • static FileNameMap getFileNameMap()

 

关于超时

Java 1.5增加了如下4个方法,允许查询和修改连接的超时值。即底层socket在抛出SocketTimeoutException异常前等待远端响应时间。

设置获取读取的超时值,单位为毫秒。

int getReadTimeout()

void setReadTimeout(int timeout)

  设置获取连接的超时值,单位为毫秒。

 

int getConnectTimeout()

void setConnectTimeout(int timeout)

  这四个方法将0解释为永不超时。如果超时值为负数。两个设置方法都会抛出IllegalArgumentException异常。

 

 

配置HTTP首部

客户端向服务器发送请求,不仅会发送请求行,还发送首部。Web服务器可以根据此信息向不同客户端提供不同的页面,获取和设置cookie,通过口令设置用户等等。通过在客户端发送和服务器响应的首部中放置不同的字段,就可以完成这些工作。

每个URLConnection的具体子类都在首部中设置一些默认的键值对(实际上只有HttpURLConnection这样做,因为HTTP是唯一以这种方式使用首部的主要协议。)

通过以下方法可以设置URLConnection在打开连接增加HTTP首部:

void setRequestProperty(String key, String value)

  此方法只在连接打开之前打开,将会抛出IllegalStateException异常。但该方法仅支持对一个首部设置一个值。

 

HTTP允许一个熟悉有多个值。各个值之间用逗号隔开。

例:cookie:username=sjq; session=hdfu23asdjf901j;

 

使用如下方法为首部增加值:

void addRequestProperty(String key, String value)

  该方法用于添加某个指定首部字段的值。

 

使用如下方法获取首部字段:

String getRequestProperty(String key)

Map<String,List<String>> getRequestProperties()

  以上方法用于获取URLConneciton所拥有HTTP首部。

 

 

使用URLConnection

使用URLConnection类的程序遵循以下基本步骤:

构造URL对象

调用URL对象的openConnection()方法,获取一个对应的URLConnection对象。

配置此URLConnection对象。

读取首部字段。

获得输入流读取数据。

获得输出流写入数据。

关闭连接。

 

读取服务器的数据

向服务器发送数据

InputStream getInputStream()

          返回从此打开的连接读取的输入流。

OutputStream getOutputStream()

          返回写入到此连接的输出流。

 

例:获URLConnection实例对象。

@Test
public void test(){
    try {
        URL url = new URL("http://www.baidu.com");
        URLConnection uc = url.openConnection();
    } catch (MalformedURLException e) {
        e.printStackTrace();
    } catch (IOException e) {
        e.printStackTrace();
    }
}

 

 

 

获得内容

Object getContent()

  该方法实质上与URL类的getContent()方法相同。使用该方法JVM需要识别和理解该内容类型。该方法只用于支持类似HTTP的协议,协议对MIME内容类型有较清楚的了解。若内容未知,或协议无法理解内容类型,getContent()会抛出一个UnknowServiceException异常。

Object getContent(Class[] classes)

  该方法可以选择将内容转换为哪个类对象,以提供数据的不同对象表示。次方法尝试以classes数组中某个类的形式返回内容。优先顺序就是数组的顺序。若任何一种请求类型都不可用,此方法会返回null。

 

 

ContentHandlerFactory

URLConnection类包括一个静态的ContentHandler。即内容处理器。通过以下方法设置内容处理器工厂。

static void setContentHandlerFactory(ContentHandlerFactory fac)

 

 

URLConnection的安全

建立网络连接、读写文件等等存在一些安全限制,URLConnection对象会受到这些安全限制的约束。

Permission getPermission()

  该方法返回Permission对象,指出连接此URL所需的许可权。如果没有所需的许可权(即没有适当的安全管理器),它就会返回null。

 

 

猜测MIME内容类型

static String guessContentTypeFromName(String fname)

  根据 URL 的指定 "file" 部分尝试确定对象的内容类型。

static String guessContentTypeFromStream(InputStream is)

  根据输入流的开始字符尝试确定输入流的类型。

 

 

HttpURLConnection

java.net.HttpURLConnection类是URLConnection的抽象子类;它提供了一些有助于专门操作http URL的额外方法。

sun.net.www.protocol.http包中也提供了一个HttpURLConnection类。该类实现了抽象的connect()方法。但一般很少直接访问该类。

 

获取HttpURLConnection对象

@Test
void testHttpURLConnection(){
    try {
        URL url = new URL("http:www.baidu.com");
        URLConnection urlConnection = url.openConnection();
        HttpURLConnection httpURLConnection = (HttpURLConnection)urlConnection;
    } catch (MalformedURLException e) {
        e.printStackTrace();
    } catch (IOException e) {
        e.printStackTrace();
    }
}

 

 

请求方法

HTTP协议提供了7中请求方法:

  • GET
  • POST
  • HEAD
  • PUT
  • OPTIONS
  • DELETE
  • TRACE

通过以下方法设置请求方法:

void setRequestMethod(String method)

若请求不是7个方法的字符串,则会抛出java.net.ProtocolException异常。一般只设置请求方法是不够的,还需要调整HTTP首部,还要提供消息体。

以下方法获取HTTP请求方法

String getRequestMethod()

 

 

断开与服务器的连接

HTTP的Keep-Alive对Web连接的性能有所提升,允许多个请求和响应通过一个TCP连接连续发送。

客户端通过HTTP请求首部包含Connection字段及Keep-Alive,表示客户端愿意使用Keep-Alive:

  Connection: Keep-Alive

 

但当使用Keep-Alive时,服务器不再因为向客户端发送最后一个字节数据就关闭连接。毕竟客户端还可能发送另一个请求。因此客户端需要复杂关闭连接。

Java提供如下方法关闭连接,实际上很少使用该方法:

abstract  void disconnect()

 

获取请求

如果HTTP响应状态为4xx(客户端错误)或者5xx(服务器错误),你可以通过HttpUrlConnection.getErrorStream()来查看服务器发送过来的信息。

InputStream getErrorStream()

 

例:

InputStream error = ((HttpURLConnection) connection).getErrorStream();

 

如果HTTP响应状态为-1,就是出现了连接错误。HttpURLConnection会保持连接一直可用,如果你想关闭这个特性,需要把http.keepAlive设置为false:

System.setProperty("http.keepAlive", "false");

 

 

 

Http响应码

HTTP响应的第一行被称为消息响应。该信息不会被URLConnection的getHeaderFiled()方法读取。

String getResponseMessage()

  返回消息响应。如:HTTP/1.1 404 Not Found

int getResponseCode()

  返回消息响应码。如:404。

HttpURLConnection类提供了常见响应码常量。具体请参考JDK文档。

 

 

重定向

默认情况下,HttpURLConnection类会跟踪重定向。但HttpURLConnection有两个静态方法,可以确定是否跟随重定向。

static void setFollowRedirects(boolean set)

static boolean getFollowRedirects()

  若跟随,则为true,否则为false。

 

这两个是静态方法,它们会改变该方法后构造的所有HttpURLConnection对象的行为。若安全管理器不允许其改变,则会抛出SecurityException异常。

 

也可以对某个HttpURLConnection实例设置是否重定向。

void setInstanceFollowRedirects(boolean followRedirects)

boolean getInstanceFollowRedirects()

 

 

代理

HttpURLConnection可以得知请求是否通过了代理服务器。

使用如下方法:

abstract  boolean usingProxy()

 

 

流模式

每个发送给HTTP服务器的请求都有HTTP首部。首部中有一个Content-type字段;即请求体中的字节数。首部位于主体的前面。但是,为了写入首部,需要知道主体的长度,而在写首部的时候可能还不知道主题的长度。一般情况下Java对此两难境地的解决办法是,对于从HttpURLConnection获取的OutputStream,缓存写入到此OutputStream中的所有内容,直到流被关闭。到这时,它就知道了主题中有多少字节,

在请求发送之前,HttpURLConnetion会把所有需要发送的数据放到缓冲区里,不管你是否使用connection.setRequestProperty("Content-Length", contentLength);设置了contentLength,当你并行发送大量的POST请求时,这可能会引起OutOfMemoryExceptions 异常,为了避免这个问题,需要使用如下方法:

void setFixedLengthStreamingMode(int contentLength)

  此方法用于在预先已知内容长度时启用没有进行内部缓冲的 HTTP 请求正文的流。

例:

httpConnection.setFixedLengthStreamingMode(contentLength);

 

但是如果不能事先知道内容的长度,可以使用HttpURLConnection.setChunkedStreamingMode()方法设置为块状流模式。在块状流模式的情况下,放在块里的内容将会被强行发送出去。下边的例子将会把发送的内容按照每块1KB的大小发送出去。

void setChunkedStreamingMode(int chunklen)

  此方法用于在预先不知道内容长度时启用没有进行内部缓冲的 HTTP 请求正文的流。

 

例:

httpConnection.setChunkedStreamingMode(1024);

 

 

 

缓存

默认情况下,Java 1.5不返回任何数据。但通过派生java.net.ResponseCache类的子类,并安装为系统默认值,就可以创建自己的缓存。无论系统合适尝试通过协议处理器加载新的URL,它将首先在缓存中查找,若缓存找到了所需的内容,就不需要连接远程服务器了。若缓存数据不存在,则下载相应数据,并将其放入缓存中。

 

 

 

为了防止无良网站的爬虫抓取文章,特此标识,转载请注明文章出处。LaplaceDemon/SJQ。

http://www.cnblogs.com/shijiaqi1066/p/3753224.html