首页 > 代码库 > Hadoop中Writable类之二

Hadoop中Writable类之二

2024-08-07 22:36:48   219人阅读

1.ASCII、Unicode、UFT-8

在看Text类型的时候，里面出现了上面三种编码，先看看这三种编码：

ASCII是基于拉丁字母的一套电脑编码系统。它主要用于显示现代英语和其他西欧语言。它是现今最通用的单字节编码系统，并等同于国际标准ISO/IEC 646。ASCII是7位字符集，是美国标准信息交换代码的缩写，为美国英语通信所设计。它由128个字符组成，包括大小写字母、数字0-9、标点符号、非打印字符（换行副、制表符等4个）以及控制字符（退格、响铃等）组成。从定义，很明显，单字节编码，现代英语，局限性很大。

由于它是针对英语设计的，当处理带有音标符号的亚洲文字就会出现问题。因此，创建除了一些包含255个字符的由ASCII扩展的字符集。其中有两种比较有名：IBM字符集和ISOLatin-1，但是，仅仅汉语字母表就有80000以上个字符。但是把汉语、日语、越南语的一些相似的字符结合起来，在不同的语言里，使用不同的字符代表不同的字，这样，只用2个字节就可以编码地球上几乎所有的文字。因此UNICODE编码由此创建。

Unicode（统一码、万国码、单一码）是一种在计算机上使用的字符编码。Unicode 是为了解决传统的字符编码方案的局限而产生的，它为每种语言中的每个字符设定了统一并且唯一的二进制编码，以满足跨语言、跨平台进行文本转换、处理的要求。和AASCII不同，它共过增加一个 高字节对ISO Latin-1字符集进行扩展，当着写高字节为0时，低字节就是ISO Latin-1字符。

但是，对可以使用ASCII表示的字符使用UNICODE来表示，并不是很高效，因为UNICODE是两个字节组成的，而ASCII是由单字节组成的。UNICODE比ASCII占用大了一倍的空间。为了解决这个问题，就出现了一些中间格式的字符集，他们被称为通用转换格式，即UTF。常见的UTF格式有：UTF-7、UTF-7.5、UTF-8等。

UTF-8（8-bit Unicode Transformation Format）是一种针对Unicode的可变长度字符编码，又称万国码。由Ken Thompson于1992年创建。现在已经标准化为RFC 3629。UTF-8用1到6个字节编码UNICODE字符。用在网页上可以同一页面显示中文简体繁体及其它语言（如英文，日文，韩文）。UTF-8转换表表示如下：

 

实际表示ASCII字符的UNICODE字符，将会编码成1个字节。并且UTF-8表示会与ASCII字符表示是一样的。所有其他的UNICODE字符转化成UTF-8将需要至少2个字节。

优点：
UTF-8编码可以通过屏蔽位和移位操作快速读写。字符串比较时strcmp()和wcscmp()的返回结果相同，因此使排序变得更加容易。字节FF和FE在UTF-8编码中永远不会出现，因此他们可以用来表明UTF-16或UTF-32文本（见BOM） UTF-8 是字节顺序无关的。它的字节顺序在所有系统中都是一样的，因此它实际上并不需要BOM。
缺点：
你无法从UNICODE字符数判断出UTF-8文本的字节数，因为UTF-8是一种变长编码它需要用2个字节编码那些用扩展ASCII字符集只需1个字节的字符 ISO Latin-1 是UNICODE的子集， 但不是UTF-8的子集 8位字符的UTF-8编码会被email网关过滤，因为internet信息最初设计为7位ASCII码。因此产生了UTF-7编码。 UTF-8 在它的表示中使用值100xxxxx的几率超过50%， 而现存的实现如ISO 2022， 4873， 6429， 和8859系统，会把它错认为是C1 控制码。因此产生了UTF-7.5编码。
 
Java的字符类型采用的是UTF-16编码方式对Unicode编码表进行表示。其中一个char类型固定2Bytes（16bits）。
UTF-16是Unicode字符编码五层次模型的第三层：字符编码表（Character Encoding Form，也称为 "storage format"）的一种实现方式。即把Unicode字符集的抽象码位映射为16位长的整数（即码元）的序列，用于数据存储或传递。Unicode字符的码位，需要1个或者2个16位长的码元来表示，因此这是一个变长表示。

2.Text类型

<1>Text简介

Text是针对UTF-8序列的Writable类。一般可以认为等价于java.lang.String的Writable。

由于它着重使用标准的UTF-8编码，因此Text类的索引是根据编码后字节序列中的位置实现的。并非字符串中的Unicode字符，也不是Java Char的编码单元。对于ASCII字符串，这三个索引位置的概念是一致的。

<2>String 和 Text区别

上面已经提到了，Text类的索引是根据编码后字节序列中的位置实现的。String的索引是Java Char编码单元实现的。当字符串为ASCII码的时候，也就是全部为7位的单字节的时候，String 和 Text一致！

(1).当字符串为ASCII码(单字节)

Example:

 1 package cn.roboson.writable; 2  3 import java.io.UnsupportedEncodingException; 4  5 import org.apache.hadoop.io.Text; 6  7 /** 8  * 1.区别Text和String 9  * 2.首先从ASSCII字符串比较（也就是全部都是7位单字节）,10  * 3.通过getLength()、getBytes()、charAt()、find()、indexof()、codePointAt()方法来测试11  * @author roboson12  *13  */14 public class WritableText01 {15     16     public static void main(String[] args) throws UnsupportedEncodingException {17         //Hadoop中全部都是7位单字节（H,a，d,o,o,p）18         String str = new String("Hadoop");19         Text t = new Text("Hadoop");20         21         //“Hadoop”的长度，也就是所含char编码单元的个数（H,a,d,o,o,p）共6个22         System.out.println("String length:"+str.length());     //623         24         //String的getBytes() 方法返回根据相应编码（此例为utf-8）编码后的字节数，因为Hadoop这个字符串都是单字节的，所以，用utf-8编码，效果同ASCII编码一样，都是6个字节25         System.out.println("String getBytes:"+str.getBytes("UTF-8").length);  //626         27         //String的charAt（）方法返回的是相应位置的char编码单元28         System.out.println("String chartAt:"+str.charAt(0));   //H29         System.out.println("String chartAt:"+str.charAt(5));   //p30         31         //String的indexOf()方法返回的字符出现的位置32         System.out.println("String indexof:"+str.indexOf("H"));33         System.out.println("String indexof:"+str.indexOf("p"));34         35         //String的codePointAt()方法返回的对应位置的unicode字符集序号36         System.out.println("String codePointAt:"+str.codePointAt(0));  //7237         System.out.println("String codePointAt:"+str.codePointAt(5));  //11238         39         //“Hadoop”的长度，也就是有UTF-8编码后所含有的字节数40         System.out.println("Text length:"+t.getLength());     //641         42         //同indexof()方法相似，返回字节出现的位置43         System.out.println("Text find:"+t.find("H"));        //044         System.out.println("Text find:"+t.find("a"));        //145         46         //Text类的charAt方法也是返回对应的unicode字符集序号47         System.out.println("Text char:"+t.charAt(0));        //7248         System.out.println("Text char:"+t.charAt(1));        //11249     }50 }

 

运行结果：

(2).当字符串为多个字节

 一旦使用多个字节来编码时，Text和String之间区别就很明显了

 

Unicode code pointU+0041U+00DFU+6771U+10400
UTF-8 code units41c3 9fe6 9d b1fo 90 90 80
Java representation\u0041\u00DF\u6771\uD801 \uDC00

第一行表示unicode字符集中的序号（也是以16进制表示），第二行表示的是采用utf-8编码的情况，第三行表示的是用utf-16编码的情况，可以看到，第四个字符在utf-16编码下也占用4个字节（两个char单元，每个char单元是两字字节)

分析：

Text t = new Text("\u0041\u00DF\u6771\uD801\uDC00");

Text中的长度是由编码后字节的个数所决定的！那么，字节的个数是如何算的呢？在上文的UTF-8转换表图中有说明：

如下图，是t的字节数的实现，通过其二进制的位数，然后，同UTF-8转换表对比，从而得出其字节数！

unicode二进制位数字节数
U+0041100000171
U+00DF1101111182
U+6771110011101110001153
U+1040010000010000000000174

 

t的长度：1+2+3+4=10；

可以通过下面的例子来验证：

Example:

 1 package cn.roboson.writable; 2  3 import java.io.UnsupportedEncodingException; 4  5 import org.apache.hadoop.io.Text; 6  7 public class WtitableText { 8     public static void main(String[] args) throws UnsupportedEncodingException { 9         String str = "\u0041\u00DF\u6771\uD801\uDC00";10 11         Text text = new Text("\u0041\u00DF\u6771\uD801\uDC00");12 13         System.out.println(str.length());                         //514         15         System.out.println(str.getBytes("UTF-8").length);         //1016         String str1="\u0041";17         System.out.println(str1.getBytes("UTF-8").length);         //118         String str2="\u00DF";19         System.out.println(str2.getBytes("UTF-8").length);         //220         String str3="\u6771";21         System.out.println(str3.getBytes("UTF-8").length);         //322         23         String str4="\uD801\uDC00";24         System.out.println(str4.getBytes("UTF-8").length);         //425         26         System.out.println(str.indexOf("\u0041"));                //027         System.out.println(str.indexOf("\u00DF"));                //128         System.out.println(str.indexOf("\u6771"));                //229         System.out.println(str.indexOf("\uD801\uDC00"));          //330 31         System.out.println(str.charAt(0)==‘\u0041‘);              //true32         System.out.println(str.charAt(1)==‘\u00DF‘);              //true33         System.out.println(str.charAt(2)==‘\u6771‘);              //true34         System.out.println(str.charAt(3)==‘\uD801‘);              //true35         System.out.println(str.charAt(4)==‘\uDC00‘);              //true36 37         System.out.println(str.codePointAt(0));                   //6538         System.out.println(str.codePointAt(1));                   //22339         System.out.println(str.codePointAt(2));                   //2648140         System.out.println(str.codePointAt(3));                   //6656041 42 43         System.out.println(text.getLength());                     //1044         System.out.println(text.find("\u0041"));                  //045         System.out.println(text.find("\u00DF"));                  //146         System.out.println(text.find("\u6771"));                  //347         System.out.println(text.find("\uD801\uDC00"));            //648 49         System.out.println(text.charAt(0));                       //6550         System.out.println(text.charAt(1));                       //22351         System.out.println(text.charAt(3));                       //2648152         System.out.println(text.charAt(6));                       //6656053     }54 }

 

运行结果：

参考：

http://baike.baidu.com/link?url=knrf3QgRtcjQBusr_kuXdR6lclC1AyquSOpojyV_UXQ-L8XBKymFLpZP8rk6QTZTXdT32cHgQaLlLDzkuUzDGK

http://www.cnblogs.com/yuhan-TB/p/3752725.html

《Hadoop权威指南》

Hadoop中Writable类之二


联系
我们