首页 > 代码库 > 字符、字节和编码

字符、字节和编码

  摘要:介绍了字符与编码的发展过程,相关概念。举例Java实际应用中,编码的实现方法。最后,讲述了通常对字符与编码的几种误解,由于这些误解而导致乱码产生的原因,以及消除乱码的方法。

1.编码问题的由来及相关概念

1.1字符与编码的发展

  从计算机对多国语言的支持角度看,大致可以分为三个阶段:

 系统内码说明系统
阶段一ASCII计算机刚开始只支持英语,其它语言不能够在计算机上存储和显示英文DOS
阶段二ANSI编码(本地化)

为使计算机支持更多语言,通常使用0x80~0xFF范围的2个字节来表示1个字符。比如:汉字‘中’在中文操作系统中,使用[0x06,0xD0]这两个字节存储。

不同的国家和地区制定了不同的标准,由此产生了GB2312、BIG5、JIS等各自编码标准。这些使用2个字节来代表一个字节来代表一个字符的各种汉字延伸编码方式,成为ANSI编码。在简单中文系统下,ASNI编码代表GB2312编码,在日文操作系统下,ANSI编码代表JIS编码。

不同ANSI编码之间互不兼容,当信息在国际间交流时,无法将属于两种语言的文字,存储在同一段ANSI编码的文本中。

中文DOS,中文Windows95/98,日文Windows95/98
阶段三UNICODE(国际化)为了使国际间信息交流更加方便,国际组织制定了UNICODE字符集,为各种语言中的每一个字符设定了统一并且唯一的数字编号,以满足跨语言、跨平台进行文本转换、处理的要求。Windows NT/2000/XP,Linux,Java

字符串在内存中的存放方法:

在ASCII阶段,单字节字符串使用一个字节(SBCS)存放一个字符。比如‘Tom1988’在内存中为:

446F6D3139383800
Tom1998\0

 在使用ANSI编码支持多种语言阶段,每个字符使用一个字节或多个字节(MBCS)来表示,因此,这种方式存放的字符也被称作为多字节字符。比如,"中文123"在中文Window 95内存中为7个字节,每个汉字占2个字节,每个英文和数字字符占1个字节:

D6D0CEC431323300
123\0

 在UNICODE被采用之后,计算机存放字符串时,改为存放每个字符在UNICODE字符集中的序号。目前计算机一般使用2个字节(DBCS,16位)存放一个序号,因此,这种方式存放的字符也被称作宽带字节符。比如,字符串"中文123"在Windows 2000下,内存中实际存放的是5个序号:一共占10个字节。

2D4E87653100320033000000<--在x86 CPU中,低字节在前
123\0 

1.2字符、字节和字符串

理解编码的关键,是要把字符的概念和字节的概念理解准确。这两个概念容易混淆,我们在此做一下区别:

 概念描述举例
字符人们使用的标号,抽象意义上的一个符号‘1‘,‘中‘,‘a‘,‘$‘
字节计算机中存储数据的单元,一个8位的二进制数,是一个很具体的存储空间0x01,0x45,0xFA
ANSI字符串在内存中,如果"字符"是以ANSI编码形式存在的,一个字符可能使用一个字节或多个字节来表示,那么我们称这种字符串为ANSI字符串或者多字节字符串"中文123"(占7字节)
UNICODE字符串在内存中,如果"字符"是以在UNICODE中的序号存在的,那么我们称这种字符串为UNICODE字符串或者宽字节字符串"中文123"(占10字节)

由于不同ANSI编码所规定的标准是不相同的,因此,对于一个给定的多字节字符串,我们必须知道它采用的是哪一种编码规则,才能够知道它包含了哪些"字符"。而对于UNICODE字符串来说,不管在什么环境下,它所代表的"字符"内容总是不变的。

1.3 字符集与编码

各个国家和地区所制定的不同ANSI编码标准中,都只规定了各自语言所需要的"字符"。比如,汉字标准(GB2312)中没有规定韩国字符怎样存储。这些ANSI编码标准所规定的内容包含两层含义:

  • 使用那些字符。也就是说那些汉字、字母和符号会被收入标准中。所包含"字符"的集合就叫做"字符集"
  • 规定每个"字符"分别用一个字节还是多个字节存储,用那些字节存储,这个规定就叫做"编码"

各个国家和地区在制定编码标准的时候,"字符的集合"和"编码"一般都是同时制定的。因此,平常我们所说的"字符集",比如:GB2312、GBK、JIS等,除了有"字符的集合"这层含义外,同时也包含了"编码"的含义。"UNICODE字符集"包含了各种语言中使用到的所有"字符"。用来给UNICODE字符集编码的标准有很多种,比如:UTF-8,UTF-7,UTF-16,UnicodeLittle,UnicodeBig等。

1.4 常用的编程简介

简单介绍一下常用的编码规则,为后边的章节做一个准备。在这里,我们根据编码规则的特点,把所有的编码分成三类:

分类编码标准说明
单字节字符编码ISO-8859-1最简单的编码规则,每一个字节直接作为一个UNICODE字符。比如,[0xD6,0xD0]这两个字节,通过ISO-8859-1转化为字符串时,将直接得到[0x00D6,0x00D0]两个UNICODE字符,即"ÖÐ"。反之,将UNICODE字符串通过ISO-8859-1转化为字符串时,只能正常转化0~255范围的字符。
ANSI编码GB2312,BIG5,Shift_JIS

把UNICODE字符串通过ANSI编码转化为"字节串"时,根据各自编码的规定,一个UNICODE字符可能转化成一个字节或多个字节。反之,将字节串转化成字符串时,也可能多个字节转化成一个字符。比如,[0xD6,0xD0]这两个字节,通过GB2312转化为字符串,将得到[0x4E2D]一个字符串,即"中"字。

"ANSI编码“的特点:

1.这些"ANSI编码标准"都只能处理各自语言范围之内的UNICODE字符。

2."UNICODE字符"与"转换出来的字节"之间的关系是人为规定的。

UNICODE编码UTF-8,UTF-16,UnicodeBig

与"ANSI"编码类似的,把字符串通过UNICODE编码转化成"字节串"时,一个UNICODE字符可能转化成一个字节或多个字节。

与"ANSI 编码"不同的是:

1.这些"UNICODE 编码"能够处理所有的UNICODE字符。

2."UNICODE字符"与"转换出来的字节"之间是可以通过计算得到的。

2.字符与编码在程序中的实现

Java中的char代表一个UNICODE字符(宽字节字符)

类型或操作字符字节ANSI字符串UNICODE字符串字节串->字符串字符串->字节串
Javacharbytebyte[]Stringstring=new String(bytes,"encoding")bytes=string.getBytes("encoding")

字符串类String中的内容是UNICODE字符串

public class Test {    public static void main(String[] args) {        //Java代码直接写中文        String string="中文123";        //得到长度为5,因为是5个字符        System.out.println(string.length());    }}

字符串I/O操作,字符与字节转换操作。在Java包java.io.*中,以"Stream"结尾的类一般是用来操作"字节串"的类。以"Reader","Writer"结尾的类一般是用来操作"字符串"的类。

public class Test {    public static void main(String[] args) throws IOException {        //Java代码直接写中文        String string="中文123";        //得到长度为5,因为是5个字符        System.out.println(string.length());        byte[] bytes = null;                try {            //按照GB2312得到字节(得到多字节字符串)            bytes=string.getBytes("GB2312");            //从字节按照GB2312得到UNICODE字符串            string=new String(bytes,"GB2312");        } catch (UnsupportedEncodingException e) {            // TODO Auto-generated catch block            e.printStackTrace();        }                //要将String按照某种编码写入文本文件,有两种方法;        //第一种方法:用stream类写入已经按照指定编码转化好的字符串        try {            OutputStream os=new FileOutputStream("D:\\1.txt");            os.write(bytes);            os.close();                    } catch (FileNotFoundException e) {            // TODO Auto-generated catch block            e.printStackTrace();        }        //第二种办法,构造指定编码的Writer来写入字符串        Writer ow=new OutputStreamWriter(new FileOutputStream("D:\\2.txt"), "GB2312");        ow.write(string);        ow.close();    }}

3.几种误解,以及乱码产生的原因和解决方法

3.1 容易产生的误解

 对编码的误解
误解1

在将"字符串"转化为"UNICODE字符串"时,比如在读取文本文件时,或者通过网络传输文本时,容易将"字节串"简单地作为单字节字符串,采用"一个字节"就是"一个字符"的方法进行转化。

而实际上,在非英语的环境中,应该将"字节串"作为ANSI字符串,采用适当的编码来得到UNICODE字符串,有可能"多个字节"才能得到"一个字符"。通常,一直在英语环境下做开发的程序员们,容易有这种误解。

误解2在DOS,Windows98等非UNICODE环境下,字符串都是以ANSI编码的字节形式存在的。这种以字节形式存在的字符串,必须知道是那种编码才能被正确地使用。这使我们形成一个惯性思维:"字符串的编码"。当UNICODE被支持后Java中的String是以字符的"符号"来存储的不是以"某种编码的字节"来存储的因此已经不存在"字符串的编码"这个概念了。只有在"字符串"与"字节串"转化时,或者,将一个"字节串"当成一个ANSI字符串时,才有编码的概念。不少人都有这个误解

第一种:误解,往往导致乱码产生的原因。第二种误解,往往导致本来容易纠正的乱码问题变得更复杂。在这里,我们可以看到,其中所讲的"误解1",即采用没"一个字节"就是"一个字符"的转化方法,实际上也就等同于采用ISO-8859-1进行转化。因此,我们常常使用bytes=string.getBytes("ISO-8859-1")来进行逆向操作,得到原始的"字符串"。然后再使用正确的ANSI编码,比如string=new String(bytes,"GB2312"),来得到正确的"UNICODE字符串"。

3.2 非UNICODE程序在不同语言环境间移植的乱码

  非UNICODE程序中的字符串,都是以某种ANSI编码形式存在的。如果程序运行时的语言环境与开发的语言环境不同,将会导致ANSI字符串的显示失败。比如,在日文环境下开发的非UNICODE的日文程序界面,拿到中文环境下运行时,界面上将显示乱码。如果这个日文程序界面改为采用UNICODE来记录字符串,那么当在中文环境下运行时,界面上将可以显示正常的日文。

3.3 几种错误理解的纠正

误解:"ISO-8859-1"是国际编码?

错误,ISO-8859-1只是单字节字符集中最简单的一种,也就是"字节编号"与"UNICODE字符编号"一致的那种编码规则。当我们要把一个"字节串"转化"字符串",而不知道它是那一种ANSI编码时,先暂时地把"每一个字节"作为"一个字符"进行转化,不会造成信息丢失。然后在使用bytes=string.getBytes("ISO-8859-1")的方法可以恢复到原始的字符串。

误解:Java中,怎样知道某个字符串的内码?

Java中吧,字符串类java.lang.String处理的是UNICODE字符串,不是ANSI字符串。我们只需要把字符串作为"抽象的符号的串"。因此不存在字符串的内码的问题。

参考文章:

 http://www.cnblogs.com/fanrsh/archive/2007/05/26/761181.html

 

字符、字节和编码