Unicode字符集的编码方式以及码点、码元

1、字符编码方式CEF的选择网络

1.编码

因为Unicode字符集很是大，有些字符的编号(码点值)须要两个或两个以上字节来表示，而要对这样的编号进行编码，也必须使用两个或两个以上字节。spa

好比，汉字“严”的Unicode码(Unicode码点值、Unicode编号)是十六进制数4E25，转换成二进制数有15位(100 1110 0010 0101)，对“严”这个字符的编号进行编码的话，至少须要2个字节。表示其余更大编号的字符，可能须要3个字节或者4个字节，甚至更多。代理

2.code

这带来两个问题：orm

一是，如何才能区别Unicode字符和ASCII字符的编码？计算机怎么知道三个字节表示的是一个字符，而不是分别表示三个字符呢？blog

二是，咱们知道，英文字母只用一个字节来编码就够了，而若是Unicode统一硬性规定，每一个字符都用两个、三个或四个字节来编码，那么每一个英文字母编码的前面都必然有一个、两个到三个字节全是0，这对于存储和传输来讲是极大的浪费。字符串

这就涉及到了字符编码方式CEF的选择问题。Unicode字符的编码方式通常有三种：UFF-八、UTF-1六、UTF-32。在具体介绍这些编码方式以前，须要再次深刻了解两个概念——码点(Code Point)与码元(Code Unit)。it

2、码点io

1.

一个字符集通常能够用一张或多张由多个行和多个列所构成的二维表来表示。

二维表中行与列相交的点，称之为码点(Code Point代码点)，也称之为码位(Code position代码位)；每一个码点分配一个惟一的编号，称之为码点值或码点编号，除开某些特殊区域(好比代理区、专用区)的非字符码点和保留码点，每一个码点惟一对应于一个字符。

所以，除开非字符码点和保留码点，码点值(即码点编号)一般来讲就是其所对应的字符的编号，因此码点值有时也能够直接称之为字符编号，虽然不够准确，但更为直接。

2.

字符集中全部码点数量的总和，称之为编号空间(Code Space，又被称之为代码空间、编码空间、码点空间、码空间)。

码点值最初用两个字节的十六进制数字表示，好比字母A的Unicode码点值为0041，常写做U+0041，这种形式称为Unicode码点名称，不严格地来说，也可称之Unicode字符名称(由于存在着非字符码点和保留码点，并不是每一个码点都分配了字符，因此这种称呼不够准确，不过目前更为广泛)。

3.

后来随着Unicode字符集的不断增补扩大(好比如今的Unicode字符集至少须要21位才能所有表示)，码点值也扩展为用三个字节或以上的十六进制数字表示。

例如，ASCII字符集用0~127这连续的128个数字编号分别表示128个字符。GBK字符集使用区位码的方式为每一个字符编号，首先定义一个94×94的矩阵，行称为“区”，列称为“位”，而后将全部国标汉字放入矩阵当中，这样每一个汉字就能够用惟一的“区位”码来标识了。例如“中”字被放到54区第48位，所以其区位码(字符编号)就是5448。

而目前Unicode标准中，将字符按照必定的类别划分到0~16这17个平面(Plane层面)中，每一个平面中拥有2^16 = 65536个码点，所以，目前Unicode字符集所拥有的码点总数，也就是Unicode的编号空间为17*65536=1114112。

注意，网络上的不少文章中，代码点、码点、码点值、码值、代码位、码位、字符码、Unicode码、字符编号、字符编码、编码方案、编码方式、编码格式等等常常互相代替混用。

（笨笨阿林原创文章，转载请注明出处）

3、码元

1.

在计算机存储和网络传输时，码点值(即字符编号)被映射到一个或多个码元(Code Unit代码单元、编码单元)。

码元可理解为字符编码方式CEF(Character Encoding Form)对码点值进行编码处理时做为一个总体来看待的最小基本单元(基本单位)。

2.

为何非要引入“码元”这个概念？或者说，为何非要强调“码元”这个概念？

码元某种程度上可认为对应于高级语言中的基本数据类型。而高级语言层面的基本数据类型，若要更深刻一步地来说，实质上对应于机器硬件层面(汇编语言)的数据类型byte字节、word字、dword双字等在硬件中的表达与处理机制。

之因此要强调“码元”的概念，是由于字符编码做为一串数字序列，最终仍是得经过机器硬件层面的数据类型来表示。

而码元的实质，就是机器硬件层面(汇编语言)的数据类型；不一样的码元，表明着不一样位数的数据类型。

3.

数据类型有单字节与多字节之分，因此码元也有单字节与多字节之分；多字节数据类型因为历史的缘由，存在着字节序的所谓大端序(Big-Endian)与小端序(Little-Endian)之分，所以多字节码元也存在着大端序与小端序之分(具体详见前文中有关字节序的解释；注意，单字节数据类型则没有字节序的问题，因此单字节码元也就没有字节序问题)。

这就是之因此要强调“码元”这个概念的关键缘由。

4.

码点值(即字符编号)的具体实现方式——字符编码方式CEF，就是由一个或多个码元这样的最小基本单元构成的。

最经常使用的码元是8位(1字节)的单字节码元，另外还有16位(2字节)和32位(4字节)两种多字节码元，分别至关于C++中的无符号整型BYTE、WORD、DWORD(在VC++6.0中，这三种数据类型的定义分别为：

typedef unsigned char BYTE;，1个字节；

typedef unsigned short WORD;，2个字节；

typedef unsigned long DWORD;，4个字节)。

（笨笨阿林原创文章，转载请注明出处）

5.

因而，三种码元对应就有了Unicode字符编号(码点值)的三种UTF编码方式(即Unicode码转换格式Unicode Transformation Format，或称通用字符集转换格式UCS Transformation Format)：

UTF-8(8-bit Unicode/UCS Transformation Format)，

UTF-16(16-bit Unicode/UCS Transformation Format)，

UTF-32(32-bit Unicode/UCS Transformation Format)；

或者反过来讲，Unicode字符编号(码点值)的三种UTF编码方式(UTF-八、UTF-1六、UTF-32)分别采用了不一样的码元(BYTE、WORD、DWORD)来编码。

例如，“汉字”这两个中文字符的Unicode码点值(Unicode字符编号)是0x6C49和0x5B57，其三种UTF编码在VC++6.0中可按以下定义进行“模拟”：

 6.

注意，这里之因此说是“模拟”，由于从本质上来说，在机器硬件层面上的全部数据类型，只存在着被视做一个总体来处理的比特序列(比特流)的位数不一样之分，不存在着高级语言层面上数据类型的数值、字符串、布尔值等的语义不一样之分。

所以，机器硬件层面上的数据类型与高级语言层面上的数据类型，严格来说，在本质含义上仍是有着很大不一样的。固然，高级语言层面上的数据类型最终仍是会被转化为机器硬件层面上的数据类型，毕竟计算机只“认识”由0和1所组成的比特流。具体详见前文中有关字节序的解释。

7.

这里用BYTE、WORD、DWORD分别表示无符号8位整数、无符号16位整数和无符号32位整数；于是UTF-八、UTF-1六、UTF-32可认为分别以BYTE、WORD、DWORD做为码元。

“汉字”这两个中文字符的UTF-8编码须要六个BYTE(共6个单字节码元)，大小是6个字节；UTF-16编码须要两个WORD(共2个双字节码元)，大小是4个字节；UTF-32编码须要两个DWORD(共2个四字节码元)，大小是8个字节。

因为多字节数据类型的数据在计算机存取时存在一个字节序的问题，所以，UTF-1六、UTF-32这两种编码方式所编码出来的逻辑意义上的多字节码元序列，在映射为物理意义上的字节序列时，字节序列的字节序因系统平台的不一样而不一样。

前面已经屡次强调过了，这里再次特别强调一下：由单字节数据类型所组成的多字节数据是不存在字节序的问题的。所以，采用单字节码元进行编码的UTF-8编码，虽然ASCII字符为单字节编码，但非ASCII字符是多字节编码的，但却不存在字节序问题，这是跟一样为多字节编码、但采用多字节码元的UTF-1六、UTF-32不一样之处。详见下表所列：

 Unicode字符集三大编码方式(UTF-八、UTF-1六、UTF-32)比较一览表 

（笨笨阿林原创文章，转载请注明出处）

【预告：下一篇将重点讲解UTF-8编码方式与字节序标记(BOM)，敬请关注！】