Unicode

В январе 1991 года возник консорциум UNICODE (Unicode Consortium), целью которого является продвижение, развитие и реализация стандарта Unicode как международной системы кодирования для обмена информацией, а также поддержание качества этого стандарта в будущих версиях.

Стандарт UNICODE 4.0 представляет собой новую систему кодирования символов, выводимых на экран монитора или на принтер, позволяющую закодировать 1 114 112 символов (в стандарте из принято называть code points). Большинство символов, используемых в основных языках мира занимают 65 536 code points, образуя Basic Multilingual Plane (BMP) (Основной Многоязычный Уровень - мой перевод). Оставшиеся (более миллиона) code points вполне достаточно для кодирования всех известных символов, включая малораспространенные языки и исторические знаки. Стандарт UNICODE поддерживается тремя формами, 32-битной (UTF-32), 16-битной (UTF-16) и 8-битной (UTF-8). Восьмибитная форма UTF-8 была разработана для удобной совместимости с ASCII-ориентироваными системами кодирования. Стандарт UNICODE совместим с Международным стандартом International Standard ISO/IEC 10646.

Наиболее просто устроена форма UTF-32. В ней каждый символ закодирован при помощи 32-битного блока. Благодаря этому каждый символ UTF-32 обладает однозначным соответствием между декодированным символом и блоком кода. Это форма имеет фиксированную длину знакоместа. Она покрывает все кодовое пространство UNICODE - 0...10FFFF₁₆. Это гарантирует полную совместимость с UTF-16 и UTF-8. Форма UTF-32 является наиболее предпочитаемой для большинства UNIX платформ.

Стандарт UNICODE содержит 96 382 символа, взятых их мировых шрифтов. Этих символов более чем достатонно для общения на всех известных языках мира, а также для написания классических (исторических ) шрифтов многих языков. UNICODE всключает в себя шрифты европейских алфавитов, средне-азиатское письмо, направленное справа на лево, шрифты Азии, и многие другие. Подмножество символов (code points) HUN включает 70 207 идеографических символов определяемых по национальным и промышленным стандартам Китая, Японии, Кореи, Тайвани, Вьетнама и Сингапура. Более того, UNICODE содержит знаки пунктуации, математические символы, технические символы, герметрические фотмы и графические метки (dingbats), фонетические знаки.

Ниже приведена сравнительная таблица кодов ASCII и UNICODE, взятая из Фрагмента спецификации UNICODE 4.0 (Unicode Standard, Version 4.0), размещенного на сайте Unicode Consortium.

Кодовая таблица для кириллицы приведена на следующем рисунке (взято из Фрагмента спецификации UNICODE 4.0 (Unicode Standard, Version 4.0), размещенного на сайте Unicode Consortium.

Упражнения

1. Представить десятичные числа в двоичной, восьмеричной, шестнадцатеричной системах счисления:

1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16
1799	1941	1812	1917	1380	1961	2001	1905	1914	1492	1598	1613	1584	1598	2048	1970

2. Представить двоичные числа в десятичной системе счисления:

1	2	3	4	5
1001100011101100	1010101011101111	1111100111101100	1101101110001101	1010111011101001

3. Представить восьмеричные числа в десятичной системе счисления:

1	2	3	4	5
373467	567253	736654	1630342	636532

4. Представить шестнадцатеричные числа в десятичной системе счисления:

1	2	3	4	5
A5FFB	B2FCD	3AE5C	1FBCA	F2EBD

5. Вычислить:

(F5BCD-10011011)+(BABA+DEDA)-(10011011*1101)+327Q-65Q

6. Представить десятичные дробные числа в десятичной системе счисления:

1	2	3	4	5
0,3157	0,6725	3,14159	5,9876	10,3647

7. Представить десятичные отрицательные числа в десятичной системе счисления:

1	2	3	4	5
-378	-567	-789	-198	-689

8. Вычислить и представить в двоичной системе:

0,7*(-19+(-17));     0,3*(8-(-7));     0,9*(12+(-4))

9. Вычислить, используя дополнительный код:

7-3;      -7-3;      -5+(-13);      9-(-7);      -10-10;      9-(-5)

10. Используя буквенно-цифровой код, записать:

I like Arithmetical basics of computers. We need study hard. Long live our University!

Приложение

Таблица степеней оснований основных систем счисления

Таблица соответствия первых 17 положительных чисел основных систем счисления

KOI-8R

Кодировка KOI-8R (KOИ-8, Код Обмена Информацией, 8-ми битный) позволяет кодировать 2⁸ = 256 символов, в число которых входят 31 прописная и 32 строчных букв русского алфавита, 26 прописных и 26 строчных букв латинского алфавита, 10 цифр, 32 служебных знака и специальные символы, предназначенные для управления устройствами и передачи данных. Коды в диапазоне 21-5F соответствуют одинаковым символам как для KOI-7, так и для KOI-8R.

Код

Символ

Код

Символ

Код

Символ

Код

Символ

Код

Символ

Код

Символ

Код

Символ

Код

Символ

Код

Символ

Код

Символ

20

пробел

30

0

40

@

50

P

60

\

70

p

С0

ю

D0

п

E0

Ю

F0

П

21

!

31

1

41

A

51

Q

61

а

71

q

С1

а

D1

я

E1

А

F1

Я

22

"

32

2

42

B

52

R

62

b

72

r

С2

б

D2

р

E2

Б

F2

Р

23

#

33

3

43

C

53

S

63

c

73

s

С3

ц

D3

с

E3

Ц

F3

С

24

$

34

4

44

D

54

T

64

d

74

t

С4

д

D4

т

E4

Д

F4

Т

25

%

35

5

45

E

55

U

65

e

75

u

С5

е

D5

у

E5

Е

F5

У

26

&

36

6

46

F

56

V

66

f

76

v

С6

ф

D6

ж

E6

Ф

F6

Ж

27

'

37

7

47

G

57

W

67

g

77

w

С7

г

D7

в

E7

Г

F7

В

28

(

38

8

48

H

58

X

68

h

78

x

С8

х

D8

ь

E8

Х

F8

Ь

29

)

39

9

49

I

59

Y

69

i

79

y

С9

и

D9

ы

E9

И

F9

Ы

2A

*

3A

:

4A

J

5A

Z

6A

j

7A

z

СA

й

DA

з

EA

Й

FA

З

2B

+

3B

;

4B

K

5B

[

6B

k

7B

(

СB

к

DB

ш

EB

Х

FB

Ш

2C

,

3C

<

4C

L

5C

\

6C

l

7C

|

СС

л

DC

э

EC

Л

FC

Э

2D

-

3D

=

4D

M

5D

]

6D

m

7D

)

СD

м

DD

щ

ED

М

FD

Щ

2E

.

3E

>

4E

N

5E

^

6E

n

7E

-

СE

н

DE

ч

EE

Н

FE

Ч

2F

/

3F

?

4F

O

5F

Ъ

6F

o

7F

"забой"

CF

о

DF

ъ

EF

О

FF

"забой"

26