2.11.4. Кодировка unicode

К концу 1980-х годов стандартом стали 8-битные коды, при этом существовало множество разных 8-битных кодировок и постоянно появлялись все новые. Это объяснялось как постоянным расширением круга поддерживаемых языков, так и стремлением создать кодировку, частично совместимую с какой-нибудь другой (характерный пример — появление альтернативной кодировки для русского языка, обусловленное эксплуатацией западных программ, созданных для кодировки CP437). В результате появилась необходимость решения нескольких задач:

1. Проблема «кракозябр» (отображения документов в неправильной кодировке).

2. Проблема ограниченности набора символов.

3. Проблема преобразования одной кодировки в другую.

Было признано необходимым создание единой «широкой» кодировки фиксированной ширины. Использование 32-битных кодов казалось слишком расточительным, поэтому было решено использовать 16-битные коды.

Первая версия «Юникода» представляла собой кодировку с фиксированным размером кода в 16 бит, общее число кодов в ней было 2¹⁶ (65 536).

Полная 32-битная таблица «Юникод» включает символы практически всех современных письменностей. С академическими целями в эту кодировочную таблицу добавлены многие исторические письменности, в том числе: руны, древнегреческая письменность, египетские иероглифы, клинопись, письменность майя, этрусский алфавит. В «Юникоде» представлен широкий набор математических и музыкальных символов, а также пиктограмм.

2.12.1. Общие подходы к компьютерному представлению графической и звуковой информации

Для хранения и обработки графической и звуковой информации в компьютере требуются значительные вычислительные ресурсы (память и процессорное время), и, кроме того, обрабатываемая информации «естественного происхождения» должна быть представлена в специальном компьютерном виде. Главная проблема разработки такого представления заключается в том, что компьютер может обрабатывать и хранить только ограниченный объем информации, в то время как любые естественные сигналы — носители информации, — недискретны, непрерывны и неограниченны в пространстве и времени.

Для преобразования «естественной» информации в дискретную форму ее подвергают дискретизации и квантованию.

Определение. Дискретизацией (англ. discretisation) называют процедуру устранения временной и/или пространственной непрерывности естественных сигналов, являющихся носителями информации.

С информационной точки зрения графическое изображение является совокупностью световых сигналов на плоскости: отдельные световые сигналы различаются местоположением, цветовым оттенком и яркостью.

При пространственной дискретизации изображения его разбивают на небольшие области, в пределах которых параметры изображения считают неизменными.

При временной дискретизации время разбивают на небольшие интервалы, в пределах которых характеристики природных сигналов, как и в пространственном случае, считают неизменными.

Определение. Квантованием (англ. quantisation, или quantization) называют процедуру преобразования непрерывного диапазона всех возможных входных значений измеряемой величины в дискретный набор выходных значений.

Обычно при квантовании диапазон возможных значений измеряемой величины разбивается на несколько поддиапазонов. При измерении определяется поддиапазон, в который попадает значение, и в компьютере сохраняется только номер поддиапазона.

Дискретизация и квантование всегда приводят к потере некоторой доли информации. Так, компьютерное изображение живописного полотна всегда отличается от оригинала. А цифровая запись музыкального произведения или концерта (например, на компакт-диске) всегда отличается от живого звучания, даже если различие неощутимо на слух. Степень различия оригинала и цифровой копии определяет субъективное качество компьютерного представления.

Без предварительной дискретизации графической или звуковой информации компьютеры в принципе не могли бы ни обрабатывать, ни хранить подобную информацию. Это связано с тем, что информация «естественного» происхождения бесконечна. А компьютер может обрабатывать только конечные объекты. Поэтому, например, чтобы компьютер мог работать с изображениями, необходимо ограничиться запоминанием конечного количества объектов пространства (точек или областей). Дискретизация и есть способ выделения конечного числа пространственных элементов, информация о которых будет сохранена в компьютере. Информация обо всех остальных элементах пространства будет утеряна!