2. Количество информации

Количество информации I, содержащееся в выбранном сообщении, определяется формулой Хартли:   I = log₂N, когда происходит выбор одного сообщения из конечного наперёд заданного множества из N равновероятных сообщений.

(Напомним, бит в теории информации — количество информации, необходимое для различения двух равновероятных сообщений).

Другая формулировка формулы Хартли 2 ^I= N где I– количество информации в битах, N – неопределенность.

Мощность алфавита – это количество символов в алфавите или неопределенность из формулы Хартли.

Информационный вес одного символа – это значение I из формулы Хартли. Отсюда можно сделать вывод, что не существует алфавита, состоящего из одного символа, поскольку тогда информационный вес этого символа был бы равен 0.

Информационный объем текста

Дано: Книга содержит 150 страниц. На каждой странице - 40 строк, в каждой строке 60 символов (включая пробелы).

Найти информационный объем текста.

Решение:

Подсчитаем количество символов в книге: 60 * 40 * 150 = 360 000 символов. Поскольку 1 символ составляет 1 байт, информационный объем книги равен 360 000 байтов, или 360 000 / 1024 = 351,56 Кб, или 351,56 / 1024 = 0,34 Мб

Задачечки

А) Поезд находится на одном из восьми путей. Сколько бит информации содержит сообщение о том, где находится поезд?

Б) Сколько существует различных двоичных последовательностей из одного, двух, трех, четырёх, восьми символов?

В) Каков информационный объём сообщения "Я помню чудное мгновенье" при условии, что один символ кодируется одним байтом и соседние слова разделены одним пробелом?

Г) Сколько бит необходимо, чтобы закодировать оценки: "неудовлетворительно", "удовлетворительно", "хорошо" и "отлично"?

2. Кодирование числовой информации

Числовая информация, как и любая другая, хранится и обрабатывается в компьютерах в двоичной системе счисления – числа представляются в виде последовательностей нулей и единиц. Существуют два вида чисел и два способа их представления: форма с фиксированной точкой и форма с плавающей точкой. Форма с фиксированной точкой применяется для целых чисел, форма с плавающей точкой – для вещественных (действительных) чисел. ЭВМ оперирует с числами, содержащими конечное число двоичных цифр (разрядов). Количество разрядов ограничено длиной разрядной сетки машины. Под разрядной сеткой понимается совокупность двоичных разрядов, предназначенных для хранения и обработки машинных слов (двоичных кодов). Количество двоичных разрядов и положение запятой в разрядной сетке машины определяют такие важные характеристики ЭВМ, как точность и диапазон представляемых чисел. Двоичные разряды в форматах формируются слева направо (начиная с нулевого разряда).

Кодирование целых чисел

Целые числа в компьютере хранятся в памяти в формате с фиксированной запятой. В этом случае каждому разряду разрядной сетки соответствует всегда один и тот же разряд числа. Целые числа без знака (положительные) – для их хранения может отводиться последовательность из 8, 16 или 32-х бит памяти. Например, максимальное 8-битное число A₂ = 11111111₂ будет храниться следующим образом (прямой код):

Максимальное значение целого неотрицательного числа достигается в случае, когда во всех ячейках хранятся единицы и равно 2^N-1, где N – разрядность числа. Для 8-разрядных целых положительных чисел оно будет равно 2⁸ - 1 = 255, для 16-разрядных 2¹⁶- 1 = 65 535, для 32-разрядных 2³² - 1 = 4 294 967 295.

Диапазоны значений целых чисел без знака

Формат числа в байтах	Диапазон
	Запись с порядком	Обычная запись
1	0 ... 28-1	0 ... 255
2	0 ... 216-1	0 ... 65535

Примеры:

а) число 72₁₀ = 1001000₂ в однобайтовом формате:

б) это же число в двубайтовом формате:

в) число 65535 в двубайтовом формате:

 

Целые числа со знаком (могут быть положительные и отрицательные) – при их хранении используется последовательность из 8, 16 или 32-х бит памяти, причем старший бит (первый слева) обозначает знак числа – 0 - положительное, 1 – отрицательное.

Обычно занимают в памяти компьютера один, два или четыре байта, при этом самый левый (старший) разряд содержит информацию о знаке числа.

Диапазоны значений целых чисел со знаком

Формат числа в байтах	Диапазон
	Запись с порядком	Обычная запись
1	-27 ... 27-1	-128 ... 127
2	-215 ... 215-1	-32768 ... 32767
4	-231 ... 231-1	-2147483648 ... 2147483647

Рассмотрим особенности записи целых чисел со знаком на примере однобайтового формата, при котором для знака отводится один разряд, а для цифр абсолютной величины - семь разрядов.

В компьютерной технике применяются три формы записи (кодирования) целых чисел со знаком: прямой код, обратный код, дополнительный код.

Последние две формы применяются особенно широко, так как позволяют упростить конструкцию арифметико-логического устройства компьютера путем замены разнообразных арифметических операций операцией cложения.

Положительные числа в прямом, обратном и дополнительном кодах изображаются одинаково  -  двоичными кодами с цифрой 0 в знаковом разряде. Например:   

Отрицательные числа в прямом, обратном и дополнительном кодах имеют разное изображение.

1. Прямой код. В знаковый разряд помещается цифра 1, а в разряды цифровой части числа — двоичный код его абсолютной величины. Например:   

2. Обратный код. Получается инвертированием всех цифр двоичного кода абсолютной величины числа, включая разряд знака: нули заменяются единицами, а единицы — нулями. Например:   

3. Дополнительный код. Получается образованием обратного кода с последующим прибавлением единицы к его младшему разряду. Например:   

Обычно отрицательные десятичные числа при вводе в машину автоматически преобразуются в обратный или дополнительный двоичный код и в таком виде хранятся, перемещаются и участвуют в операциях. При выводе таких чисел из машины происходит обратное преобразование в отрицательные десятичные числа.

Кодирование вещественных чисел

Для того чтобы представить действительное число X в виде набора целых чисел (двоичных – для представления в компьютерной памяти), его необходимо привести к нормализованной форме:

X =± M·N^P;

где M – мантисса (дробная часть), N – основание системы счисления, а P – порядок числа.

Для десятичной системы счисления нормальная форма

X = ±M 10^P, для двоичной X ± M 2^P. Например, число 22.22₁₀ в таком виде будет выглядеть, как +0, 2222·10² (при записи чисел в памяти ЭВМ ноль и запятая отсутствуют). Таким образом, действительные число на компьютерах хранится в двоичной системе счисления в виде:

где S – признак знака числа. Поскольку размер памяти, отводимый под мантиссу и порядок, ограничен, то действительные числа представляются с некоторой погрешностью, определяемой количеством разрядов в мантиссе числа, и имеют определенный диапазон изменения, определяемый количеством разрядов в порядке числа.

Кодирование изображений

Изображение – некоторая двумерную область, свойства каждой точки (pixel, пиксель) которой могут быть описаны (координаты, цвет, прозрачность…). Множество точек называется растром (bit map, dot matrix, raster), однако для хранения может использоваться и векторное представление информация, где изображение представлено в виде набора графических объектов с их координатами и свойствами (линия, овал, прямоугольник, текст и т. п.). На мониторе и в растровых изображениях число пикселей по горизонтали и по вертикали называют разрешением (resolution). Каждый пиксель изображения нумеруется, начиная с нуля слева направо и сверху вниз.

Для представления цвета используются цветовые модели. Цветовая модель (color model) – это правило, по которому может быть определен цвет. Самая простая двухцветная модель – битовая. В ней для описания цвета каждого пикселя (чѐрного или белого) используется всего один бит. Для представления полноцветных изображений используются несколько более сложных моделей. Известно, что любой цвет может быть представлен как сумма трѐх основных цветов: красного, зелѐного и синего. Если интенсивность каждого цвета представить числом, то любой цвет будет выражаться через набор из трѐх чисел. Так определяется наиболее известная цветовая RGB-модель (Red-Green-Blue). На каждое число отводится один байт. Так можно представить 224 цвета, то есть примерно 16, 7 млн. цветов. Белый цвет в этой модели представляется как (1, 1, 1), чѐрный – (0, 0, 0), красный (1, 0, 0), синий (0, 0, 1). Жѐлтый цвет является комбинацией красного и зелѐного и потому представляется как (1, 1, 0).

Цветные изображения могут иметь различную глубину цвета (бит на точку 4, 8, 16, 24). Каждый цвет можно рассматривать как возможное состояние точки, и тогда по формуле N = 21 может быть вычислено количество цветов, отображаемых на экране монитора.

Таблица 3.3. Количество отображаемых цветов

Изображение может иметь различный размер, который определяется количеством точек по горизонтали и по вертикали. В современных персональных компьютерах обычно используются четыре основных размера изображения или разрешающих способностей экрана: 640*480, 800*600, 1024*768 и 1280*1024 точки.

Для того чтобы на экране монитора формировалось изображение, информация о каждой его точке (цвет точки) должна храниться в видеопамяти компьютера. Рассчитаем необходимый объем видеопамяти для графического режима (800*600 точек, 16 бит на точку).

Всего точек на экране: 800 * 600 = 480000

Необходимый объем видеопамяти: 16 бит * 480000 = 7680000 бит = 960000 байт = 937,5 Кбайт.

Аналогично рассчитывается необходимый объем видеопамяти для других графических режимов.

Таблица Объем видеопамяти для различных графических режимов

Режим экрана	Глубина цвета (бит на точку)
4	8	16	24
640 на 480	150 Кбайт	300 Кбайт	600 Кбайт	900 Кбайт
800 на 600	234 Кбайт	469 Кбайт	938 Кбайт	1,4 Мбайт
1024 на 768	384 Кбайт	768 Кбайт	1,5 Мбайт	2,25 Мбайт
1280 на 1024	640 Кбайт	1,25 Мбайт	2,5 Мбайт	3,75 Мбайт

Современные компьютеры обладают такими техническими характеристиками, которые позволяют обрабатывать и выводить на экран, так называемое «живое видео», т.е. видеоизображение естественных объектов.

Кодирование звуковой информации

Каждый компьютер, имеющий звуковую плату, микрофон и колонки, может записывать, сохранять и воспроизводить звуковую информацию. С помощью специальных программных средств (редакторов аудиофайлов) открываются широкие возможности по созданию, редактированию и прослушиванию звуковых файлов. Создаются программы распознавания речи и появляется возможность управления компьютером при помощи голоса

Звуковой сигнал - это непрерывная волна с изменяющейся амплитудой и частотой. Звук можно описать в виде совокупности синусоидальных волн определѐнных частоты и амплитуды. Частота волны определяет высоту звукового тона, амплитуда – громкость звука. Частота измеряется в герцах (Гц, Hz). Диапазон слышимости для человека составляет от 20 Гц до 17000 Гц (или 17 кГц). Задача цифрового представления звука сводится измерению интенсивности звука через заданный интервал времени (например, 48 раз за 0, 001 секунды). Чем больше амплитуда сигнала, тем он громче для человека, чем больше частота сигнала, тем выше тон Для того чтобы компьютер мог обрабатывать непрерывный звуковой сигнал, он должен быть дистретизирован, те превращен в последовательность электрических импульсов (двоичных нулей и единиц)

При двоичном кодировании непрерывного звукового сигнала он заменяется серией его отдельных выборок- отсчетов

Каждая выборка фиксирует реальную амплитуду сигнала и присваивается ей определенное, наиболее близкое, дискретное значение. Чем большее количество дискретных значений может обеспечить звуковая карта и чем большее количество выборок производится за 1 секунду, тем точнее процедура двоичного кодирования

Современные звуковые карты могут обеспечить кодирование 65536 различных уровней сигнала или состояний. Для определения количества бит, необходимых для кодирования, решим показательное уравнение

65536 = 21, т к 65536 = 216 , то I = 16 бит

Таким образом, современные звуковые карты обеспечивают 16-битное кодирование звука. При каждой выборке значению амплитуды звукового сигнала присваивается 16-битный код.

Количество выборок в секунду может быть в диапазоне от 8000 до 48000, т е частота дискретизации аналогового звукового сигнала может принимать значения от 8 до 48 Кгц. При частоте 8 Кгц качество дискретизированного звукового сигнала соответствует качеству радиотрансляции, а при частоте 48 Кгц - качеству звучания аудио-CD. Следует также учитывать, что возможны как моно-, так и стерео-режимы

Можно оценить информационный объем моноаудиофайла длительностью звучания 1 секунду при среднем качестве звука (16 бит, 24 Кгц) Для этого количество бит на одну выборку необходимо умножить на количество выборок в 1 секунду

16 бит * 24000 = 384000 бит = 48000 байт » 47 Кбайт

5 Кодирование видеоинформации

Видеоинформация – наиболее сложный вид для хранения, обработки и воспроизведения. Впервые движущиеся изображения были сохранены на кинопленке в виде большого количества отдельных кадров изображения, заснятых через небольшие промежутки времени (24 кадра в секунду). Позднее на ту же пленку стала записываться и звуковая дорожка (в последующем несколько дорожек для многоканального звука). Далее появилось телевидение с аналоговой записью движущегося изображения на магнитные ленты (системы телевидения PAL и SECAM используют 25 кадров в секунду, система NTSC – 29, 97 кадров в секунду). С появлением компьютеров широкое распространение получили цифровые методы записи и кодирования видеоинформации, которые постоянно совершенствуются. В настоящее время каждый может записать видео с использованием мобильных телефонов, цифровых фото- и видеокамер и выполнить монтаж видеофильма на персональных компьютерах, производительности которых достаточно для перекодирования видео высокого разрешения объемом в несколько гигабайт (но продолжительность кодирования может составлять несколько часов). Компьютерные цифровые методы кодирования видео могут использовать частоту телевизионных стандартов PAL/SECAM или NTSC, т. к. видеозаписи многих цифровых форматов могут воспроизводиться как специальными компьютерными программами, так и бытовыми DVDплеерами, а также путем подключения телевизора к компьютеру (для передачи видео и звука следует использовать порт HDMI). Качество видеоизображения в цифровых методах постоянно улучшается. Широкое распространение цифрового видео было связано с появление вначале CD-дисков, затем DVD, далее Blu-Ray дисков, на которых, в основном, и распространялись кинофильмы, и емкостью которых ограничивались качественные возможности. Стандарты кодирования видео разрабатываются группой экспертов в области цифрового видео MPEG (Moving Picture Experts Group) Международной Организацией по Стандартизации (ISO).

Сжатие (архивация) различных видов информации

Дискретное двоичное представление информации обычно имеет некоторую избыточность. Часто в информации присутствуют последовательности одинаковых битов или их групп. Объѐм информации имеет большое значение не только для хранения, но также непосредственно влияет на скорость передачи информации по компьютерным сетям. Поэтому были разработаны специальные методы (алгоритмы) сжатия информации (data compression), с помощью которых можно существенно уменьшить ее объѐм. Существуют как универсальные алгоритмы, которые рассматривают информацию, как простую последовательность битов, так и специализированные, которые предназначены для сжатия информации определѐнного типа (изображений, текста, звука и видео). Все алгоритмы сжатия оперируют входным потоком информации, минимальной единицей которой является, бит, а максимальной – несколько бит, байт или несколько байт. Основными техническими характеристиками процессов сжатия и результатов их работы являются: степень сжатия (compress rating) или отношение (ratio) объемов исходного и результирующего потоков; скорость сжатия – время, затрачиваемое на сжатие некоторого объема информации входного потока, до получения из него эквивалентного выходного потока; качество сжатия – величина, показывающая, насколько сильно упакован выходной поток, при помощи применения к нему повторного сжатия по этому же или иному алгоритму. Все способы сжатия можно разделить на две категории: обратимое и необратимое сжатие. Необратимое сжатие – такое преобразование входного потока информации, при котором выходной поток, основанный на определенном формате информации, представляет собой объект, достаточно похожий по внешним характеристикам на входной поток, однако отличается от него объемом. Степень сходства входного и выходного потоков определяется степенью соответствия некоторых свойств объекта (до сжатия и после), представляемого данным потоком информации. Такие подходы и алгоритмы используются для сжатия информации растровых графических файлов, видео и звука. При таком подходе используется свойство структуры данного формата файла и возможность представить информацию приблизительно схожую по качеству для восприятия человеком. Поэтому, кроме степени или величины сжатия, в таких алгоритмах возникает понятие качества, т.к. исходная информация в процессе сжатия изменяется. Под качеством можно понимать степень соответствия исходной и результирующей информации, оцениваемое субъективно, исходя из формата информации. Для графических файлов такое соответствие определяется визуально, хотя имеются и соответствующие интеллектуальные алгоритмы и программы. Необратимое сжатие невозможно применять в областях, в которых необходимо иметь точное соответствие информационной структуры входного и выходного потоков. Данный подход реализован в популярных форматах представления фотоинформации – JPEG, TIFF, GIF, PNG и др., аудио информации – MP3, видео информации – MPEG-4. Обратимое сжатие всегда приводит к снижению объема выходного потока информации без изменения его информативности, т.е. без потери информационной структуры.