1.11 Кодирование графической информации

В процессе кодирования изображения производится его пространственная дискретизация. Изображение разбивается на отдельные маленькие фрагменты и каждому из них присваивается значение или код его цвета.

Качество двоичного кодирования изображения определяется разрешающей способностью экрана и глубиной цвета.

Глубина цвета задается количеством битов, используемых для кодировки цвета. Наиболее распространенные значения глубины цвета являются 8, 16, 24, 32 бита. Кроме этого можно задать еще уровень интенсивности цвета. Например, глубина 24 бит можно выбрать уровень  интенсивности от 0 до 255 (минимальная 00000000, максимальная 11111111).

1.12 Кодирование звуковой информации

Звук представляет собой волну с непрерывно меняющейся амплитудой и частотой. Чем больше амплитуда, тем он громче. Чем больше частота сигнала, тем выше тон. Для того чтобы компьютер мог обрабатывать звук, непрерывный звуковой сигнал должен быть превращен в последовательность электрических импульсов (двоичных нулей и единиц). 

1.13 Вероятностный подход к определению количества информации. Формулы Хартли и Шеннона

Для технических систем определение количества информации или ее объема заключается в подсчете числа символов в сообщении, т.е. связано с его длиной и не зависит от содержания.

Для измерения количества информации в компьютерных системах используют две стандартные единицы измерения: бит (binary digit) и байт (bate).

1 байт = 8 бит

Бит – минимальная единица измерения информации, которая представляет собой двоичный знак двоичного алфавита {0;1}.

Байт – единица количества информации в СИ, представляющая собой восьмиразрядный двоичный код, с помощью которого можно представить один символ.

Информационный объем сообщения (информационная емкость сообщения) - количество информации в сообщении, измеренное в стандартных единицах или производных от них (Кбайтах, Мбайтах и т.д.).

1 байт = 8 бит

1 Кбайт = 2¹⁰ байт = 1024 байт

1 Мбайт = 2¹⁰ Кбайт = 2²⁰ байт

1 Гбайт = 2¹⁰ Мбайт = 2²⁰ Кбайт = 2³⁰ байт

В теории информации количеством информации называют числовую характеристику сигнала, не зависящую от его формы и содержания, и характеризующую неопределенность, которая исчезнет после получения сообщения в виде данного сигнала. В этом случае количество информации зависит от вероятности получения сообщения о том или ином событии.

Для абсолютно достоверного события (событие обязательно произойдет, поэтому его вероятность равна 1) количество информации в сообщении о нем равно 0. Чем неожиданнее событие, тем больше информации он несет.

Лишь при равновероятных событиях: ответ «да» или «нет», несет 1 бит.

В 1928 г. американский инженер Р. Хартли предложил научный подход к оценке сообщений. Предложенная им формула имела следующий вид:

I = log₂ K ,

где К - количество равновероятных событий;

I - количество бит в сообщении, такое, что любое из К событий произошло. Тогда K=2^I.

Иногда формулу Хартли записывают так:

I = log₂K = log₂ (1 / р) = - log₂ р,

т. к. каждое из К событий имеет равновероятный исход р = 1 / К, то К = 1 / р.

Задача.

Шарик находится в одной из трех урн: А, В или С. Определить сколько бит информации содержит сообщение о том, что он находится в урне В.

Решение.

Такое сообщение содержит I = log₂ 3 = 1,585 бита информации.

Но не все ситуации имеют одинаковые вероятности реализации. Существует много таких ситуаций, у которых вероятности реализации различаются. Например, если бросают несимметричную монету или "правило бутерброда".

В 1948 г. американский инженер и математик Клод Шеннон предложил формулу для вычисления количества информации для событий с различными вероятностями. Если I - количество информации, К - количество возможных событий, рi - вероятности отдельных событий, то количество информации для событий с различными вероятностями можно определить по формуле:

I = - Sum р_i log₂ р_i,

где i принимает значения от 1 до К.

Формула Хартли является частным случаем формулы Шеннона:

I = - Sum 1 / К log₂ (1 / К) = I = log₂ К.

При равновероятных событиях получаемое количество информации максимально.

Задачи. 1. Определить количество информации, получаемое при реализации одного из событий, если бросают

а) несимметричную четырехгранную пирамидку;

б) симметричную и однородную четырехгранную пирамидку.

Решение.

а) Будем бросать несимметричную четырехгранную пирамидку. Вероятность отдельных событий будет такова:

р1 = 1 / 2,

р2 = 1 / 4,

р3 = 1 / 8,

р4 = 1 / 8,

тогда количество информации, получаемой после реализации одного из этих событий, рассчитывается по формуле:

I = -(1 / 2 log₂ 1/2 + 1 / 4 log₂ 1/4 + 1 / 8 log₂ 1/8 + 1 / 8 log₂ 1/8) = 1 / 2 + 2 / 4 + + 3 / 8 + 3 / 8 = 14/8 = 1,75 (бит).

б) Теперь рассчитаем количество информации, которое получится при бросании симметричной и однородной четырехгранной пирамидки:

I = log₂ 4 = 2 (бит).

2. Вероятность перового события составляет 0,5, а второго и третьего 0,25. Какое количество информации мы получим после реализации одного из них?

3. Какое количество информации будет получено при игре в рулетку с 32-мя секторами?

4. Сколько различных чисел можно закодировать с помощью 8 бит?

Решение: I=8 бит, K=2^I=2⁸=256 различных чисел.

Физиологи и психологи научились определять количество информации, которое человек может воспринимать при помощи органов чувств, удерживать в памяти и подвергать обработке. Информацию можно представлять в различных формах: звуковой, знаковой и др. рассмотренный выше способ определения количества информации, получаемое в сообщениях, которые уменьшают неопределенность наших знаний, рассматривает информацию с позиции ее содержания, новизны и понятности для человека. С этой точки зрения в опыте по бросанию кубика одинаковое количество информации содержится в сообщениях "два", "вверх выпала грань, на которой две точки" и в зрительном образе упавшего кубика.

При передаче и хранении информации с помощью различных технических устройств информацию следует рассматривать как последовательность знаков (цифр, букв, кодов цветов точек изображения), не рассматривая ее содержание.

Считая, что алфавит (набор символов знаковой системы) - это событие, то появление одного из символов в сообщении можно рассматривать как одно из состояний события. Если появление символов равновероятно, то можно рассчитать, сколько бит информации несет каждый символ. Информационная емкость знаков определяется их количеством в алфавите. Чем из большего количества символов состоит алфавит, тем большее количество информации несет один знак. Полное число символов алфавита принято называть мощностью алфавита.

Молекулы ДНК (дезоксирибонуклеиновой кислоты) состоят из четырех различных составляющих (нуклеотидов), которые образуют генетический алфавит. Информационная емкость знака этого алфавита составляет:

4 = 2^I, т.е. I = 2 бит.

Каждая буква русского алфавита (если считать, что е=е) несет информацию 5 бит (32 = 2^I).

При таком подходе в результате сообщения о результате бросания кубика , получим различное количество информации, Чтобы его подсчитать, нужно умножить количество символов на количество информации, которое несет один символ.

Количество информации, которое содержит сообщение, закодированное с помощью знаковой системы, равно количеству информации, которое несет один знак, умноженному на число знаков в сообщении.