1. Количество информации при равновероятности состояний источника сообщений.

2. Закодировать методом Шеннона-Фано восемь сообщений, если вероятности их появлений равны: =0,2; =0,18; =0,16; =0,14; =0,12; =0,10; =0,06; =0,04.

3. Определить энтропии h(X) и h(y), если задана матрица вероятностей состояний системы, объединяющей источники X и y:

4. Метод сжатия JPEG.

5. Хеширование.

1) Сообщения разнятся как по своей природе, так и по содержанию и по назначению. В связи с этим возникают трудности в оценке количества информации, которое содержится в сообщениях. Количество информации должно определяться через нечто общее, объективно присущее всему многообразию различной информации, оставаясь при этом созвучным нашим интуитивным представлениям, связанным с фактом получения информации. Этим общим, характеризующим фактом получения произвольной информации, является, во-первых, наличие опыта. Во-вторых, до опыта должна существовать некоторая неопределенность в том или ином исходе опыта.

Теперь ясно, что для установления формулы для вычисления количества информации необходимо уметь вычислять неопределенность некоторой ситуации до и после опыта. Разность между этими количествами неопределенности и дает нам искомое количество информации, полученное от такого опыта.

К количеству информации (неопределенности до опыта) можно предъявить три интуитивных требования.

1. Количество получаемой информации больше в том опыте, у которого большее число возможных исходов.

Обозначая количество информации буквой I, а число возможных исходов n, первый постулат запишем в виде: если (2.1)

2. Опыт с единственным исходом несет количество информации, равное нулю, т.е.

(2.2)

3. Количество информации от двух независимых опытов равно сумме количества информации от каждого из них: (2.3)

Итак, количество информации от опыта с N исходами при условии, что после опыта неопределенность отсутствует: (2.4)

Выбор постоянной С и основания логарифмов здесь несущественен, так как определяет только масштаб на единицу неопределенности. Поэтому положим С = 1, а = 2. Тогда

Такая мера удовлетворяет требованию аддитивности. Емкость устройства состоящего из n ячеек, имеющего N = mⁿ состояний, равна емкости одной ячейки, умноженной на число ячеек:

(2.6)

За единицу измерения емкости принята двоичная единица или bit, равная емкости одной ячейки с двумя возможными состояниями.

Если от источника информации по каналу связи передавать сообщение о событии, априорная вероятность которого на передающей стороне равна Р₁, то после приема сообщения апостериорная вероятность этого события для приемника информации равна Р₂ и количество информации, полученное в результате приема сообщения, будет (2.7)

Для канала связи без помех и искажений прием сообщения становится достоверным событием, т.е. вероятность Р₂ = 1, тогда из (2.7) следует, что (2.8)

Из (2.8) следует, что чем меньше вероятность Р₁, тем больше неопределенность исхода, т.е. тем большее количество информации содержится в принятом сообщении.

Значение Р₁ находится в пределах следовательно, всегда положительная величина.

Количество информации , где Р – вероятность события, было положено в основу и было исходной точкой создания теории информации.

2) Построим код Шеннона-Фано

Сообщения	Вероятности появления сообщения	Деление сообщения на группы	Код Шеннона-Фано
х1	0,2	11	11
х2	0,18	101	101
х3	0,16	100	100
х4	0,14	011	011
х5	0,12	010	010
х6	0,10	001	001
х7	0,06	0001	0001
х8	0,04	0000	0000

3)

Результаты сведем в таблицу

Р(хi/xj)	х1	х2	х3
у1	0,17	0,35	0,37
у2	0,33	0,07	0,26
у3	0,5	0,59	0,58

Подставляя полученные значения вероятностей, получим:

Н(Х)=-(0,05log0,17+0,05log0,33+0,15log0,5+0,1log0,35+0,02log0,07+0,17log0,59+0,15log0,37+

+0,08log0,26+0,18log0,58)=1,2284 бит

Н(У)=-(0,05log0,17+0,1log0,35+0,15log0,37+0,1log0,33+0,02log0,07+0,08log0,26+0,15log0,5+

+0,17log0,59+0,18log0,58)=1,3079 бит

4) Итак, JPEG-сжатие состоит из следующих этапов:

– Разбиение изображения на блоки размером 8х8 пикселов.

– Применение к каждому из блоков дискретного косинусного преобразования.

– Округление коэффициентов DCT в соответствии с заданной матрицей весовых коэффициентов.

– Преобразование матрицы округленных коэффициентов DCT в линейную последовательность путем их зигзагообразного чтения.

– Кодирование повторений для сокращения числа нулевых компнент.

– Статистическое кодирование результата кодом Хаффмена или арифметическим кодом.

Декодирование производится точно так же, но в обратном порядке.

Существенными положительными сторонами алгоритма сжатия JPEG являются:

– возможность задания в широких пределах (от 2 до 200) степени сжатия;

– возможность работы с изображениями любой разрядности;

– симметричность процедур сжатия – распаковки.

К недостаткам можно отнести наличие ореола на резких переходах цветов - эффект Гиббса, а также распадение изображения на отдельные квадратики 8х8 при высокой степени сжатия.

5) хеширование пароля, создает уникальный локальный идентификатор защиты (SID – Security IDentifer) для данного пользователя .

Из википедии: Хеширование (иногда «хэширование», англ. hashing) — преобразование по детерминированному алгоритму входного массива данных произвольной длины в выходную битовую строку фиксированной длины. Такие преобразования также называются хеш-функциями или функциями свёртки, а их результаты называют хешем, хеш-кодом или сводкой сообщения (англ. message digest).

Хеширование применяется для построения ассоциативных массивов, поиска дубликатов в сериях наборов данных, построения достаточно уникальных идентификаторов для наборов данных, контрольное суммирование с целью обнаружения случайных или намеренных ошибок при хранении или передаче, для хранения паролей в системах защиты (в этом случае доступ к области памяти, где находятся пароли, не позволяет восстановить сам пароль), при выработке электронной подписи (на практике часто подписывается не само сообщение, а его хеш-образ).

В общем случае однозначного соответствия между исходными данными и хеш-кодом нет в силу того, что количество значений хеш-функций меньше, чем вариантов входного массива; существует множество массивов с разным содержимым, но дающих одинаковые хеш-коды — так называемые коллизии. Вероятность возникновения коллизий играет немаловажную роль в оценке качества хеш-функций.

Билеты№6, 23

1. Энтропия ансамбля.

2. Закодировать методом Хаффмана восемь сообщений, если вероятности их появлений равны: =0,30; =0,17; =0,13; =0,13; =0,10; =0,07; =0,06; =0,04.

3. На вход линии связи, в которой действует помеха, поступает сообщение Х в двоичном коде в виде X=11000110. На выходе линии связи зафиксирована последовательность Y=11110011. Определить точные и среднее количество информации, содержащееся в Y о Х. Указание: для удобства расчётов обозначить Х =ААВВВААВ и Y = CCCCDDCC.

4. Система шифрования квадратом Полибиуса. Показать на примере.

5. Арифметическое кодирование. Показать на примере.

1) Ансамблем называется полная совокупность состояний с вероятностями их появлений, составляющими в сумме единицу: (2.9) причем

Пусть имеет место N возможных исходов опыта, из них k разных, и i-й исход (i = 1, 2,..., k) повторяется n_i раз и вносит информацию, количество которой оценивается как I_i . Тогда средняя информация, доставляемая одним опытом, равна (2.10)

Но количество информации в каждом исходе согласно (2.8) будет (2.11)

Тогда (2.12)

Но отношение представляют собой частоты повторения исходов, а следовательно, могут быть заменены их вероятностями: . (2.13)

Подставляя (2.13) в (2.12), получим

Полученную величину К. Шеннон назвал энтропией и обозначил буквой Н, бит:

. (2.14)

Энтропия Н представляет собой логарифмическую меру беспорядочности состояния источника сообщений и характеризует степень неопределенности состояния этого источника. Получение информации – это процесс раскрытия неопределенности.

В информационных системах неопределенность снижается за счёт принятой информации, поэтому численно энтропия Н равна среднему количеству информации, несомой произвольным исходом x_i, т.е. является количественной мерой информации.

Если все k различных состояний источника равновероятны, то ,энтропия максимальна и из (2.14) имеем . (2.15)

2) Построим код Хаффмана

Код P(x_i)  Кодовое дерево

1 1 0,30 1

1 01 0,17 1 0,60 1

0,30 0

100 0,13 0

0 11 0,13 1 1

0,23 1

010 0,10 0

0 01 0,07 1 0,40 0

0 001 0,06 1 0,17 0

0,10 0

0000 0,04 0