Методическое пособие 362
.pdfФГБОУ ВПО «Воронежский государственный технический университет»
Кафедра систем информационной безопасности
МЕТОДИЧЕСКИЕ УКАЗАНИЯ
к практическим занятиям по дисциплине «Теория информации и кодирования» для студентов специальности
090302 «Информационная безопасность телекоммуникационных систем» очной формы обучения
Воронеж 2014
Составитель канд. техн. наук О. В. Поздышева
УДК 621.382.82
Методические указания к практическим занятиям по дисциплине «Теория информации и кодирования» для студентов специальности 090302 «Информационная безопасность телекоммуникационных систем» очной формы обучения / ФГБОУ ВПО «Воронежский государственный технический университет»; сост. О. В. Поздышева. Воронеж, 2014. 63 с.
Методические указания к практическим занятиям содержат материал, направленный на углубленное изучение лекционного материала и приобретение практических навыков при решении различных задач кодирования информации.
Методические указания подготовлены в электронном виде в текстовом редакторе MS Word 2013 и содержатся в файле Поздышева_ПЗ_ТИиК.pdf.
Табл. 2. Ил. 3. Библиогр.: 8 назв.
Ответственный за выпуск зав. кафедрой д-р техн. наук, проф. А. Г. Остапенко
Издается по решению редакционно-издательского совета Воронежского государственного технического университета
© ФГБОУ ВПО «Воронежский государственный технический университет», 2014
1.КОЛИЧЕСВЕННАЯ ОЦЕНКА ИНФОРМАЦИИ
1.1.Основные сведения
Общее число неповторяющихся сообщений, которое может быть составлено из алфавита m путем комбинирования по n символов в сообщении,
N = mn. |
( 1 . 1 ) |
Неопределенность, приходящаяся на символ первичного (кодируемого) алфавита, составленного из равновероятных и взаимонезависимых символов,
H = logm. |
(1.2) |
Причем, первичный алфавит составлен из m1 символов (качественных признаков), при помощи которых записано передаваемое сообщение. Вторичный алфавит состоит из т2 символов, при помощи которых сообщение трансформируется в код [6, 8].
Основание логарифма влияет лишь на удобство вычисления. В случае оценки энтропии:
а) в двоичных единицах
H = log2m бит/символ;
б) в десятичных единицах
H = lgm дит/символ,
где log2m = 3,32 lgm, 1 бит≈0,3дит;
в) в натуральных единицах
H = lnm нат/символ,
где log2m= 1,443 lnm, 1 бит≈0,693нат.
Так как информация есть неопределенность, снимаемая при получении сообщения, то количество информации может быть представлено как произведение общего числа сообщений k на среднюю энтропию H, приходящуюся на одно сообщение:
I = kH бит. |
(1.3) |
Для случаев равновероятных и взаимонезависимых символов первичного алфавита количество информации вkсообщениях алфавита m равно
I =klog2m бит.
Для неравновероятных алфавитов энтропия на символ алфавита
|
1 |
|
бит |
|
|
|
= ∑ |
= − ∑ |
, |
(1.4) |
|||
|
|
|||||
2 |
2 символ |
|
|
|||
=1 |
|
=1 |
|
|
|
|
|
|
|
|
|||
а количество информации в сообщении, составленном из k неравновероятных символов,
= − ∑ |
|
бит. |
(1.5) |
|
2 |
|
|
=1
При решении задач, в которых энтропия вычисляется как сумма произведений вероятностей на их логарифм, вероятности всегда должны представлять группу полных событий, независимо от того, являются ли они безусловными р(аi), условными p(ai/bj) или вероятностями совместных событий р(аibj).
Количество информации определяется исключительно характеристиками первичного алфавита, объем — характеристиками вторичного алфавита. Объем информации
Q = klср, |
(1.6) |
где lср — средняя длина кодовых слов вторичного алфавита.
2
Для равномерных кодов (все комбинации кода содержат одинаковое количество разрядов)
Q = kn,
где п—длина кода (число элементарных посылок в коде). Согласно (3), объем равен количеству информации, если lср = H, т. е. в случае максимальной информационной нагрузки на символ сообщения. Во всех остальных случаях I<Q.
1.2. Типовые примеры
Пример 1.2.1. Чему равно количество информации при получении 8 сообщений равномерного четырехзначного троичного кода?
Решение. Число качественных признаков m = 3. В коде они комбинируются по 4, т. е. n = 4. Число сообщений такого кода N= mn = З4. Энтропия на одно сообщение Н = log2N = = 4 log23. Количество информации в 8 сообщениях
I = 84log2 3 = 50.72 бит.
Примечание. Можно считать количество информации, определив энтропию на букву, блок, страницу и т. д. Количество информации в определенном объеме определяется умножением полученного значения энтропии соответственно на число букв, блоков, страниц.
Пример 1.2.2. На ВЦ постоянная информация хранится в 32768 стандартных ячейках. Сколькими способами можно передать сведения о том, из какой ячейки можно извлечь данные постоянной информации? Чему равно количество информации в каждом случае? Какое геометрическое построение хранилища позволит передавать эту информацию минимальным количеством качественных признаков?
Решение. Пронумеровать все ячейки и передавать номер,
3
в этом случае
I = n log2m = 1 .log2 32 768 = 15 бит.
Расположить ячейки квадратом и передавать номер ячейки по вертикали и горизонтали. Число сообщений при этом равно двум:
I = пlog2m = 2 log2 32 768 = log2 32 768 = 15 бит.
Расположить ячейки в форме куба и передавать три координаты. Число сообщений при этом равно трем:
= 3 log2 3√32768 = 15 бит.
Куб — форма, обеспечивающая наименьшее m. Разместить, например, постоянную информацию в 64 шкафа, внутри каждого шкафа расположить ячейки в форме куба. При этом придется передавать отдельно номер шкафа и номер ячейки в шкафу. Общее количество информации
I= I1 + I2.
Количество качественных признаков для передачи номера ячейки и номера шкафа тремя сообщениями соответственно равны:
I1 = log2 N1 = log2 64 = 6 бит,
I2 = log2 N2 = log2512 = 9 бит,
I = I1 + I2 = 6 бит + 9 бит = 15 бит.
Примечание. С точки зрения уменьшения количества качественных признаков число шкафов, на которое целесообразно разбивать хранилище, должно быть таким, чтобы m2≤m1. В нашем примере для четвертого случая
1 = 3√512 = 8; 2 = 3√64 = 4.
4
Пример 1.2.3. Чему равна энтропия системы, состоящей из k взаимонезависимых подсистем, если:
1)каждая подсистема состоит из n элементов, каждый из которых с равной вероятностью может находиться в m состояниях;
2)подсистема S1 состоит из n1 элементов, подсистема S2 состоит из n2 элементов и т.д., подсистема Sk состоит из nk элементов, каждый из которых может с равной вероятностью находиться в т состояниях;
3)каждая подсистема состоит из разного количества элементов, которые с разной вероятностью могут находиться в одном из состояний?
Решение. 1) Находим энтропию одной подсистемы
H = log2mn.
Общая энтропия системы равна сумме энтропий отдель-
ных подсистем
общ = ∑ = log2 .
=1
2) Определяем энтропию отдельных подсистем
общ = log2 11 ; 2 = log2 22 ; … ; = log2 .
Общая энтропия системы
общ = 1 + 2 + + =
= log2 11 + log2 22 + + log2 =
= log2( 11 22 … ) = log2 ∏ .
=1
3) Определяем энтропию на один элемент подсистемы
|
|
1 |
|
|
= − ∑ |
log |
|
; … ; |
= ∑ |
log |
|
. |
1 |
1 |
|
2 1 |
|
|
|
2 |
|
|
=1 |
|
|
|
=1 |
|
|
|
5
Определяем энтропию отдельных подсистем
′ = ; ′ |
= ; … ; ′ |
= . |
|||||
1 |
1 1 |
2 |
2 |
2 |
|
|
|
Общая энтропия системы |
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
= ∑ = ′ |
+ ′ |
+ + ′ . |
|
|||
общ |
|
|
1 |
2 |
|
|
|
=
Пример 1.2.4. Определить энтропию полной многоуровневой иерархической системы, количество элементов которой на каждом уровне связано зависимостью in = Кп, где К — основание системы, n — номер иерархического уровня. При этом считается, что корень графа, представляющего иерархическое дерево системы, расположен на нулевом уровне. Каждый элемент системы может находиться с равной вероятностью в m состояниях.
Решение. Количество элементов N-уровневой системы
= ∑ .
=1
Энтропия системы
= 2 = ∑ 2 .
=0
Пример 1.2.5. Определить энтропию иерархической системы, заданной графом (рис. 1), если каждый элемент системы (узел графа) может с равной вероятностью находиться в трех состояниях.
6
Рис. 1. Граф к примеру 1.2.5
Решение. Из структуры графа находимК = 2; N = 2. Общее количество элементов L = 7. Зная число состояний каждого элемента m = 3 и общее число элементов, находим
H = log2mL =log2 37 = 7 log2 3 = 7 · 1,58 = 11,06 бит/состояние.
1.3. Типовые задачи
Задача 1.3.1. Символы алфавита обладают двумя качественными признаками, а) Какое количество сообщений можно получить, комбинируя по 3, 4, 5 и 6 элементов в сообщении?
б) Какое количество информации приходится на один элемент таких сообщений?
Ответ. m = 2; а) N1 = 23 = 8; N2 = 24 = 16; N3 = 25 = 32; N4 = 26 = 64.
б) I1 = log2 8 = 3 бит; I2 = log2 16 = 4 бит; I3 = log232 = = 5бит; I4 = log2 64 = 6 бит.
Задача 1.3.2.Известно, что одно из равновероятных возможных сообщений несет 3 бита информации. Из скольких качественных признаков состоит алфавит, если N = 8?
Ответ. N = mn ; 8 = mn ; т.е. m = 2, т.к. H = log2N = = log2 8 = 3 может быть только в случае, если N = mn = 23.
7
Задача 1.3.3. Чему равна вероятность появления комбинации 10110 при передаче пятизначных двоичных кодов? Чему равно среднее количество информации, приходящейся на одну комбинацию?
Ответ. Если коды встречаются в сообщениях с равной вероятностью, то p = 1 / N, где N = mn; т.к. m = 2, n = 5, то p = 1 / 32 = 0.0312; I = log2 32 = 5 бит.
Задача 1.3.4. Сообщения составлены из равновероятного алфавита, содержащего m = 128 качественных признаков. Чему равно количество символов в принятом сообщении, если известно, что оно содержит 42 бита информации? Чему равна энтропия этого сообщения?
Ответ. n = 6; H = 7 бит/состояние.
Задача 1.3.5. Определить энтропию системы, состоящей из двух подсистем. Первая подсистема состоит из трех элементов, каждый из которых может находиться в двух состояниях с вероятностями p1= 0,6; p2= 0,4. Вторая подсистема состоит из двух элементов, каждый из которых может находиться в трех состояниях с вероятностями p1 = 0,1; р2 = 0,4; р3 = 0,5.
Ответ. H1’ = 2.91 бит/состояние; H2’= 2.72 бит/состояние;
Hобщ = 5.63 бит/состояние.
8