МАТЕРИАЛЫ
ДЛЯ ПРОВЕДЕНИЯ ПРАКТИЧЕСКИХ ЗАНЯТИЙ
ПО ДИСЦИПЛИНЕ
«ПРОГРАММНЫЕ И АППАРАТНЫЕ
СРЕДСТВА ИНФОРМАТИКИ»
Практическое занятие 1
«Меры информации»
Цель работы: экспериментальное изучение количественных аспектов информации.
Краткие теоретические сведения.
Для измерения информации на синтаксическом уровне вводятся два параметра: объем информации (данных) и количество информации.
При реализации информационных процессов информация передается в виде сообщения, представляющего собой совокупность символов какого-либо алфавита.
Если количество информации, содержащейся в сообщении из одного символа, принять за единицу, то объем информации (данных) в любом другом сообщении будет равен количеству символов (разрядов) в этом сообщении.
В современной вычислительной технике наряду с минимальной единицей измерения данных бит широко используется укрупненная единица измерения байт, равная 8 бит.
При работе с большими объемами информации для подсчета ее количества применяют более крупные единицы измерения, такие как килобайт (кбайт), мегабайт (Мбайт), гигабайт (Гбайт), терабайт (Тбайт).
Понятие «количество информации» отождествляется с понятием «информация». Эти два понятия являются синонимами. Мера информации должна монотонно возрастать с увеличением длительности сообщения (сигнала), которую естественно измерять числом символов в дискретном сообщении и временем передачи в непрерывном случае. Кроме того, на содержание количества информации должны влиять и статистические характеристики, так как сигнал должен рассматриваться как случайный процесс.
При этом накладывается ряд ограничений:
1) рассматриваются только дискретные сообщения.
2) множество различных сообщений конечно.
3) символы, составляющие сообщения равновероятны и независимы.
Хартли впервые предложил в качестве меры количества информации принять логарифм числа возможных последовательностей символов N.
(1)
Если
сообщение состоит из n
символов алфавита, при этом алфавит
состоит из m
различных символов, то 
.
Шеннон обобщил понятие меры неопределенности выбора H на случай, когда H зависит не только от числа состояний, но и от вероятностей этих состояний (вероятностей рi выбора символов алфавита).
Эту меру, представляющую собой неопределенность, приходящуюся в среднем на одно состояние, называют энтропией дискретного источника информации (средней информационной емкостью символа сообщения):
(2)
Тогда информационная емкость всего сообщения равна
,
(3)
где n – количество символов в сообщении.
Используя формулы (1) и (2), можно определить избыточность D алфавита источника сообщений A, которая показывает, насколько рационально применяются символы данного алфавита:
,
(4)
где Hmax (А) – максимально возможная энтропия, определяемая по формуле (1);
Н (А) – энтропия источника, определяемая по формуле (2).
Суть данной меры заключается в том, что при равновероятном выборе ту же информационную нагрузку на знак можно обеспечить, используя алфавит меньшего объема, чем в случае с неравновероятным выбором.
Ход работы
1. Определить объём сообщения в битах, байтах, килобайтах, мегабайтах, считая, что каждый символ кодируется одним байтом.
Пусть сообщение имеет вид: «программные_и_аппаратные_средства_информатики»
Данное сообщение содержит 45 символов. Поэтому объём сообщения составляет
360 бит = 45 байт = 0,0439 килобайт = 0,0000429 мегабайт
2. Определить количество информации (по Хартли), содержащееся в заданном сообщении.
Сообщение содержит 45 символов. Символы входят в алфавит, состоящий из 34 элементов (буквы кириллицы и символ «пробел»). Тогда количество информации по формуле Хартли равно
H = log23345 = 45 log233 227 бит
3. Построить таблицу распределения частот символов для заданного сообщения.
Таблица 1 – Таблица распределения частот для символов сообщения
Символ |
Частота |
Символ |
Частота |
а |
6 |
о |
2 |
в |
1 |
п |
3 |
г |
1 |
р |
5 |
д |
1 |
с |
2 |
е |
3 |
т |
3 |
и |
4 |
ф |
1 |
к |
1 |
ы |
2 |
м |
3 |
пробел |
4 |
н |
3 |
ИТОГО |
45 |
4. На основании полученных данных определить количество информации на один символ и полное количество информации, содержащееся в заданном сообщении (по Шеннону).
Таблица 2 – Расчётная таблица для определения количества информации по Шеннону
Символ |
Частота |
Вероятность pi |
Log2pi |
pi Log2pi |
а |
6 |
6/45 |
-2,9069 |
0,3876 |
в |
1 |
1/45 |
-5,4919 |
0,1220 |
г |
1 |
1/45 |
-5,4919 |
0,1220 |
д |
1 |
1/45 |
-5,4919 |
0,1220 |
е |
3 |
3/45 |
-3,9069 |
0,2605 |
и |
4 |
4/45 |
-3,4919 |
0,3104 |
к |
1 |
1/45 |
-5,4919 |
0,1220 |
м |
3 |
3/45 |
-3,9069 |
0,2605 |
н |
3 |
3/45 |
-3,9069 |
0,2605 |
о |
2 |
2/45 |
-4,4919 |
0,1996 |
п |
3 |
3/45 |
-3,9069 |
0,2605 |
р |
5 |
5/45 |
-3,1699 |
0,3522 |
с |
2 |
2/45 |
-4,4919 |
0,1996 |
т |
3 |
3/45 |
-3,9069 |
0,2605 |
ф |
1 |
1/45 |
-5,4919 |
0,1220 |
ы |
2 |
2/45 |
-4,4919 |
0,1996 |
пробел |
4 |
4/45 |
-3,4919 |
0,3104 |
ИТОГО |
45 |
1 |
|
3,8719 |
Тогда количество информации на один символ по формуле Шеннона приблизительно равно 4 бит
Полное количество информации равно 45 4 = 180 бит.
5. Оценить избыточность сообщения.
