Федеральное государственное бюджетное образовательное учреждение

высшего профессионального образования

«Национальный исследовательский

Томский политехнический университет»

Юргинский технологический институт (филиал)

Федерального государственного бюджетного образовательного учреждения высшего профессионального образования «национальный исследовательский

Томский политехнический университет»

Лабораторная работа №1

По дисциплине: «Информационные системы в экономике».

На тему: «Изучение связи между вероятностью

появления элемента источника сообщения и энтропией источника».

Выполнил:

студент гр. 17870 Коробейников Д.А.

Проверил:

доцент, к.т.н.

кафедры ИС Григорьева М.В.

Юрга 2012

Цель работы: Изучение вероятностного подхода к понятию количества информации. Исследование зависимости между вероятностью появления символа источника информации и его энтропией. Получение и закрепление навыков работы в MS Excel.

Ход работы:

1. Для выполнения задания выбрали текст своего варианта (В-8).

Текст: Генетическая информация определяет морфологическое строение, рост, развитие, обмен веществ, а также иные признаки организма.

2. Найдем:

а) Алфавит источника русских букв (исходя из заданного текста);

б) Количество (K) источника русских букв (количество букв в полученном алфавите);

в) Количество появлений каждой i-ой буквы в тексте - ;

г) Определим для каждой буквы алфавита частоту ее появления по следующей

формуле: ;

д) Для каждой буквы алфавита найдем значение энтропии (количества информации содержащееся в i-ой букве) по формуле: ;

е) Энтропию источника русских букв по формуле: ;

ж) Энтропию источника русских букв при условии, что появление всех символов равновероятно.

Все вычисления выполним в программе Microsoft Excel (рис.1).

3. Решение:

Заданный текст: Генетическая информация определяет морфологическое строение, рост, развитие, обмен веществ, а также иные признаки организма.

Количество символов в тексте М=103

По подобию расчетов в приведенном примере (пример расчетов приведен ниже), произведем аналогичные расчеты:

В ячейке С21 формула = СУММ(С3:С20)

В ячейках D3-D20 формула = Cx/C21 (x – меняется от 3 до 20)

В ячейке D21 формула = СУММ(D3:D20)

В ячейках E3-E20 формула =-log(Dx;2) (x – меняется от 3 до 20)

В ячейках F3-F20 формула =Ex*Dx (x – меняется от 3 до 20)

В ячейке F21 формула = СУММ(F3:F20)

В итоге:

К=24 (количество источника русских букв)

ni=103 (количество появлений каждой i-ой буквы в тексте)

pi=1 (частота появления буквы)

hi= от 6,686 до 2,686 (значение энтропии)

hi * pi =4,093 (энтропия источника русских букв)

Буква	n[i]	P[i]	h[i]	h[i]* p[i]	Hmax
д	1	0,01	6,6438562	0,0664386	4,584963
ж	1	0,01	6,6438562	0,0664386
п	1	0,01	6,6438562	0,0664386
г	1	0,01	6,6438562	0,0664386
ш	1	0,01	6,6438562	0,0664386
я	1	0,01	6,6438562	0,0664386
ь	1	0,01	6,6438562	0,0664386
л	1	0,01	6,6438562	0,0664386
с	2	0,02	5,6438562	0,1128771
к	2	0,02	5,6438562	0,1128771
ц	2	0,02	5,6438562	0,1128771
в	2	0,02	5,6438562	0,1128771
ы	2	0,02	5,6438562	0,1128771
ю	2	0,02	5,6438562	0,1128771
х	2	0,02	5,6438562	0,1128771
ч	3	0,03	5,0588937	0,1517668
ф	3	0,03	5,0588937	0,1517668
й	3	0,03	5,0588937	0,1517668
м	3	0,03	5,0588937	0,1517668
т	4	0,04	4,6438562	0,1857542
з	5	0,05	4,3219281	0,2160964
р	5	0,05	4,3219281	0,2160964
о	7	0,07	3,8365013	0,2685551
а	8	0,08	3,6438562	0,2915085
н	11	0,11	3,1844246	0,3502867
е	11	0,11	3,1844246	0,3502867
и	15	0,15	2,7369656	0,4105448
К=27	100	1		4,217844

Рисунок 1. «Необходимые вычисления в программе Microsoft Excel»

4. Построим график зависимости энтропии элемента от вероятности его появления (рис.2).

Рисунок 2. «График зависимости энтропии элемента от

вероятности его появления»

Вывод: в ходе выполнения лабораторной работы мы исследовали зависимости между вероятностью появления символа источника информации и его энтропией. И закрепили исследование на практике.