Задания / Лаба_2

ЛАБОРАТОРНАЯ РАБОТА № 2

«ОПРЕДЕЛЕНИЕ КОЛИЧЕСТВА ИНФОРМАЦИИ И ЭНТРОПИИ В СЛУЧАЙНЫХ ДИСКРЕТНЫХ СООБЩЕНИЯХ О СОСТОЯНИИ ФИЗИЧЕСКОЙ СИСТЕМЫ»

Цель лабораторной работы: по каналу связи передается информационное сообщение о состоянии физической системы в виде последовательности дискретных значений случайных величин. Каждое численное значение сообщения отражает определенное состояние физической системы. Вариант задания получить у преподавателя.

Методические указания к выполнению лабораторной работы.

Очевидно, что если бы состояние физической системы было бы известно заранее, не было бы смысла передавать сообщение. Поэтому в качестве объекта, о котором передается информация, будем рассматривать некоторую физическую систему Х, которая случайным образом может оказаться в том или ином состоянии, т.е. систему, которой заведомо присуща какая-то степень неопределенности.

Мера Хартли имеет размерность в битах, если основание логарифма равно 2. Логарифмическая мера информации обладает свойством аддитивности, т.е. количество информации содержащемся в нескольких независимых сообщениях равно сумме количеству информации в каждом из них.

Получение информации об интересующей нас величине заключается в уменьшении неопределенности ее значения. При этом важно знать значение среднего количества информации на одно сообщение источника, которое математически совпадает с энтропией H(x), введенное основоположником теории информации К. Шенноном. Энтропия H(x) есть мера неопределенности исхода случайного опыта или события.

Энтропию сообщения определяют на основе следующих суждений:

Пусть источник информации передает m сообщений P(x_i): P(x₁),…. P(x_m-1), P(x_m).

Тогда под энтропией H(х) понимают:

где P(x) – вероятность наступления события

Для закона распределения P(x) непрерывных случайных величин энтропию определяют:

Для закона распределения P(x) дискретных случайных величин энтропию определяют, заменой интеграла на соответствующую сумму.

Обратим внимание еще на одну полезную трактовку понятия энтропии физической системы. Энтропия системы H(x) – произведение вероятностей различных состояний системы на логарифм этих состояний, взятая с обратным знаком.

Свойства энтропии:

1. энтропия всегда положительная величина, т.к. вероятности наступления отдельных событий всегда меньше единицы;

2. энтропия источника равна нулю, если вероятность появления одного из событий равна единице (тогда источник не несет информации);

3. источник будет обладать наибольшей энтропией, если его сообщения могут принимать m значений: P₁=P₂=P₃….P_m =1/m

4. максимум энтропии имеет место для системы из двух равновероятных независимых событий.

5. энтропия обладает свойством аддитивности, т.е. когда несколько независимых

Порядок выполнения работы

1. Ввести в компьютер исходные сообщения о состоянии физической системы.

2. Определить меру Хартли и энтропию информационных сообщений.

3. Построить график распределения вероятностей поступления сообщений.

4. Используя в качестве основания логарифмов числа 2, 10 и 2,73, определить меру Хартли дискретных сообщений в битах, дитах и натах.

5. Построить графики для меры Хартли в битах, дитах и натах.

6. Определить количество информации, содержащемся в слове из n букв русского алфавита, если вероятности появления букв одинаковы, а сами буквы независимы друг от друга. Как изменится количество информации при увеличении букв в словах в 2 и 3 раза?

7. Выполнить п.7 для английского алфавита.

8. Оформить отчет и сдать его преподавателю. Исходные данные об информационном сообщении и все результаты расчетов должны быть сведены в таблицы

Контрольные вопросы

1. Дайте определения понятиям: информация, данные, вероятность события, меры измерения информации, мера Хартли, энтропия.

2. На основе анализа графиков распределения вероятностей наступления дискретных сообщений и энтропии объясните полученные результаты.

3. Разъясните, почему наибольшее распространение получила единица измерения меры Хартли в битах, а не в дитах?

4. Разъясните различия в графиках меры Хартли сообщений в зависимости от основания логарифмов.

5. Какой закон распределения вероятностей поступления дискретных сообщений рассмотренный в лабораторной работе. На каком основании это можно утверждать?

6. Для каких дискретных значений информационного сообщения энтропия максимальная. Чем определяется такая закономерность?

7. Для каких дискретных значений информационного сообщения энтропия минимальная. Чем определяется такая закономерность?

Список использованных источников

1. Душин В.К.Теоретические основы информационных процессов и систем: Учебник.-2-е изд. Издательско-торговая корпорация «Дашков и К°»,2006-348 с.

2. Вентцель Е.С. Теория вероятностей. М.: Высшая школа,1969.-576 с.