Лабораторная работа №3 По теме: «Информационные модели сигналов» оценка энтропийных характеристик

Цель работы: изучение количественной меры информации. Расчёт энтропии источника дискретных сообщения

Сведения из теории

Теория информации появилась после того, как была осознана возможность измерять и количественно оценивать информацию как и другие физические величины. Информационные системы и системы управления не делают ничего, кроме передачи и обработки информации. В этой связи возникла необходимость в её хранении, а значит и количественной оценке.

Системам передачи информации присуще большое разнообразие, однако в них можно выделить элементы, без которых их функционирование не возможно. На рис. 1 показано обобщенная структурная схема системы передачи информации.

Упрощенная схема движения информации состоит в следующем. Источник формирует сообщение, которое преобразуется в электрический сигнал. Первоначально источником может быть любая физическая величина (перемещение, звук, изображение); для преобразования исходного сигнала в электрический применяется преобразователи неэлектрических величин в электрические (термопары, акселерометры, тензодатчики и др.). Информация или сообщение в виде электрического сигнала называется сигналом сообщения. Затем сигнал сообщения преобразуется в двоичный код. Передатчик формирует сигнал, способный распространяться по каналу связи, который доставляет сообщение к приёмнику. Канал представляет собой путь или линию, которая соединяет передатчик и приёмник. Приёмник выполняет функцию, обратную функции передатчика, восстанавливая исходный сигнал.

Представленная модель является идеализированной, т.к. элементы её не вносят энергетических искажений и не учитывает интерференционных (перекрёстных) помех.

Важным в этой схеме для дальнейших рассуждений является то, что источник во всех информационных системах является источником случайных сообщений, непрерывных или дискретных и может быть описан в терминах ТВ.

Общая характеристика источников

Большинство передаваемой информации имеет текстовую или аналоговую форму. Для буквенно-цифровых текстов существует несколько стандартных форматов: ASCII (American Standard Code for Information Interchange) представляет собой последовательность 8-битовых символов, вводимых с клавиатуры компьютера. При передаче аналоговой информации по дискретному каналу сообщения должны быть преобразованы в дискретный вид. Это осуществляется путём дискретизации аналогового сигнала по уровню и времени с помощью аналого-цифрового преобразователя. Таким образом, дискретный источник формирует последовательность X_i, выбранную из исходного алфавита в дискретных промежутках времени.

О пределение. Конечное множество X=(x₁, x₂,…x_m) вместе с заданными вероятностями P(X)=(p(x₁), p(x₂),… p(x_m)) называется дискретным ансамблем (сообщений).

x_1, x_2,… x_i… x_m

{X,P(x)} =

p(x₁), p(x₂),… p(x_i)….p(x_m)

Пусть источник порождает последовательность дискретных сообщений. Требуется оценить количество получаемой информации, а также представить её в двоичном виде с помощью нулей и единиц.