6.Виды информации

Информация может быть двух видов: дискретная(цифровая) и непрерывная(аналоговая). Дискретная информация характеризуется последовательным точными значениями некоторой величины, а непрерывная- непрерывным процессом изменения некоторой величины. Непрерывную информацию может выдавать датчик атмосферного давления или датчик скорости автомашин. Дискретную информацию можно получить от любого цифрового индикатора: электронных часов, счетчик магнитофона и т.п.

Дискретная информация удобнее для обработки человеком, но непрерывная информация часто встречается в практической работе, поэтому необходимо уметь переводить непрерывную информацию в дискретную и наоборот. Модем представляет собой устройство для такого перевода: он переводит цифровые данные от компьютера в звук или электромагнитные колебания-копии звука и наоборот.

7. Процесс дискретизации, частота дискретизации

Дискретная информация удобнее для обработки человеком, но непрерывная информация часто встречается в практической работе, поэтому необходимо уметь переводить непрерывную информацию в дискретную и наоборот. Модем представляет собой устройство для такого перевода : он переводит цифровые данные от компьютера в звук или электромагнитные колебания-копии звука и наоборот.

При переводе непрерывной информации в дискретную важна так называемая частота дискретизации , определяющая период (Т=1/ ) определения значения непрерывной величины.

Чем выше частота дискретизации, тем точнее происходит перевод непрерывной информации в дискретную. Но с ростом этой частоты растет и размер дискретных данных, получаемых при таком переводе , сложность их обработки, передачи и хранения. Однако для повышения точности дискретизации частоту дискретизации необходимо увеличивать только до предела, определяемого теоремой о выборках или законом Найквиста.

Любая непрерывная величина описывается множеством наложенных друг на друга волновых процессов, называемых гармониками, определяемых функциями вида , где А-амплитуда, w-частота, t- время, -фаза.

8. Теорема Найквиста

Теорема Найквиста связывает аналоговые и дискретные сигналы и гласит, что, если аналоговый сигнал   имеет конечный (ограниченный по ширине) спектр, то он может быть восстановлен однозначно и без потерь по своим отсчётам, взятым с частотой, большей или равной удвоенной верхней частоте  :

теорема Котельникова утверждает, что непрерывный сигнал   можно представить в виде интерполяционного ряда:

где   — функция sinc. Интервал дискретизации удовлетворяет ограничениям   Мгновенные значения данного ряда есть дискретные отсчёты сигнала  .

9.Вероятностный подход к измерению дискретной информации

В основе теории информации лежит предложенный Шенноном способ измерения количества информации, содержащейся в одной случайной величине, относительно другой случайной величины. Этот способ приводит к выражению количества информации числом.

Для дискретных случайных величин   и  , заданных законами распределения  ,   и совместным распределением  , количество информации, содержащейся в   относительно  , равно