![](/user_photo/2706_HbeT2.jpg)
- •1 Основные разделы кибернетики.
- •2 Основоположники кибернетики
- •3 Категория управления
- •4 Определение Шеннона
- •6 Дискретная (цифровая) и непрерывная (аналоговая) информация
- •7 Процесс дискретизации
- •9 Теорема Найквиста
- •10 Вероятностный подход к измерению дискретной и непрерывной информации
- •11 Информационная энтропия
- •12 Энтропия Шеннона
- •13 Измерение количества информации
- •14 Измерение количества энтропии
- •16 Источник информации
- •18 Условная энтропия
- •19 Полная энтропия Энтропия — это количество информации, приходящейся на одно элементарное сообщение источника, вырабатывающего статистически независимые сообщения. Математические свойства
- •20 Случайная средняя энтропия
9 Теорема Найквиста
Частота Найквиста — в цифровой обработке сигналов частота, равная половине частоты дискретизации. Названа в честь Гарри Найквиста. Из теоремы Котельникова следует, что при дискретизации аналогового сигнала потерь информации не будет только в том случае, если (спектральная плотность) наивысшая частота полезного сигнала равна половине или меньше частоты дискретизации.
В
области цифровой обработки сигналов Теорема
Котельникова (в
англоязычной литературе — теорема
Найквиста — Шеннона, или
теорема отсчётов) связывает
аналоговыеидискретныесигналы
и гласит, что, еслианалоговый
сигналимеет
конечный (ограниченный по ширине)спектр,
то он может быть восстановлен однозначно
и без потерь по своимотсчётам,
взятым с частотой, большей или равной
удвоенной верхней частоте
:
10 Вероятностный подход к измерению дискретной и непрерывной информации
В
основе теории информации лежит
предложенный Шенноном способ измерения
кол-ва инф, содержащейся в одной случ
величине, отн-но др случ величины, Этот
способ приводит к выражению кол-ва инф
числом. Для дискретных случ величин и
,
заданных законами распределения
,
и
совместным распределением
, кол-во
инф,
содержащейся в
отн-но
,
равно
Для
непрерывных случ величин, и
,
заданных плотностями распределения
вероятностей
,
и
,
аналогичная формула имеет вид
.
Очевидно, что
и,
следовательно,
11 Информационная энтропия
Информационная
энтропия —
мера неопределённости или
непредсказуемости информации,
неопределённость появления какого-либо
символа первичного
алфавита.
При отсутствии информационных потерь
численно равна количеству информации
на символ передаваемого сообщения.
Энтропия —
это кол-тво инф, приходящейся на одно
элементарное сообщение источника,
вырабатывающего статистически независимые
сообщения. Энтропия дискретной
случ величины в
теории инф определяется формулой
Св-ва меры инф и энтропии:
,
и
независимы;
;
- константа;
, где
;
. Если
, то
- ф-ция от
. Если
- инъективная функция от
, то
.
12 Энтропия Шеннона
В общем случае, энтропия H и количество получаемой в результате снятия неопределенности информацииI зависят от исходного количества рассматриваемых вариантов N и априорных вероятностей реализации каждого из них P: {p0, p1, …pN-1}, т.е. H=F(N, P). Расчет энтропии в этом случае производится по формуле Шеннона, предложенной им в 1948 году в статье "Математическая теория связи".
В частном случае, когда все варианты равновероятны, остается зависимость только от количества рассматриваемых вариантов, т.е. H=F(N). В этом случае формула Шеннона значительно упрощается и совпадает с формулой Хартли, которая впервые была предложена американским инженером Ральфом Хартли в 1928 году, т.е. не 20 лет раньше. Формула Шеннона имеет следующий вид:
(1)
Знак
минус в формуле (1) не означает, что
энтропия – отриц величина. Объясняется
это тем, что pi£1 по
определению, а логарифм числа меньшего
единицы - величина отрицательная. По
свойству логарифма ,
поэтому эту формулу можно записать и
во втором варианте, без минуса перед
знаком суммы.
интерпретируется
как частное кол-во инф
,
получаемое в случае реализации i-ого
варианта. Энтропия в формуле Шеннона
является средней характеристикой –
математическим ожиданием распределения
случ величины {I0, I1, … IN-1}.