20. Информация Фишера.

В математической статистике и теории информации информацией Фишера называется дисперсия функции вклада выборки. Эта функция названа в честь описавшего её Рональда Фишера.

Фишеровским количеством информации, содержащемся в одном наблюдении называют:

.

21. Теорема отсчетов Котельникова или Найквиста-Шеннона.

Теорема Котельникова (в англоязычной— теорема Найквиста — Шеннона или теорема отсчётов) гласит, что, если аналоговый сигнал  имеет финитный (ограниченный по ширине) спектр, то он может быть восстановлен однозначно и без потерь по своим отсчётам, взятым с частотой, строго большей удвоенной верхней частоты  :

Такая трактовка рассматривает идеальный случай, когда сигнал начался бесконечно давно и никогда не закончится, а также не имеет во временно́й характеристике точек разрыва. Именно это подразумевает понятие «спектр, ограниченный частотой  ».

Разумеется, реальные сигналы (например, звук на цифровом носителе) не обладают такими свойствами, так как они конечны по времени и обычно имеют разрывы во временно́й характеристике. Соответственно, их спектр бесконечен. В таком случае полное восстановление сигнала невозможно и из теоремы Котельникова вытекают два следствия:

• Любой аналоговый сигнал может быть восстановлен с какой угодно точностью по своим дискретным отсчётам, взятым с частотой  , где   — максимальная частота, которой ограничен спектр реального сигнала.

• Если максимальная частота в сигнале превышает половину частоты дискретизации, то способа восстановить сигнал из дискретного в аналоговый без искажений не существует.

Говоря шире, теорема Котельникова утверждает, что непрерывный сигнал   можно представить в виде интерполяционного ряда

где   — функция sinc. Интервал дискретизации удовлетворяет ограничениям   Мгновенные значения данного ряда есть дискретные отсчёты сигнала  .

22. Математическая модель системы передачи информации

http://upis.botik.ru/upload/834c1135d3b22e2d866e683b1d4121ad.pdf

23. Энтропия. Виды энтропии. Условная энтропия.

Энтропия – поворот, превращение.

Энтропия в теории информации – мера хаотичности информации, неопределенность появления какого-либо символа первично заданного алфавита.

Если следование символов алфавита не независимо (например, во французском языке после буквы «q» почти всегда следует «u», а после слова «передовик» в советских газетах обычно следовало слово «производства» или «труда»), количество информации, которую несёт последовательность таких символов (а, следовательно, и энтропия), очевидно, меньше. Для учёта таких фактов используется условная энтропия.

Условной энтропией первого порядка (аналогично для Марковской модели первого порядка) называется энтропия для алфавита, где известнывероятности появления одной буквы после другой (то есть, вероятности двухбуквенных сочетаний):

где   — это состояние, зависящее от предшествующего символа, и   — это вероятность   при условии, что   был предыдущим символом.

Например, для русского языка без буквы «ё»  [3].

Через частную и общую условные энтропии полностью описываются информационные потери при передаче данных в канале с помехами. Для этого применяются так называемые канальные матрицы. Для описания потерь со стороны источника (то есть известен посланный сигнал) рассматривают условную вероятность   получения приёмником символа   при условии, что был отправлен символ  . При этом канальная матрица имеет следующий вид:

			…		…
			…		…
			…		…
…	…	…	…	…	…	…
			…		…
…	…	…	…	…	…	…
			…		…

Очевидно, вероятности, расположенные по диагонали, описывают вероятность правильного приёма, а сумма всех элементов столбца даёт вероятность появления соответствующего символа на стороне приёмника —  . Потери, приходящиеся на передаваемый сигнал  , описываются через частную условную энтропию:

Для вычисления потерь при передаче всех сигналов используется общая условная энтропия:

 означает энтропию со стороны источника, аналогично рассматривается   — энтропия со стороны приёмника: вместо   всюду указывается   (суммируя элементы строки можно получить  , а элементы диагонали означают вероятность того, что был отправлен именно тот символ, который получен, то есть вероятность правильной передачи).