7. Понятие энтропии. Экстремальное значение энтропии.

Статистическая устойчивость – среднее количество информации, которое представлено каждой буквой алфавита и умноженное на количество букв.

Среднее количество информации, представляемых каждой буквой алфавита, называется энтропией алфавита. Если все буквы статистически независимы, то - среднее количество информации, представляемое каждой буквой при том, что все буквы статистиически независимы. , где - объем информации, представляемый текстом, а - общее количество букв в тексте. При разном наборе букв энтропия будет различной. Если мы не учитываем пробелов.

Свойство полной группы событий (условие нормировки):

.

Наличие статистических зависимостей между буквами уменьшает энтропию, которая тем меньше, чем больше статистическая зависимость.

8. Характеристики точности представления первичного сигнала.

Не все множество значений являются информацией, а только те значения, которые являются различимыми.

Они задаются той точностью воспроизведения и знания параметров, необходимых для того, чтобы использовать этот параметр для целенаправленных действий.

- ошибка (различие). Если величина ошибки приемлема для потребителя, тогда все в порядке. Оценка сигнала получается потому, что не все значения мы представляем потребителю и по этой части значений мы воспроизводим вид параметра.

Количественные показатели величины ошибки для её определения.

Используют числовые статистические характеристики ошибки представления параметра Y_j(t). Существуют 2 варианта представления:

Мощностная (если Y_j(t) преобразуем в характеристику ЭМ поля)

- второй начальный момент ошибки (первый начальный момент ошибки – это мат. ожидание).

*Если преобразовать в какую-либо характеристику (например, мощность), то - мощность, которая выделяется единичным током в единичном сопротивлении.

– дисперсия, мощность переменной составляющей ошибки;

- мощность постоянной составляющей ошибки;

- относительная среднеквадратическая ошибка;

– динамический диапазон (разность наибольшего и наименьшего значений).

Интервальная оценка ошибки (вероятность того, что величина не превысит допустимого значения)

Потребитель с учетом разрешающей способности задает допустимую величину ошибки.

9. Понятие производительности источника. От чего зависит производительность источника.

Производительность источника информации.

В силу того, что параметр, содержащий информацию, представляет собой непрерывную функцию, характеризующуюся 2-мя бесконечностями, представляющие для нас бесконечны объем информации в единицу времени, если не учитывать логическое свойство информации. Но как только мы учли это свойство мы понимаем, что не все значения параметра содержат информацию. Количество информации зависит от той точности, с которой необходимо воспроизвести параметр потребителю. Существует такой min объем информации в единицу времени, который необходим потребителю для воспроизведения информационного параметра с точностью, которая необходима ему (с точностью, которую он может использовать). Это является реальной скоростью генерации информации.

- эпсилан-энтропия. Эта величина зависит от точности, требуемой потребителем.

Чем больше точность, тем больше производительность источника (т.е. больше ). Если зафиксировать точность, то количество информации зависит от того, как меняется состояние системы. Чем быстрее меняется состояние системы при той же точности, тем больше нужно количества информации в единицу времени для воспроизведения параметра, тем больше производительность источника. Имеет смысл до транспортировки параметра потребителю выделить то множество дискретизированных значений, которое минимально необходимо потребителю. Этот процесс множества дискретизированных значений по уровню называется цифровым представлением информационного параметра