- •1 Основные разделы кибернетики.
- •2 Основоположники кибернетики
- •3 Категория управления
- •4 Определение Шеннона
- •6 Дискретная (цифровая) и непрерывная (аналоговая) информация
- •7 Процесс дискретизации
- •9 Теорема Найквиста
- •10 Вероятностный подход к измерению дискретной и непрерывной информации
- •11 Информационная энтропия
- •12 Энтропия Шеннона
- •13 Измерение количества информации
- •14 Измерение количества энтропии
- •16 Источник информации
- •18 Условная энтропия
- •19 Полная энтропия Энтропия — это количество информации, приходящейся на одно элементарное сообщение источника, вырабатывающего статистически независимые сообщения. Математические свойства
- •20 Случайная средняя энтропия
3 Категория управления
— наука о принципах и методах управления различными системами, процессами и объектами. Суть теории управления состоит в построении математической модели на основе системного анализа объекта управления (ОУ) и синтезе алгоритма управления(АУ) для получения желаемых характеристик протекания процесса или целей управления. Сущность принципа управления заключается в том, что движение и действие больших масс или передача и преобразование больших количеств энергии направляется и контролируется при помощи небольших количеств энергии, несущих информацию. Этот принцип управления лежит в основе организации и действия любых управляемых систем: автоматических устройств, живых организмов и т.п. Подобно тому, как введение понятия энергии позволило рассматривать все явления природы с единой точки зрения и отбросило целый ряд ложных теорий.
4 Определение Шеннона
Формулу для вычисления количества информации в случае различных вероятностей событий предложил К. Шеннон в 1948 году. В этом случае количество информации определяется по формуле: ,где I - количество информации; N - количество возможных событий; рi - вероятность i-го события.
Информационная энтропия — мера неопределённости источника сообщений, определяемая вероятностями появления тех или иных символов при их передаче. Информация по Шеннону Увеличение информации эквивалентно сокращению энтропии. Первичное и самое существенное в определении энтропии - логарифм числа возможных состояний или их вероятностей.
5 Виды информации.Информация может быть двух видов: дискретная информация и непрерывная(аналоговая). Дискретная информация характеризуется последовательными точными значениями некоторой величины, а непрерывная - непрерывным процессом изменения некоторой величины. Непрерывную информацию может, например, выдавать датчик атмосферного давления или датчик скорости автомашины. Дискретную информацию можно получить от любого цифрового индикатора: электронных часов, счетчика магнитофона и т.п. Дискретная информация удобнее для обработки человеком, но непрерывная информация часто встречается в практической работе, поэтому необходимо уметь переводить непрерывную информацию в дискретную (дискретизация) и наоборот. Модем (это слово происходит от слов модуляция и демодуляция) представляет собой устройство для такого перевода: он переводит цифровые данные от компьютера в звук или электромагнитные колебания-копии звука и наоборот. Чем выше частота дискретизации, тем точнее происходит перевод непрерывной информации в дискретную. Но с ростом этой частоты растет и размер дискретных данных, получаемых при таком переводе, и, следовательно, сложность их обработки, передачи и хранения. Однако для повышения точности дискретизации необязательно безграничное увеличение ее частоты. Эту частоту разумно увеличивать только до предела, определяемого теоремой о выборках, называемой также теоремой Котельникова или законом Найквиста (Nyquist). При преобразовании дискретной информации в непрерывную, определяющей является скорость этого преобразования: чем она выше, с тем более высокочастотными гармониками получится непрерывная величина. Но чем большие частоты встречаются в этой величине, тем сложнее с ней работать.