- •Оглавление
- •Предисловие
- •Введение
- •§ 1.1. Предварительные замечания
- •§ 1.2. Роль системных представлений в практической деятельности
- •§ 1.3. Внутренняя системность познавательных процессов
- •§ 1.4. Системность как всеобщее свойство материи
- •§ 1.5. Краткий очерк истории развития системных представлений
- •Заключение
- •Литература
- •Упражнения
- •§ 2.1. Широкое толкование понятия модели
- •§ 2.2. Моделирование – неотъемлемый этап всякой целенаправленной деятельности
- •§ 2.3. Способы воплощения моделЕй
- •Insight озарение
- •§ 2.4. Условия реализации свойств моделей
- •§ 2.5. Соответствие между моделью и действительностью: различия
- •InherencEингерентность
- •§ 2.6. Соответствие между моделью и действительностью: сходство
- •§ 2.7. О динамике моделей
- •Заключение
- •Литература
- •Упражнения
- •Вопросы для самопроверки
- •§ 3.1. Множественность моделей систем
- •§ 3.2. Первое определение системы
- •Inputs входы (системы)
- •§ 3.3. Модель “черного ящика”
- •§ 3.4. Модель состава системы
- •§ 3.5. Модель структуры системы
- •§ 3.6. Второе определение системы. Структурная схема системы
- •§ 3.7. Динамические модели систем
- •Vertex вершина (графа)
- •Заключение
- •Литература
- •Упражнения
- •Вопросы для самопроверки
- •§ 4.1. Искусственные системы и естественные объекты
- •§ 4.2. Обобщение понятия системы. Искусственные и естественные системы
- •§ 4.3. Различные классификации систем
- •Variable переменная
- •§ 4.4. О больших и сложных системах
- •Заключение
- •Литература
- •Упражнения
- •Вопросы для самопроверки
- •§ 5.1. Информация как свойство материи
- •§ 5.2. Сигналы в системах
- •Information
- •Interference
- •§ 5.3. Случайный процесс – математическая модель сигналов
- •§ 5.4. Математические модели реализаций случайных процессов
- •§ 5.5. О некоторых свойствах непрерывных сигналов
- •§ 5.6. Энтропия
- •Independent независимый
- •§ 5.7. Количество информации
- •Interaction взаимодействие
- •§ 5.8. Об основных результатах теории информации
- •Заключение
- •Литература
- •Упражнения
- •Вопросы для самопроверки
- •§ 6.1. Эксперимент и модель
- •§ 6.2. Измерительные шкалы
- •Interval
- •§ 6.3. Расплывчатое описание ситуаций
- •§ 6.4. Вероятностное описание ситуаций. Статистические измерения
- •§ 6.5. Регистрация экспериментальных данных и ее связь с последующей их обработкой
- •Заключение
- •Литература
- •Упражнения
- •Вопросы для самопроверки
- •§ 7.1. Многообразие задач выбора
- •§ 7.2. Критериальный язык описания выбора
- •§ 7.3. Описание выбора на языке бинарных отношений
- •§ 7.4. Язык функций выбора
- •§ 7.5. Групповой выбор
- •Voting голосование
- •§ 7.6. Выбор в условиях неопределенности
- •§ 7.7. О выборе в условиях статистической неопределенности
- •§ 7.8. Выбор при расплывчатой неопределенности
- •§ 7.9. Достоинства и недостатки идеи оптимальности
- •§ 7.10. Экспертные методы выбора
- •§ 7.11. Человеко-машинные системы и выбор
- •§ 7.12. Выбор и отбор
- •Заключение
- •Литература
- •Упражнения
- •Вопросы для самопроверки
- •§ 8.1. Анализ и синтез в системных исследованиях
- •§ 8.2. Модели систем как основания декомпозиции
- •§ 8.3. Алгоритмизация процесса декомпозиции
- •Ignorance незнание, невежество
- •§ 8.4. Агрегирование, эмерджентность, внутренняя целостность систем
- •§ 8.5. Виды агрегирования
- •Заключение
- •Литература
- •Упражнения
- •Вопросы для самопроверки
- •§ 9.1. Что такое системный анализ
- •§ 9.2. Формулирование проблемы
- •§ 9.3. Выявление целей
- •§ 9.4. Формирование критериев
- •Values ценности
- •§ 9.5. Генерирование альтернатив
- •§ 9.6. Алгоритмы проведения системного анализа
- •§ 9.7. Претворение в жизнь результатов системных Исследований
- •Implementation внедрение (результатов)
- •§ 9.8. О специфике социальных систем
- •Заключение
- •Литература
- •Упражнения
- •Вопросы для самопроверки
- •Краткий словарь специальных терминов
- •Contents
- •Оглавление
§ 5.6. Энтропия
Установив, что случайные процессы являются адекватной моделью сигналов (см. § 5.3), мы получаем возможность воспользоваться результатами и мощным аппаратом теории случайных процессов. Кроме того, обнаружив, что некоторые типы непрерывных сигналов допускают дискретное представление (см. § 5.5), мы упрощаем задачу, сводя все к рассмотрению случайных величин.
Это не означает, что теория вероятностей и теория случайных процессов дают готовые ответы на все вопросы о сигналах: подход с новых позиций выдвигает такие вопросы, которые раньше просто не возникали. Так и родилась теория информации [9], специально рассматривающая сигнальную специфику случайных процессов. При этом были построены принципиально новые понятия (которые мы рассмотрим в данном и следующем параграфах) и получены новые, неожиданные результаты, имеющие характер научных открытий (наиболее важные из них мы обсудим в § 5.8).
ПОНЯТИЕ НЕОПРЕДЕЛЕННОСТИ
Первым специфическим понятием теории информации является понятие неопределенности случайного объекта, для которой удалось ввести количественную меру, названную энтропией. Начнем с простейшего варианта – со случайного события. Пусть, например, некоторое событие может произойти с вероятностью 0,99 и не произойти с вероятностью 0,01, а другое событие имеет вероятности соответственно 0,5 и 0,5. Очевидно, что в первом случае результатом опыта “почти наверняка” является наступление события, во втором же случае неопределенность исхода так велика, что от прогноза разумнее воздержаться.
Для характеристики размытости распределений широко используется второй центральный момент (дисперсия) или доверительный интервал. Однако эти величины имеют смысл лишь для случайных числовых величин и не могут применяться к случайным объектам, состояния которых различаются качественно, хотя и в этом случае можно говорить о большей или меньшей неопределенности исхода опыта. Следовательно, мера неопределенности, связанная с распределением, должна быть некоторой его числовой характеристикой, функционалом от распределения, никак не связанным с тем, в какой шкале измеряются реализации случайного объекта.
ЭНТРОПИЯ И ЕЕ СВОЙСТВА
Примем (пока без обоснования) в качестве меры неопределенности случайного объекта А с конечным множеством возможных состояний
А1, ..., Аn с соответствующими вероятностями p1, ..., рn величину
, (1)
которую и называют энтропией случайного объекта А (или распределения {рi}). Убедимся, что этот функционал обладает свойствами, которые вполне естественны для меры неопределенности.
10. Н(р1, ..., рn) = 0 в том и только в том случае, когда какое-нибудь одно из {рi} равно единице (а остальные – нули). Это соответствует случаю, когда исход опыта может быть предсказан с полной достоверностью, т.е. когда отсутствует всякая неопределенность. Во всех других случаях энтропия положительна. Это свойство проверяется непосредственно.
20. Н(р1, ..., рn) достигает наибольшего значения при р1 = р2 = = ... = рn = 1/n, т.е. в случае максимальной неопределенности.
Действительно, вариация Н по рi при условии рi = 1 дает рi = = const = .
30. Если А и В – независимые случайные объекты, то
Н(А В) = Н({?ik =рiqk}) = Н({рi}) + Н({qk}) = Н(А) +Н(В).
Это свойство проверяется непосредственно.
40. Если А и В – зависимые случайные объекты, то
Н(А В) = Н(А) + Н(В | А) =Н(В) +Н(А | В), (2)
где условная энтропия Н(В | А) определяется как математическое ожидание энтропии условного распределения.
Это свойство проверяется непосредственно.
50. Имеет место неравенство Н(А) Н(А | В), что согласуется с интуитивным представлением о том, что знание состояния объекта В может только уменьшить неопределенность объекта А, а если они независимы, то оставит ее неизменной.
Это свойство доказывается с помощью тождественного неравенства
,
справедливого для любой выпуклой функции f(х), если в этом неравенстве положить f(х) = хlogх, ?k = рk, хk = qk | l.
Как видим, свойства функционала Н позволяют использовать его в качестве меры неопределенности. Интересно отметить, что если пойти в обратном направлении, т.е. задать желаемые свойства меры неопределенности и искать обладающий указанными свойствами функционал, то уже только условия 20 и 40 позволяют найти этот функционал, и притом единственнымобразом (с точностью до постоянного множителя).
ДифференциальнаЯ ЭНТРОПИЯ
Обобщение столь полезной меры неопределенности на непрерывные случайные величины наталкивается на ряд сложностей. Можно по-разному преодолеть эти сложности; выберем кратчайший путь. Прямая аналогия
не приводит к нужному результату; плотность р(х) является размерной величиной*, а логарифм размерной величины не имеет смысла. Однако положение можно исправить, умножив р(х) под знаком логарифма на величину E, имеющую ту же размерность, что и х:
.
Теперь величину E можно принять равной единице измерения х, что приводит к функционалу
, (3)
который получил название дифференциальной энтропии. Это аналог энтропии дискретной величины, но аналог условный, относительный: ведь единица измерения произвольна. (Здесь [p(x)] есть безразмерное представление плотности.) Запись (3) означает, что мы как бы сравниваем неопределенность случайной величины, имеющей плотность р(х), с неопределенностью случайной величины, равномерно распределенной в единичном интервале. Поэтому величина h(Х) в отличие от Н(Х) может быть не только положительной. Кроме того, h(Х) изменяется при нелинейных преобразованиях шкалы х, что в дискретном случае не играет роли. Остальные свойства h(Х) аналогичны свойствам Н(Х), что делает дифференциальную энтропию очень полезной мерой.
Пусть, например, задача состоит в том, чтобы, зная лишь некоторые ограничения на случайную величину (типа моментов, пределов сверху и снизу области возможных значений и т.п.), задать для дальнейшего (каких-то расчетов или моделирования) конкретное распределение. Одним из подходов к решению этой задачи дает принцип максимума энтропии: из всех распределений, отвечающих данным ограничениям, следует выбирать то, которое обладает максимальной дифференциальной энтропией. Смысл этого критерия состоит в том, что, выбирая экстремальное по энтропии распределение, мы гарантируем наибольшую неопределенность, связанную с ним, т.е. имеем дело с наихудшим случаем при данных условиях.
ФУНДАМЕНТАЛЬНОЕ СВОЙСТВО ЭНТРОПИИ СЛУЧАЙНОГО ПРОЦЕССА
Особое значение энтропия приобретает в связи с тем, что она связана с очень глубокими, фундаментальными свойствами случайных процессов. Покажем это на примере процесса с дискретным временем и дискретным конечным множеством возможных состояний.