
- •0.1.Роль системных представлений в практической деятельности человека
- •0.2.Краткая историческая справка.
- •0.3.Анализ и синтез в познании
- •0.4.Построение общей теории систем
- •0.5.Основные проблемы информатики и информационных систем
- •0.6.Контрольные вопросы
- •1.Основы теории систем
- •1.1.Системы и их основные свойства.
- •1.1.1.Модель "черный ящик"
- •1.1.2.Сложности построения модели "черный ящик"
- •1.1.3.Множественность входов и выходов
- •1.1.4.Модель состава системы
- •1.1.5.Модель структуры системы
- •1.2.Классификация систем.
- •1.3.Особенности функционирования систем.
- •1.3.1.Пространство состояний системы.
- •1.3.2.Преобразования в системах.
- •1.3.3.Устойчивость систем.
- •1.3.4.Особенности управления сложных систем.
- •1.4.Критерии эффективности сложных систем.
- •1.5.Основы разработки и исследования сложных систем.
- •1.5.1.Основные этапы разработки сложных систем
- •1.5.2.Основные задачи исследования сложных систем.
- •1.6.Контрольные вопросы
- •2.Информационные системы
- •2.1.Автоматизированные информационные системы
- •2.1.1.Содержание и структура теории ис
- •2.1.2.Предметная область аис
- •2.1.3.Взаимодействие предметной области, пользователей и аис
- •2.1.4.Классификация, состав и структура аис
- •2.2.Интегрированные корпоративные ис
- •2.2.1.Основы построения икис
- •2.2.2.Базовая концепция икис «Галактика»
- •2.3.Основные виды обеспечения аис
- •2.3.1.Информационное обеспечение аис
- •2.3.2.Средства обработки данных
- •2.3.3.Интерфейсы пользователя
- •2.3.4.Классификация программного обеспечения аис
- •2.3.5.Операционные системы
- •2.3.6.Средства автоматизации проектирования аис
- •2.3.7.Программное обеспечение интерфейсов аис
- •2.3.8.Техническое обеспечение аис
- •2.3.9.Нормативно - техническое обеспечение качества, эффективности и безопасности аис
- •2.4.Контрольные вопросы
- •3.Информация в системах
- •3.1.Кодирование информации и алфавиты
- •3.2.Сигналы в системах
- •3.2.1.Понятие сигнала
- •3.2.2.Типы сигналов
- •3.3.Математическая модель сигналов
- •3.3.1.Непредсказуемость – основное свойство сигналов.
- •3.3.2.Классы случайных процессов
- •3.4.Математические модели реализаций случайных процессов
- •3.4.1.Моделирование конкретных реализаций
- •3.4.2.Некоторые модели ансамбля реализации.
- •3.5.О некоторых свойствах непрерывных сигналов
- •3.5.1.Частотно – временное представление сигналов
- •3.6.Цифровое представление непрерывных сигналов
- •3.6.1.Особенности цифрового представления непрерывных сигналов. Решетчатые функции.
- •3.6.2.Особенности прохождения непрерывного сигнала в цифровых системах.
- •3.7.Энтропия
- •3.7.1.Понятие неопределенности
- •3.7.2.Энтропия и ее свойства
- •3.7.3.Дифференциальная энтропия
- •3.7.4.Фундаментальное свойство энтропии случайного процесса.
- •3.8.Количество информации
- •3.8.1.Количество информации как мера снятой неопределенности
- •3.8.2.Количество информации как мера соответствия случайных объектов
- •3.8.3.Свойства количества информации
- •3.8.4.Единицы измерения энтропии и количества информации
- •3.9.Основные результаты теории информации
- •3.9.1.Избыточность
- •3.9.2.Скорость передачи и пропускная способность
- •3.9.3.Кодирование в отсутствии шумов
- •3.9.4.Кодирование при наличии шумов
- •3.10.Контрольные вопросы
- •4.Декомпозиция и агрегирование систем
- •4.1.Модели систем как основание декомпозиции
- •4.2.Алгоритмизация процесса декомпозиции
- •4.2.1.Компромиссы между полнотой и простотой
- •4.2.2.Типы сложности
- •4.3.Алгоритм декомпозиции
- •4.4.Агрегирование, эмерджентность и внутренняя целостность систем
- •4.4.1.Эмерджентность как проявление внутренней целостности систем
- •4.4.2.Эмерджентность как результат агрегирования
- •4.5.Виды агрегирования
- •4.5.1.Конфигуратор
- •4.5.2.Агрегаты-операторы
- •4.5.3.Классификация как агрегирование
- •4.5.4.Статистики как агрегаты
- •4.5.5.Агрегаты - структуры
- •4.6.Обобщенная модель агрегата
- •4.7.Некоторые особенности моделирования процесса функционирования агрегата.
- •4.8.Агрегативные системы.
- •4.9.Контрольные вопросы
- •5.Эксперимент в анализе систем
- •5.1.Измерительные шкалы
- •5.1.1.Шкалы наименования
- •5.1.2.Порядковые шкалы
- •5.1.3.Модифицированные порядковые шкалы
- •5.1.4.Шкалы интервалов
- •5.1.5.Шкалы отношений
- •5.1.6.Шкалы разностей
- •5.1.7.Абсолютная шкала
- •5.2.Расплывчатое описание ситуаций
- •5.3.Вероятностное описание ситуаций. Статистические измерения
- •5.3.1.Понятие случайной неопределенности
- •5.3.2.О природе случайности
- •5.3.3.Статистические измерения
- •5.3.4.Регистрация экспериментальных данных и ее связь с их последующей обработкой
- •5.4.Классификационные модели
- •5.5.Числовые модели
- •5.6.Особенности протоколов наблюдений
- •5.7.Контрольные вопросы
- •6.Приложение
- •6.1.Пример структуры аис.
- •6.1.1.Краткая характеристика аис
- •6.2.Иерархическая информационно-функциональная модель (взаимосвязанные диаграммы потоков данных) аис.
- •7.Библиографический список
3.7.Энтропия
Установив, что случайные процессы являются адекватной моделью сигналов, мы получаем возможность воспользоваться результатами и мощным аппаратом теории случайных процессов. Кроме того, обнаружив, что некоторые типы непрерывных сигналов допускают дискретное представление, мы упрощаем задачу, сводя все к рассмотрению случайных величин.
Это не означает, что теория вероятностей и теория случайных процессов дают готовые ответы на все вопросы о сигналах: подход с новых позиций выдвигает такие вопросы, которые раньше просто не возникали. Так и родилась теория информации, специально рассматривающая сигнальную специфику случайных процессов. При этом были построены принципиально новые понятия, которые мы рассмотрим далее, и получены новые результаты, имеющие характер научных открытий.
3.7.1.Понятие неопределенности
Первым специфическим понятием теории информации является понятие неопределенности случайного объекта, для которой удалось ввести количественную меру, названную энтропией. Начнем с простейшего варианта — со случайного события. Пусть, например, некоторое событие может произойти с вероятностью 0,99 и не произойти с вероятностью 0,01, а другое событие имеет вероятности соответственно 0,5 и 0,5. Очевидно, что в первом случае результатом опыта "почти наверняка" является наступление события, во втором же случае неопределенность исхода так велика, что от прогноза разумнее воздержаться.
Для характеристики размытости распределений широко используется второй центральный момент (дисперсия) или доверительный интервал. Однако эти величины имеют смысл лишь для случайных числовых величин и не могут применяться к случайным объектам, состояния которых различаются качественно, хотя и в этом случае можно говорить о большей или меньшей неопределенности исхода опыта. Следовательно, мера неопределенности, связанной с распределением, должна быть некоторой его числовой характеристикой, функционалом от распределения, никак не связанным с тем, в какой шкале измеряются реализации случайного объекта.
3.7.2.Энтропия и ее свойства
Примем (пока без обоснования) в качестве
меры неопределенности случайного
объекта А с конечным множеством возможных
состояний
с соответствующими вероятностями
величину
(28)
которую и называют энтропией случайного
объекта А (или распределения
Убедимся, что этот функционал обладает
свойствами, которые вполне естественны
для меры неопределенности.
.
=
0 в том и только в том случае, когда
какое-нибудь одно из
равно единице (а остальные — нули). Это
соответствует случаю, когда исход опыта
может быть предсказан с полной
достоверностью, т.е. когда отсутствует
всякая неопределенность. Во всех других
случаях энтропия положительна. Это
свойство проверяется непосредственно.
2°.
достигает наибольшего значения при
случае максимальной неопределенности.
Действительно, вариация Н по
при условии
дает
3°. Если А и В — независимые случайные
объекты, то
Это свойство проверяется непосредственно.
4°. Если А и В — зависимые случайные объекты, то
где условная энтропия
определяется как математическое ожидание
энтропии условного распределения.
Это свойство проверяется непосредственно.
5°. Имеет место неравенство
,
что согласуется с интуитивным
представлением о том, что знание состояния
объекта В может только уменьшить
неопределенность объекта А, а если они
независимы, то оставит ее неизменной.
Это свойство доказывается с помощью тождественного неравенства
справедливого для любой выпуклой функции
,
если в этом неравенстве положить
Как видим, свойства функционала Н позволяют использовать его в качестве меры неопределенности. Интересно отметить, что если пойти в обратном направлении, т.е. задать желаемые свойства меры неопределенности и искать обладающий указанными свойствами функционал, то уже только условия 2° и 4° позволяют найти этот функционал, и притом единственным образом (с точностью до постоянного множителя).