Энтропия конечной цепи Маркова.
Энтропию цепей Маркова с вектором начальных вероятностей находим как математическое ожидание условных энтропий системы относительно всех ее состояний:
где
Нахождение энтропии цепи Маркова с вектором начальных вероятностей допускает удобную интерпретацию на графе:
Рис. 77
Энтропию цепей Маркова предлагаем находить, суммируя условные энтропии системы относительно всех ее состояний.
Теорема об асимптотическое поведение информации длинного сообщения.
Применении теоремы об асимптотическом поведении информации длинного сообщения при кодировании сообщений.
Основная теорема кодирования для цепей Маркова.
При больших n существует код, с помощью которого с высокой вероятностью исходное сообщение Cn, может быть передано последовательностью сигналов в m/H раз более короткой, чем при непосредственном кодировании.
Математическое моделирование и его применение
Математи́ческая моде́ль — это математическое представление реальности.
Математическое моделирование — процесс построения и изучения математических
моделей.
Моделирование — это опосредованное практическое или теоретическое исследование
объекта, при котором непосредственно изучается не сам интересующий нас объект, а
некоторая вспомогательная искусственная или естественная система (модель):
1. находящаяся в некотором объективном соответствии с познаваемым объектом;
2. способная замещать его в определенных отношениях;
3. дающая при её исследовании, в конечном счете, информацию о самом
моделируемом объекте.
Модели бывают:
• Линейные или нелинейные модели;
• Сосредоточенные или распределённые системы;
• Детерминированные или стохастические;
• Статические или динамические;
• Дискретные или непрерывные.
По способу представление объекта различают структурные и функциональные
модели. Структурные модели представляют объект как систему со своим устройством
и механизмом функционирования. Функциональные модели не используют таких
представлений и отражают только внешне воспринимаемое поведение
(функционирование) объекта. В их предельном выражении они называются также
моделями «чёрного ящика».
В мат. Моделировании существуют 2 задачи: прямая и обратная.
Прямая: структура модели и все её параметры считаются известными, главная задача
— провести исследование модели для извлечения полезного знания об объекте.
Например, какую нагрузку выдержит мост.
Обратная: известно множество возможных моделей, надо выбрать конкретную модель
на основании дополнительных данных об объекте. Чаще всего, структура модели
известна, и необходимо определить некоторые неизвестные параметры.
Дополнительная информация может состоять в дополнительных эмпирических
данных, или в требованиях к объекту (задача проектирования). Дополнительные
данные могут поступать независимо от процесса решения обратной задачи (пассивное
наблюдение) или быть результатом специально планируемого в ходе решения
эксперимента (активное наблюдение).