Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Теория системного анализа и принятия решений в БЖД. Учебное пособие
.pdf
Теперь используем выражения (4.27), (4.28) и формулу коли-
чества информации для равновероятных событий (формулу Хартли) I = Kn
Шеннона для пропускной способности канала связи
ln m. Подставляя n и m, получаем знаменитую формулу
:
max
.EXFTI )/1(ln2
(4.29)
Источник сообщений порождает набор сообщений, а далее
осуществляет процесс кодирования: каждому элементу сообщения
присваивается несколько кодовых символов. Это обусловлено двумя причинами:
1) кодируя один символ исходного сообщения целым набором
знаков, добиваются повышения устойчивости процесса передачи
сообщения в присутствии помех (это так называемые
ющие коды
);
корректиру-
2) если символ передается с помощью двоичной системы чисел, то появляется возможность более компактного экономного
кодирования, особенно если исходный алфавит избыточен. Такие
коды называются
оптимальными, или эффективными.
При синтезе алгоритмов кодирования каждому элементу сообщения присваивается определенная совокупность кодовых комбинаций символов. Здесь совокупность кодовых комбинаций, обозначающих сообщение, тоже называется
Набор кодовых символов называется
кодом.
кодовым алфавитом.
Число кодовых символов в алфавите обозначается m и называется
основанием кода.
Число элементов, образующих кодовую комбинацию, называется длиной кода n. Если все кодовые комбинации имеют одинаковую длину, то такие коды называются
равномерными кодами.
Для них число возможных комбинаций в кодовой последовательности равно M.
Таким образом, в общем случае сообщение, которое требуется
передать или записать, представляет собой термодинамическую систему – последовательность x
, x2, x3, ..., xn элементарных сообще-
1
ний или значений случайных величин. Каждое элементарное сообщение представляет собой случайную величину X, принимающую
одно из m значений (1, ..., m) с вероятностью P(x). Система связи
состоит из следующих устройств: кодирования сообщений; моду-
90
лирования сигналов; устройства передачи по каналам связи с по-
следующей демодуляцией и декодированием в соответствующих
устройствах.
Перечисленные устройства представляют собой неравновесную термодинамическую (статистическую) систему. В технике связи
она описывается на языке теории статистики случайных процессов.
4.6. Каналы связи при наличии помех. Шенноновское
количество информации. Взаимное
количество информации
Для количественного описания отмеченных выше физических
явлений, получивших название шумов или случайных помех, Клод
Шеннон ввел физическую величину –
количество информации
связи двух случайных величин (состояний систем) или групп
случайных величин
.
Пусть имеется физический канал связи. Если x – это реализация конкретного сигнала на одном конце канала, то после прохождения сигнала по каналу связи на другом конце канала образуется
реализация преобразованного сигнала – у. Реализация конкретного
сигнала на другом конце канала у будет отличаться от х из-за
помех. В качестве
канала связи можно представить и систему хранения информации, и систему дистанционного зондирования, и систему мониторинга. Процессы искажения сигнала в подобных
системах можно количественно описать с помощью условных вероятностей перехода Р(y
/
x).
Если через Р(х) обозначить вероятность первоначального сигнала, то принятый искаженный сигнал у будет, очевидно, иметь вероятность P(y) в случае посылки одного сигнала х из множества
сигналов Х (формула полной вероятности):
(4.30)
xyPxP yP ),/()()(
X
где Р(у
/
х) – вероятность события у при условии, что произошло
событие х.
В технике эта величина иногда называется
доподобия
. Здесь учитывается, что эта величина может рассматри-
функцией прав-
ваться как функция от х. Для описания неопределенности есте-
91
ственнее ввести апостериорную вероятность P(x / y). Процесс ин-
yPxyPxPyx
P
xHx
Hyx
IIxy
xPyxPyx
I
y
xPxPyxI
терпретации, обработки сигнала, распознавания, дешифрирования
информации с точки зрения статистики описывается вероятностью
того, что будет передан сигнал х при условии, что принят сигнал у.
Такую вероятность можно вычислить с помощью формулы Байеса:
).(/)/()()/(
(4.31)
Решение уравнений (4.30) и (4.31) возможно, если есть априорные сведения о Р(х) и Р(у). Используя введенное ранее определение энтропии как неопределенности сигнала и формулу количества
информации, для данного случая можно записать
(4.32)
)./()()/( y
Здесь Н(х) – априорная энтропия сигнала х; Н(х/у) – апостериорная энтропия посланного сигнала х при условии, что был принят
сигнал y. Величину I
формации об х, содержащееся в у. Эту физическую величину I
уже отмечалось, называют еще
Величину I
формации
принято называть шенноновским количеством ин-
xy
.
можно интерпретировать как количество ин-
xy
, как
xy
взаимной (парной) информацией.
Получим выражение (4.32) более строго, опираясь на элементарные понятия теории вероятностей. Определим количество информации, заключенное в у относительно х, как
).(/)/(log)/(
(4.33)
Из выражения (4.33) получается классическое
ское) количество информации
щении х абсолютно точен (P(x
для случая, когда сигнал у о сооб-
/
y) = 1):
(бриллюэнов-
1.)/( ));(/ log(1)/(
(4.34)
Теперь, используя (4.33) и (4.35), вычислим среднюю взаимную информацию между двумя сигналами x и y и получим (4.32):
xPyxPyxPyx I
);(/)/( log ),( ),(
ср
(4.35)
92
Среднюю взаимную информацию можно представить в виде
.)/(log),(– )(log ),( ),( ),(
ср
yxPyxPx PyxPyxIyxI
Таким образом, удается описывать количественно функционирование каналов связи в присутствии помех. Для этого пришлось
ввести физическую величину I(x, y) –
личество информации
, обеспечивающей решение целого ком-
взаимное шенноновское ко-
плекса технических проблем, в том числе задачи оптимизации канала связи с наличием помех.
Очевидно, что в условиях помех, когда невозможно полностью минимизировать апостериорную энтропию H(x
/
y), важнейшей характеристикой для описания процесса передачи сигналов является количество взаимной информации (взаимная информация)
/
I(x
y). Качество передачи будет тем лучше, чем больше взаимная
информация. При этом повышение качества зависит как от повышения априорной энтропии источника H(x), так и от понижения
апостериорной энтропии приемника H(x
можно сформулировать
принцип максимизации информации.
/
y). На основе сказанного
Отметим, что в отсутствие помех принцип максимизации информации автоматически превращается в принцип максимизации энтропии.
Напомним читателю, что здесь мы используем представление
открытой термодинамической системы как системы, которая обменивается с окружающей средой только информацией (концепция
Бриллюэна – Стратоновича). Именно в рамках этой концепции
можно говорить об обобщенном втором законе термодинамики
и второй вариационной задаче статистической термодинамики.
Здесь снова требуется решать вариационную задачу. Теперь
требуется максимизировать количество информации при энергетических ограничениях и наличии помех. Эта задача получила название второй вариационной задачи статистической термодинамики.
Ее решение обеспечивает нахождение максимальной пропускной
способности канала связи при наличии помех и ограничений на
энергетику системы
. Решение этой задачи дается в стандартных
курсах по теории информации. Здесь мы лишь приведем в гл. 5 основной вывод этой теории – вторую теорему Шеннона.
93
4.7. Взаимная информация в экологических
/
xHxHxyI
и биологических системах. Принцип постоянства
внутренней среды. Гомео ст аз
Понятие о средней взаимной информации I
(xy) (далее Iср(xy) =
ср
= I(xy)) позволяет количественно и качественно описать огромный
круг явлений биологии и экологии.
Физический смысл взаимной
информации заключается в количественном описании тесной
связи между двумя взаимодействующими частями открытой
термодинамической системы
(4.32):
).
( – )( =)( y
Рассмотрим конкретный пример описания некоторых форм
поведения живых организмов. В этой ситуации физический смысл x
– это стимул, условия внешней среды, воздействующие на организм. Физический смысл y – это реакция организма на стимул.
Биологи учат, что для выживания организма требуется максимизировать связь между условиями среды и реакциями организма.
На
языке теории информации это и есть вторая вариационная зада-
ча – максимизация взаимной информации при ограничениях –
max I (x, y).
Организм будет добиваться максимума связи как выбором
своих реакций y, так и выбором стимулов x. Существование организма количественно описывается в биологии и термодинамике как
R – результат, состояние жизненно важных параметров организма.
Реакции живого организма призваны нейтрализовать действие
внешних стимулов и поддерживать единственное значение параметров организма – значение результата R.
Здесь апостериорная неопределенность H(x
/
y) (энтропия) результата сводится к нулю. Этого можно достичь, если реакции
организма однозначно связаны со стимулами (условная энтропия
равна нулю). Однако наличие внешних помех (например, голод,
усталость) не позволяет организму достигать полной определенности в отношении результата. Ему остается только уменьшать неопределенность H(x
/
y). На языке статистики это означает, что ми-
нимизируется условная энтропия системы.
94
Физическими механизмами стабильности организма являются
механизмы обратной связи. На уровне организма это регуляторные
механизмы, условные рефлексы. В биологии и экологии эти процессы обобщенно называются процессами
гомеостаза.
Однако в ряде случаев, когда априорное разнообразие H(x)
стимулов невелико, происходит узкая специализация (настройка)
механизма понижения апостериорной энтропии. На языке математики это означает, что организмы находят лишь условный минимум
апостериорной энтропии. Это обусловлено как конкретным видом
распределения стимулов, так и наличием дополнительных ограничений в процессе поиска оптимума.
Если же в дальнейшем происходит резкое повышение разнообразия H(x) стимулов окружающей среды (например, геологическая, климатическая катастрофа), то узкоспециализированные механизмы понижения апостериорной энтропии H(x
/
y) не срабаты-
вают и организм или популяция гибнут.
В процессе эволюционного развития организмы выработали
более широкий круг механизмов адаптации к внешней среде. Так,
эволюция предусмотрела стереотипы поведения, при которых организм позволяет себе поисковую активность (любопытство), т. е.
ищет новые стимулы H(x) и одновременно новые реакции H(y) ради
достижения максимума безусловной энтропии H(x). Такая стратегия обеспечивает выживание организма или популяции в условиях
резкого изменения окружающей среды.
Таким образом, полноценное описание процессов адаптации
живого организма или популяции производится уравнением взаимной информации (4.32). Биологи отмечают, что для достижения гомеостаза системы требуется максимизация взаимной информации.
Здесь, в
стериорную энтропию H(x
свою очередь, требуется минимизировать условную апо-
/
y) и максимизировать априорную энтропию H(x). На языке биологов это означает, что организм стремится приспособиться к большему разнообразию среды H(x) при
минимизации H(x
/
y). Для экосистем H(x) – это биоразнообразие,
которое обеспечивает устойчивость экосистемы в случае собственного возрастания. Системы регуляторной обратной связи обеспечивают для организмов и экосистем минимизацию H(x
/
y).
Принцип максимума информации имеет глубокую эволюци-
онную основу. И возникновение жизни, и развитие биосферы свя-
95
заны с порождением, накоплением и отбором информации. Этот
принцип действует и на высших этапах эволюции, отражаясь в различных формах человеческой деятельности, включая развитие техники и промышленных технологий. Статистическая термодинамика
показывает, что принцип максимума информации является обобщением принципа максимума энтропии для неравновесных открытых систем.
96
Гла в а 5. ПРИНЦИП МАКСИМУМА ИНФОРМАЦИИ
В ТЕХНОСФЕРЕ, ФИЗИКЕ, ТЕХНИКЕ СВЯЗИ
И ЭКОЛОГИИ. ВТОРАЯ ВАРИАЦИОННАЯ ЗАДАЧА
5.1. Вторая вариационная задача. Передача сообщений
в каналах с помехами
Рассмотрим систему типа канала связи [P(y / x), c(x), a]; [P(x),
P(x, y), c(x), a]. Здесь а – это порог, ограничивающий энергетиче-
ские с(x) возможности канала связи. На вход канала подается дискретное сообщение X (x – его конкретная реализация). Сообщение X
описывается распределением P
ние состояний источника сообщений). Поскольку в канале действуют помехи, символ (сообщение) на выходе канала связи Y описывается условным распределением P(x
можно назвать принимаемым сообщением (иначе говоря, это случайные состояния приемника). Для передачи по каналам связи
с каждым символом следует связать набор других символов
(например, буквы в каналах связи передаются цифрами со своим
алфавитом). Поскольку символ может появляться с разными вероятностями, то естественно сделать
появляются редко, кодировались меньшим числом символов (это
называется
эффективным кодированием).
В случае наличия помех передаваемое сообщение может искажаться (т. е. принимается ошибочное сообщение). Здесь исходные символы требуется кодировать таким образом, чтобы уменьшить вероятность искажения сообщения на выходе системы связи
(такое кодирование называется
Физическую суть кодирования с точки зрения термодинамики можно свести к оптимизации канала связи используя вычислительный прием поиска максимума информации при
ограничениях.
Как отмечалось ранее, системы дистанционного зондирова-
ния окружающей среды
безопасности
можно представить себе как своеобразные каналы
связи (концепция академика Ю. Н. Парийского). Отдельными
фрагментами такого канала связи могут являться: оптические лока-
(x) (иными словами, это распределе-
/
y). Случайную величину Y
так, чтобы символы, которые
помехоустойчивым).
, системы мониторинга техносферной
97
торы; среда, в которой распространяются сигналы; компьютерные
xcxyP
X
I
B
B
/
TT
P
системы анализа и хранения полученных изображений и оптических спектров. В задачах дистанционного зондирования системы
анализа изображений приобретают особое практическое значение.
Именно здесь осуществляются сегментация, распознавание и тематическое дешифрирование экологических объектов.
В этой ситуации встает вопрос количественного описания системы (канала) связи или
которая обеспечивала бы наиболее точные передачу и прием исходного сообщения. Здесь налицо неравновесная открытая термодинамическая система, для описания которой следует использовать
понятие взаимной информации. Наиболее «хорошая» система связи
должна обеспечивать максимизацию взаимной информации между
входным и принимаемым сообщениями. Именно эту максимальную
информацию и называют
Отметим, что максимизация осуществляется по всем P(x)
с учетом ограничений c(x) на возможности канала по энергии:
Но если в канале действуют помехи, то код следует конструировать таким образом, чтобы вероятность появления ошибочного
сообщения на выходе системы была как можно меньше.
Решение такой задачи сводится к поиску экстремума. Теперь
максимизируется шенноновское количество информации. Это
и есть вторая вариационная (экстремальная) задача термодинамики,
теории информации. Ищется условный экстремум
При условиях (заданных из практики) и дополнительных
ограничениях c(x), с учетом нормировки вероятностей на единицу
имеем систему уравнений
системы дистанционного зондирования,
пропускной способностью канала С.
; )( )( aXPxc Ixy.
CC sup=))(),,((=
);,(max Y
xyPxP
)/()(
xPaxPxc
C
),(
yxI
для выражения
)/(ln )/()(
xyPxyPxP
(5.2)
.
1.)( ,)()(
(5.1)
98
Вводим неопределенные множители Лагранжа
B
B
/
T
TdC
P
Формируя стандартную сумму (согласно методу множителей Лагранжа), из (5.1) и (5.2) получаем
.)()1()()(),(
xPBxPxcByxIL (5.3)
Приравняв к нулю частную производную новой функции (5.3)
(которая часто называется целевой L), получаем уравнение
где c(x) – аналог внутренней энергии; B = 1
температуры; (x) – аналог свободной энергии.
Максимальное значение количества информации, или
пускная способность канала
Вид распределения, которое является решением уравнения
(5.4) , будет таков:
где b(y) – энергия канала связи; – параметр неравновесности системы.
В ряде случаев распределение (5.5) можно представить как
нормальное. С учетом этого факта легко получить формулу (5.4).
На основе проведенных вычислений возможно рассмотреть следующую поразительную и глубокую
средняя ошибка декодирования может быть сделана сколь
угодно малой при увеличении числа символов без уменьшения
уровня помехи и без уменьшения количества передаваемой информации
систем связи, но и для систем дистанционного зондирования или
систем мониторинга техносферной безопасности, которые для ко-
.
Эта теорема имеет важный практический смысл не только для
, составляет
99
xyPxPyP
/
T – аналог обратной
.
)(– d
),()](–(–[exp=)( YybBFy
(5.5)
вторую теорему Шеннона:
xPBxPxcByPxyPxyP
).1(,
0;)() 1()()(– ))(/)/()(ln,(
(5.4) ,)/()()(
про-
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]