Специальные главы информатики и вычислительной техники. Учебник
.pdf71 |
1. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ИНФОРМАЦИИ |
|
|
для векторов zi(i = 1, 2, …, n) при непрерывном преобразовании существуют измеримые безусловные и условные вероятности p(x), p(z), p(x/z), p(z/x) для каждого xi. При наличии случайного шума, приводящего к ошибкам в измерениях X и преобразовании X → Z, получаемая средняя информация, содержащаяся в сигнале Z относительно X, определяется по формуле
∞ ∞ |
|
I(Z,X)=− ∫ ∫p(x)p(z/x)log p(x)dxd + |
|
−∞−∞ |
|
∞ ∞ |
|
+ ∫ ∫p(x)p(x /z)log p(x /z)dxdz. |
(1.42) |
−∞−∞
Минимальное значение этой информации зависит не только от параметра точности e, определяемого уравнением искажений реализаций X, Z, но и от характера их статистической связи. Поэтому выражение (1.42) минимизируется при заданном e путем отыскания экстремального распределения p(x/z). Минимальное количество взаимной информации (1.42) найдем при варьировании всей совокупности z и p(x/z) по всем измеримым вероятностям. В результате получим
∞ ∞ |
|
I(Z,X)=− ∫ ∫p(x)p(x /z)log p(x)dxd − |
|
−∞−∞ |
|
∞ ∞ |
|
−max ∫ ∫p(x)p(x /z)log p(x /z)dxdz. |
(1.43) |
−∞−∞
Зададим меру отличия x(t) от z(t) в виде d(x,z). Одним из вариантов задания d(x,z) является разность
d(x,z)= x(t)−z(t). |
(1.44) |
Введение меры (1.44) позволяет найти параметр e в виде
Md2 (x,z)≤ e2 (x,z), |
(1.45) |
гдеМ – оператор математического ожидания.
СПЕЦИАЛЬНЫЕ ГЛАВЫ ИНФОРМАТИКИ И ВЫЧИСЛИТЕЛЬНОЙ ТЕХНИКИ |
72 |
|
|
Тогда (1.45) означает ограничение на дисперсию ошибки. Поэтому мерой потерь информации можно считать критерий квадратической ошибки
e(x,z)=(x −z)2 . |
(1.46) |
Критерий (1.46) соответствует гауссовскому распределению вероятностей. Для него определим величину взаимной информации (1.43). Пусть процесс X имеет дисперсию Tx2. Согласно (1.46) дисперсия процесса Z равна Tz2 = Tx2 – e. Известно, что свертка гауссовских распределений будет также гауссовским распределением с дисперсией, равной сумме дисперсий составляющих, а условное распределение p(x/z) является гауссовским с дисперсией, равной e. Согласно (1.43) определим минимальное количество получаемой информации при заданных искажениях и ограничениях на моменты второго порядка:
∞∞
gi,j = ∫… ∫xixj p(x1,…,xn )dx1 …dxn; |
(1.47) |
|
|
−∞ −∞ |
|
∞ |
∞ |
|
∫… ∫p(x1,x2,…,xn )dx1dx2 …dxn =1. |
(1.48) |
|
−∞ |
−∞ |
|
Решив эту задачу вариационного исчисления на условный экстремум с помощью метода множителя Лагранжа, найдем
|
( |
|
) |
|
( |
|
) |
( |
|
) |
|
( |
) |
|
|
∞ ∞ p |
|
x |
|
p |
|
x /z |
log p |
|
x /z |
|
−log p |
|
x |
+ |
…dxn. (1.49) |
∫… ∫ |
|
|
|
|
|
|
|
|
|
|
|
|
|
dx1 |
|
−∞ −∞ +li,j p(x)xixj + Mp(x) |
|
|
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Дифференцируя (1.49) по p(x) N раз, найдем систему уравнений для вычисления p(xi), i = 1, 2, …, n. Определяя постоянные li,j и m из условий (1.47), (1.48), получим для многомерных процессов X и Z гауссовские распределения с нулевыми средними значениями и дисперсиями Tx2 и Tx2 – e соответственно:
73 |
|
|
|
|
|
|
|
|
|
1. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ИНФОРМАЦИИ |
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
−n |
|
|
|
− |
1 |
|
|
1 |
|
|
|
|||
p(x1,…,xn )=(2p) |
2 |
|
gij |
|
|
|
2 exp − |
|
|
∑gijxixj |
; |
|||||
|
|
|
|
|
|
|||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
2 |
|
|
|
|
|
−n |
|
|
|
|
1 |
|
|
|
|
|
|
|
|
||
|
|
|
− |
|
1 |
|
|
|
||||||||
|
|
|
|
|
|
|
|
|||||||||
p(z1,…,zn )=(2p) |
|
2 |
eij |
|
|
2 exp − |
|
|
∑eijzizj |
, |
(1.50) |
|||||
|
|
|
|
|
||||||||||||
|
|
|
|
|
|
|
|
|
|
|
2 |
|
|
|
|
|
где|gij| – определитель ковариационной матрицы ||gij||; gij = T2x; |eij| – определитель ковариационной матрицы ||eij||, элементы которой равны e1/2ij . Подставляя найденные распределения (1.50) в формулу (1.40), для первого двойного интеграла имеем
|
|
|
−n |
|
|
|
|
||
I1 |
|
|
|
gij |
(Z,X)=log (2pe) |
2 |
|||
|
|
|
|
|
|
|
|
||
|
|
|
|
|
− |
1 |
|
|
2 |
|
(1.51) |
|
. |
|||
|
|
|
|
|
|
|
|
|
|
|
|
Соответственно для второго двойного интеграла в (1.40) получаем
|
|
|
|
|
|
n |
|
1 |
|
|
1 |
|
|
||
|
( |
|
) |
( |
) |
−2 |
|
|
|
ij |
− |
|
|
|
|
maxI |
|
x /z |
|
=log |
2pe |
+max |
log |
e |
|
2 |
. |
(1.52) |
|||
|
|
2 |
|||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Можно показать, что, объединив (1.51) и (1.52), придем к соотношению
−1 |
|
− |
1 |
|
|
||
I(Z,X)= I(xi,zi,ei )=log∑ |
|
eij |
|
|
, |
(1.53) |
|
|
|
2 |
|||||
x
гдеSx = |gij| – ковариационная матрица;
−1
∑ – обратная матрица.
x
Для случая gij = sx2 = 1 при замене e на вероятность p(e) можно найти зависимость объема принятой информации I(Z,X) от вероятности ошибок измерений (см. рис. 1.16). Анализ этой зависимости показывает, что функция (1.53) является монотонной, строго выпуклой вниз функцией от p(e). В этом нетрудно убедиться, если для двух произвольных значений p(e1) и p(e2) найти линейную зависимость:
СПЕЦИАЛЬНЫЕ ГЛАВЫ ИНФОРМАТИКИ И ВЫЧИСЛИТЕЛЬНОЙ ТЕХНИКИ |
74 |
|
|
p(e3 )= ap(e1 )+(1−a)p(e2 ), |
(1.54) |
гдеa – некоторая постоянная; 0 < a < 1.
Зависимость (1.53) целиком лежит ниже отрезка (1.54), соединяющего две ее произвольные несовпадающие точки p(e1), p(e2). На основании этого логично утверждать, что общий характер зависимости получаемой информации при измерениях содержания метана от функций ее потерь I(e) имеет вид, аналогичный приведенному на рис. 1.16, причем для фиксированного значения p(e3) выполняется условие
maxM{I(e3 )}≤ I(Z,X).
J(Z,X), |
|||||||||||||||
δum |
8,0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
7,0 |
|
|
|
|
|
αp(ε1) + (1 – α)p(ε2) |
||||||||
|
|
|
|
|
|
||||||||||
|
6,0 |
|
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
5,0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
4,0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
3,0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2,0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1,0 |
|
|
|
|
|
p(ε3) |
||||||||
|
|
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|||||||||
|
0 |
0,1 |
|
p(ε1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
) 0,3 0,4 0,5 p(ε2) 0,8 0,9 1,0 p |
(ε) |
||||||||||||
Рис. 1.16. График функции I(Z,X) от величины p(e)
Из данных рис. 1.16 следует, что при вероятности ошибки p(e) = 0,9, по сути, теряется вся информация, которая принимается, т.е. информация с ИУ не передается. Это согласуется с результатом, полученным в работе [6] на основе эпсилон-эн- тропии He(x), определяемой как минимальное количество информации, получаемой при измерениях в условиях случайных шумов и гауссовском распределении p(x/z). Все сказанное говорит о потерях информации при измерениях. В общем случае эти потери логично вычислить с помощью вероятностей
75 |
1. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ИНФОРМАЦИИ |
|
|
ошибок первого p(a) и второго p(b) рода, вызываемых искажениями на каждом цикле (1→2) измерений:
pa (e)− pb (e)=2s2x {exp −I(Z,X;1→2) −exp −I(Z,X;2 →1) }.
Можно оценить эффективность данной процедуры оптимизации измерений CI, при которой обеспечивается минимизация их числа m из формулы
(CI )= M(m/ H1 )/ M(m),
гдеm – целочисленная случайна величина;
M(m/H1) – необходимое число измерений, которое обеспечивает существенную информацию; Н1 – гипотеза, определяемая вероятностью ошибок второго рода.
Вычисление M(m/H1), основанное на известном методе последовательного анализа Вальда, рассмотрено в [5]. Среднее число измерений состояний процесса Х равно:
M(m)=∑Mj (nj )=1(I −W)−1 ,
j L
гдеnj – число измерений параметров xj; L = 0, 1, …, N – 1;
1 – единичный вектор-столбец; I – единичная матрица;
W – матрица с элементами |gij|;
0 < gij < 1 принадлежит стохастической матрице |gij| ||p(xj/xi)||, i, j = 0, 1, 2, …, N.
Очевидно, процедура, оптимальная в смысле необходимого объема измерений, должна обеспечить выполнение условия
minM(m/CI ).
Но процедура CI, как показано в работе [5], определена с учетом шумов и усеченной выборки L, поэтому она не может быть лучше некоторой идеальной, т.е.
СПЕЦИАЛЬНЫЕ ГЛАВЫ ИНФОРМАТИКИ И ВЫЧИСЛИТЕЛЬНОЙ ТЕХНИКИ |
76 |
|
|
minM(m/CI )> minM(m/Cug ).
Для реальных ИУ при сложных гипотезах формулирование идеальной процедуры Cug является практически невыполнимой задачей. Можно улучшить рассмотренную информационную процедуру, исходя из следующих соображений. Решение задач распознавания аварий, обусловленных газовыделением, зависит от полноты и принятой процедуры контроля содержания метана на участках шахты. А это кроме рационального размещения датчиков метана предусматривает формирование моделей измерительной информации и применение наилучшего порядка измерений содержания метана. Решение первой задачи, основанное на методе Вальда и понятии эпсилон-энтропийной дисперсии, приведено в работе [5]. Модели информации и приближенные оценки ее потерь обсуждены в данной публикации, а также в [9, 20]. В [7] дается обоснование моделей ожидаемой информации при измерениях физических величин разной природы, полученных на основе рандомизированных групп Ли и тензоров [7]. Там же представлены доказательства существования потерь информации при измерениях случайных величин при неотъемлемом присутствии шумов. При выборе рациональных интервалов опроса датчиков метана необходимо учитывать скорость изменения среднего количества информации в интервале заданного допуска.
Контрольные вопросы
1. Дайте определение понятия «информационная технология».
2. Охарактеризуйте взаимодействие потоков информации и структур.
3. Дайте определения понятиям «информация» и «теория информации».
4. Приведите характерные черты и основные свойства информации.
5. Что такое дискретность и непрерывность информации? 6. Как происходит преобразование непрерывной информации в дискретную при интервале дискретизации по времени t
и шаге квантования f?
77 |
1. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ИНФОРМАЦИИ |
|
|
7. Что называется оценкой информационного процесса? 8. Как формулируется теорема Котельникова? Каков ее со-
держательный смысл?
9. Перечислите свойства функции отсчетов. Назовите ограничения, свойственные теореме Котельникова.
10. Поясните понятие кодирования информации. Что называется кодом?
11. Как осуществляется процесс кодирования?
12. Какая связь между информацией и отражением?
14. Что такое энтропия? Как она вычисляется по К. Шеннону?
15. Назовите основные свойства энтропии.
16. Охарактеризуйте понятие условной энтропии.
17. Каковы свойства условной энтропии? Приведите примеры.
18. Как определяется количество информации на основе энтропии? Приведите примеры.
19. Охарактеризуйте основные свойства количества информации. Приведите примеры.
20. Какие единицы количества информации вы знаете? Приведите примеры.
21. Дайте оценку применимости кодов и систем алфавитов с позиции количества информации.
22. Что такое дифференциальная энтропия? Обоснуйте это понятие на примерах.
23. Каким образом можно определить количество информации в непрерывном сообщении?
24. Как определяются информационные характеристики систем с помощью энтропийной меры?
25. Какими характеристиками, позволяющими ЛПР принимать управляющие решения, должна обладать информация?
26 Как вычисляется пропускная способность системы? Приведите вывод основной расчетной формулы Шеннона для пропускной способности при наличии помехи, имеющей нормальный закон распределения.
27. Каким образом используется понятие пропускной способности для построения модемов?
28. Что такое избыточность информации?
СПЕЦИАЛЬНЫЕ ГЛАВЫ ИНФОРМАТИКИ И ВЫЧИСЛИТЕЛЬНОЙ ТЕХНИКИ |
78 |
|
|
29. Как оцениваются характеристики ненадежности передачи информации? Приведите примеры.
30. Какова интегральная запись соотношения между емкостью системы и емкостью сигнала?
31. Как осуществляется выбор и согласование элементов информационной цепи на основе пропускной способности?
32. Какова информационная трактовка помехоустойчивости сообщений?
33. Приведите общие проблемы методов измерений физических величин с позиции получения информации. Дайте их характеристику.
34. Как обеспечивается достаточная статистика для получения надежных оценок параметров исследуемых объектов?
35. Приведите решение задачи оптимизации измерений при ограниченной наблюдаемости в условиях случайных шумов.
36. Проанализируйте зависимость ожидаемого количества информации от вероятности ошибки измерений.
37. Покажите, что величина избыточности информации является характеристикой кода.
38. Почему энтропия должна быть непрерывной функцией от вероятности появления событий?
2. ОСНОВЫ СИСТЕМНОГО ПОДХОДА
Если начинают с неправильного, то мало надежды на правильное завершение.
Конфуций
2.1. Появление системных концепций
Развитие мировых интегративных факторов и проблем, таких как экологическая безопасность, мировое научное знание, международный терроризм, создание экономических сообществ типа Евросоюза, ВТО привело к тому, что принципы системности, системное видение приобрели характер доминирующей ориентации философии, науки и методологии. Системология, включающая достижения многих научных дисциплин, является развивающейся наукой, формирующей новые подходы и методы. В первую очередь это относится к необходимости развития базы практической, организационно-управленческой деятельности (праксеология). Неразвитость праксеологических методов объясняется невозможностью построения аппарата в рамках досистемного подхода. Поэтому развитие системной концепции и методов исследования систем, на ней основанных, является главным фактором развития человечества. Формирование системных методов и теории создает предпосылки фундаментализации комплекса наук о сложных системах техники, экономики, экологии, социально-политической сферы.
Действительно, одной из важнейших особенностей развития науки является возникновение очень сложной иерархии специализированных дисциплин. На место ученого-философа, такого как Аристотель, который мог охватить практически всю совокупность доступных в его время знаний, пришли поколения ученых, обладающих все большей глубиной знаний и все большей узостью интересов и компетенций. Причиной раздробления науки на узкие специальности является ограниченность человеческого разума. Поскольку объем знаний стал больше того, который человек в состоянии воспринять, всякое увеличение знания приводит к тому, что человек может охватить все меньшую
СПЕЦИАЛЬНЫЕ ГЛАВЫ ИНФОРМАТИКИ И ВЫЧИСЛИТЕЛЬНОЙ ТЕХНИКИ |
80 |
|
|
его часть. Чем глубже это знание, тем более специализированным оно должно быть.
Углубление специализации по дисциплинам присуще не только естественным наукам. Аналогичная картина наблюдается в технике, медицине, гуманитарных науках, искусстве. Так, техника превратилась в спектр инженерных отраслей, таких как механика, электротехника, атомная техника, химическое и космическое машиностроение. В наше время появился ряд родственных научных направлений, таких как кибернетика, общесистемные исследования, теория информации, теория управления, математическая теория систем, теория принятия решений, методы оптимизации, исследование операций, теория вычислительных процессов, искусственный интеллект. Появление всех этих направлений обусловлено возникновением компьютерной технологии. И все они имеют дело с такими системными задачами, в которых главными являются информационный, реляционный и структурный аспекты. Тип сущностей, образующих систему, имеет значительное меньшее значение. Поэтому полезно бы посмотреть на эти взаимосвязанные интеллектуальные разработки как на части более общего поля исследований. Этим полем является системология, или наука о системах. В ней следует различать три основных компонента:
1) область исследования;
2) совокупность знаний об этой области;
3) методология (совокупность согласованных методов) накопления новых знаний об этой области и использования этих знаний для решения относящихся к ней задач.
Системологию нельзя непосредственно сравнивать с другими науками. Ее нужно рассматривать как новое направление в науке.
Системность мышления родилась давно. Первое представление о системе возникло еще в античной философии, система толковалась как упорядоченность и целостность бытия (Евклид, Платон, стоики). Следующий метафизический этап (tὰ metὰ tὰ jυsικά (после физики) – это философские трактаты Аристотеля, вышедшие после знаменитых трактатов о физике) посвящен рассмотрению явлений в состоянии покоя. Для этого этапа характерно преобладание анализа (Б. Спиноза, Г. Лейб-