Специальные главы информатики и вычислительной техники. Учебник

61 1.  ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ИНФОРМАЦИИ

без какой-либо потери информации. Тем более можно достичь скорости

При этом символы будут следовать с частотой Vx/3. Чтобы полностью использовать С, можно после каждого кодового (информационного) символа передавать два дополнительных, избыточных символа, не несущих информацию. Эти символы служат для коррекции ошибок.

Пусть в каждой тройке передаваемых символов q1, q2, q3 символ q1 является информационным, а q2, q3 – корректирующими. Выберем q2 и q3 так, чтобы суммы q1 + q2 и q1 + q3 оказались четными. При приеме сообщения эти суммы вычисляются. Нарушение четности свидетельствует о наличии одиночной ошибки, которая после обнаружения может быть исправлена. Поскольку по условию нашей задачи исказиться может не более одного символа в каждой стройке передаваемых символов, то ошибки при передаче не будет.

Вывод: передача с указанной скоростью может вестись без ошибок так, как если бы она действительно велась по каналу без помех.

1.8.  Измерения и информация

1.8.1.  Общие проблемы методов измерений физических величин с позиций получения информации

Измерения представляют собой процесс получения данных, используемых далее для определения значений измеряемых физических величин. Найденные значения тех или иных величин применяются в различных направлениях и сферах деятельности человека. Если не касаться оценки точности получаемых

при этом результатов, то сказанным ограничивается проблема метрологических измерений. На практике же используют измерения для решения большого количества важных задач широкого назначения. Например, на основе измерений делают заключения о характере наблюдаемого процесса, об эффективности параметров, используемых для управления, формируют оценки испытаний тех или иных объектов, в частности беспилотных летательных аппаратов, и т.д. По существу, при этом ищется информация о состоянии процессов, объектов. Отсюда часто возникает представление о том, что всякое измерение дает информацию, при этом стирается различие между понятиями «измерение» и «информация». Но получение информации связано с характеристиками применяемых измерительных устройств, которые часто называют приборами первичной информации. Известно много примеров столь значительного влияния средств измерений на характер измеряемого процесса, что получение информации как адекватного отображения реального состояния процесса становится маловероятным или невозможным.

Измерения можно рассматривать как самостоятельный процесс, и они являются лишь средством получения информации. Информация, а не измерения, являются первичной характеристикой состояния любого объекта от математического до технического. Поэтому процесс измерений как одно из средств получения информации должен быть подчинен законам образования информации, т.е. алгоритмам ее получения, а не наоборот, как обычно считают.

Для получения информации по известным информационным алгоритмам [4, 12, 15, 17] требуется кроме непосредственных измерений процесс осознания, который необходим для принятия решения. Итак, мы рассматриваем измерения с позиций теории информации. Все измеряемые величины предполагаются изменяющимися случайным образом. Тем более в условиях помех, флуктуаций и шумов, от которых не свободно ни одно измерение, такой подход является более правильным и более общим. В еще большей степени это следует признать в век межатомных измерений, которые становятся необходимыми для более углубленного и точного определения характеристик систем

и протекающих в них процессов. Следовательно, при каждом отдельном измерении мы имеем дело только с одной случайной реализацией. Оценить же случайную величину или процесс возможно только статистическими методами. А для этого необходимо знание закона распределения или некоторых характеристик, например моментов. Измерения, относящиеся к одной случайной реализации, далеко не всегда содержат информацию. Конечно, если случайные составляющие невелики, то ошибка будет также относительно небольшой.

Анализируя распространенные в мировой практике формулы для определения информации для нормального закона распределения, например [4, 9, 15, 16, 18]:

гдеSk = ||skrs||, k = i, j; r, s = 1, …, n – матрицы размера n×n; Si–1, Sj–1 – обратные матрицы; Dm = mi – mj;

mтк = ||m1, …, mn|| – матрицы-столбцы средних значений Х; Dтm – транспонированная матрица к Dm;

skrs – дисперсия;

Sp – след матрицы, равный сумме ее диагональных элементов,

приходим к выводу, что количество информации при каждом измерении (i → j) определяется по крайней мере двумя сложными статистическими характеристиками: статистическим средним m(x) и ковариационной матрицей S(x). При нормальном законе распределения этими характеристиками являются первой и второй моменты:

Как видим, в общем случае эти характеристики зависят от вида функции распределения p(x). Поэтому, для того чтобы получить информацию на основе каких-либо измерений, имеющиеся данные необходимо подвергнуть статистической обработке, т.е. найти вектор средних значений m(x) и ковариационную матрицу S(x). Обычно считают, что в процессе измерения

спомощью реальных (инерционных) измерительных устройств

идатчиков уже достигается определенное усреднение. Посмотрим, что же происходит при этом в действительности.

Допустим, измеряемую реализацию можно представить в виде

гдеx1(t) – регулярная составляющая, например x1(t) = g0 + g1t; g0, g1 – некоторые константы;

x2(t) – случайная составляющая.

Пусть случайная составляющая x2(t) целиком определяется шумом или случайными шумоподобными ошибками с нулевым средним и некоторой ограниченной дисперсией. Если ошибки равновероятны, то наилучшей оценкой величины x(t) после измерений будет среднее арифметическое:

гдеm – число измерений.

Если подставить в формулу (1.38) значение x, определенное из (1.37), то получим

xm =x1 − 1 ∑m x2k. m k=1

Следовательно, с увеличением числа измерений оценка, полученная в этом случае, будет приближаться к действительному значению x1. Для текущего значения x(t) при непрерывном измерении будем иметь

так как это решается критерием достаточности статистики. В условиях случайного характера внешних воздействий и при неотъемлемом присутствии шумов для получения надежных оценок характеристик и параметров необходима достаточная статистика. Последнюю можно определить условием стабилизации закона распределения случайных величин. Для выбора такой статистики, естественно, требуется исследовать некоторое минимальное число типовых процессов или объектов наблюдения, причем последние являются источниками информации. С учетом роли информации как единственного адекватного отображения реально существующего состояния, процесса или значения того или иного параметра неудовлетворительность применяемых в настоящее время измерительных устройств и систем совершенно очевидна.

Действительно, для получения надежных оценок параметров исследуемых объектов необходима достаточная статистика. Согласно Куллбаку [4] оценка вероятности общей ошибки эксперимента проводится по формуле

p(e)=0,5 exp(−I(1,2)n)+exp(−I(2,1)n) ,

гдеI(1,2) – количество различающей информации при каждом измерении (1 → 2) для определения класса неизвестного распределения

гдеm – число классов распределений случайных функций (событий) (нормальное, биномиальное, Пуассона, экспоненциальное, гамма, Вейбула, Рэлея и др.);

xi – случайные результаты эксперимента;

p – безусловные вероятности независимых данных эксперимента.

Число однотипных объектов или процессов n логично найти графически. Рассчитывая вероятность оценки p(e), удается построить график зависимости p(e) от n (рис.  1.15). Измерение

теоретической вероятности общей ошибки эксперимента будет в направлении, приближенном к указанному на этом рисунке. Для геофизических процессов, таких как образование взрывоопасных скоплений метановоздушной смеси в угольных шахтах, кривая измерения этой вероятности p(e) асимптотически стремится к величине p(e) = 0,003. Это позволяет сказать, что минимальное число однотипных геофизических процессов должно быть не менее пяти.

Рис.  1.15. Зависимость вероятности p(e) общей ошибки эксперимента от n

Было установлено, что аналогичная по характеру графическая зависимость наблюдается и при выборе числа единиц типового горно-шахтного оборудования, например конвейера. Таким образом, используя этот график (см. рис.  1.15), логично предварительно определить число однотипных объектов, необходимых для получения оценок их параметров и характеристик с заданной точностью.

Несомненно, также, что все модификации или усовершенствования методов измерений или конструкций измерительных устройств, направленные на повышение точности измерений, без учета законов получения информации, вытекающих из информационных алгоритмов, будут не только достаточно трудоемкими, но и бесполезными. Необходимо менять не только методы, но и структуру, т.е. конструкции измерительных устройств. Естественно, в одном учебнике, посвященном основам теории информации и принципиальным вопросам ее приложения, невозможно осветить все возникающие задачи построения информационных систем.

Вопросы математического исследования роли информации в научных выводах рассмотрены в работах [6, 10, 12, 16]. На информационную систему возлагаются задачи определения вектора математического ожидания реализаций, а также значения ковариационной матрицы с последующим выполнением ряда дополнительных преобразований, предусмотренных, например, формулой (1.34). В их число входят операции обращения матриц, а также нелинейные преобразования (логарифмирование).

Рассмотрим задачу получения информации. Пусть необходимо получить информацию об изменении состояния какого-ли- бо процесса, который описывается двумя независимыми множествами:

Эти множества характеризуют процесс в начале и в конце его измерений или в его переходном состоянии. Ковариационные матрицы, полученные на основе реализаций и соответствующие этим множествам, имеют вид:

Количество информации, ожидаемой при каждом цикле измерений (1→2), согласно (1.34), составит

не говорится о роли дисперсии шумов. Теория информации К. Шеннона позволяет уточнить это обстоятельство. В данном случае получаемая на выходе ИУ информация при ограничении мощности сигналов, имеющих гауссовский закон распределения, равна

I = H(z)−H(x)=log 2peTz −log 2peTx,

гдеTz, Tx – дисперсии сигнала и шума.

Последняя формула указывает на связь информации с энергией сигнала. Поэтому применение фильтров, согласно этой формуле, будет приводить к потере информации, так как в реальных условиях всегда наблюдается взаимное перекрывание спектров измеряемого сигнала z и шумов n. В этом случае невозможно точно восстановить сигнал по дискретным значениям исходного. Может ставиться только задача восстановления сигнала с заданной допустимой ошибкой, причем значение этой ошибки должно иметь нижнюю границу [10]. Если же измеряемый сигнал и шум имеют неограниченные спектры, то при выборе интервала дискретизации ориентироваться на верхнюю частоту спектра сигнала нельзя.

1.8.2.  Оптимизация измерений при ограниченной наблюдаемости в условиях случайных шумов

Рассмотрим соотношения между получаемой информацией и ее потерями в ограниченных непрерывных пространствах при вероятности представления измеряемых величин на выходе ИУ, в качестве последнего примем аппаратуру контроля содержания метана в угольных шахтах, работа которой сводится к функционированию датчиков метана и каналов связи при наличии случайного шума. Объектом является горно-тех- нологический процесс выемки угля.

Реализации, которые должны наблюдаться ИУ, представим множеством X = {x}, а формируемые ИУ сигналы, т.е. реализации, которые наблюдаются в действительности, – множеством Z = {z} многомерных векторов, изменяющихся во времени непрерывно. Если для Х определена вероятностная мера f(x), то