3345
.pdfвить нам лишь единственно возможный ответ. Информация есть функция отношения числа возможных ответов до и после (получения информации)» [Солодов А.В. Теория информации и ее применение к задачам автоматического управления и контроля. – М.: «Наука», 1967, с.10]
Критерием остановки детализации при этом является возможность преобразования содержания факта в совокупность однородных (одноуровневых) событий (сравнимых между собой), в полной группе которых можно вычислить энтропию, то есть техническую единицу информации. Таким образом устанавливается связь между фактом и битом, но она не будет однозначной и точной, а усредненной, вероятностной, диапазонной.
Неизвестность механизма использования информации разумом субъекта делает невозможным определение ценности информации на ее собственном информационном уровне; необходим выход на уровень надсистемы - посмотреть на Землю из далекого космоса. Для этого необходимо определить что субъект делает на основе полученной информации, ибо прагматическая среда субъекта является надсистемой для его информационной среды. А результат такого действия и будет мерой ценности определяющей эту деятельность информации.
Это очень сложная задача и ее в общем виде решить пока нельзя (Вы будете решать!). Но в частном поучительном случае решить можно. Основная сложность заключается в том, чтобы отделить именно ту информацию, на основе которой субъект действует, от посторонней сопутствующей. Для этого можно отделить вновь создаваемую информацию от ранее поступившей и уже используемой. Для этого необходимо найти способы получения новой информации. Их несколько, мы возьмем основной - проектирование (конструирование) нового изделия специалистом - конструктором. Поставленную задачу мы решим, если найдем формальную зависимость качества создаваемого изделия, ценность которого можно определить, от количества вновь созданной информации.
Мы знаем, что информация об изделии, как объекте реального мира, заключена в свойствах этого изделия. Поэтому мы должны сначала установить зависимость основного качества изделия от
61
значения его свойств, а затем определить, какое количество информации содержится в этих свойствах, точнее в той части их значений, которые являются новыми. Далее разделив величину ценности изделия с таким-то качеством на количество содержащейся в его новых свойствах информации, мы получим величину цены содержательной единицы информации. Вот так примерно можно определить ценность одного частного вида информации - информации от источника в виде вновь созданного изделия. Как определять ценность информации на носителях, то есть оторванной от источников - эту проблему придется решать вам.
Таким образом, полное представление о сущности информации распределяется в трех сферах: физической, интеллектуальной (знаковой) и в прагматической (ценностной). Причем физическая сфера как стыковочная с материально-энергетической реальностью определяет «голову» и «хвост» информационного замыкания реальности (см. рис.2.1). При этом «хвост» информационного замыкания и частично «голова» определяется законами теории информации К.Шеннона, его моделью энтропии. В этом видна гениальность этого человека, сумевшего более 50 лет назад абстрагироваться от интеллектуально-ценностной сущности информации и, взяв за основу самый мощный и абстрактный знак - символ, построить очень мощную первоочередную прикладную теорию, сыгравшую выдающуюся роль в прогрессе человечества.
62
Р И М
Й Ы
Н Ь Л А Е
Р
Представление об информации:
Средства Эффекты воздействия
|
Приемник команд |
|
―хвост‖ |
К Св |
передача |
|
Передатчик |
‖ |
|
е |
|
|
|
о |
|
|
л |
|
|
т |
|
|
― |
|
|
‖ |
|
|
|
|
|
|
|
|
|
||
|
|
а |
|
|
|
|
|
|
в |
|
|
|
|
|
|
о |
|
|
|
|
|
|
л |
|
|
|
|
|
о |
|
|
|
||
г |
|
|
|
|
|
|
― |
|
|
|
|
|
|
|
|
|
|
|
|
|
физическое)а ; |
|
свойствизмерение признаков(объектов) |
|
-интел)б -лектуаль ;ное |
, |
|
|
|
признак:знаки( , образ буква,слово, символ) |
||||
|
|
|
|
знаковое представление отображение( ) реальности |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
и |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
т |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
с |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
о |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
н |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
ь |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
л |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
а |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
к т а к р е |
|
|
|
|
|
|
|
Управление |
вещественноэнергетическими |
процессами |
|||
|
|
|
е |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
ъ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
б |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
с у |
|
|
|
|
|
|
|
|
|
|
|
я |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
а |
|
||
|
|
|
|
|
|
|
|
|
|
|
|
ю |
щ |
|
|
|
|
|
|
|
|
|
|
|
|
|
р |
у |
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
и |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
л |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
у |
|
|
|
|
|
|
|
|
|
|
|
|
|
роль информации: |
|
г |
|
|
|
|
|
|
|
|
|
|
|
|
|
использованияеинелб информации |
е |
|
|
|
|
|
|
|
|
|
|
||
ценностное |
)прагматическое( представление |
ПУ Т И |
р |
|
|
|
|
|
|
|
|
|
|
|
||
я |
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
а |
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
н |
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
ь |
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
л |
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
е |
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
т |
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
а |
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
в |
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
а |
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
н |
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
з |
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
о |
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
п |
|
|||
прагматическое; |
|
|
п р и с п о с о |
|
|
|
|
Накопление и |
использование |
знаний и технологий |
|
|||||
в) |
|
|
е |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
е |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
щ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
ю |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
у |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
в |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
т |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
с |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
е |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
щ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
у |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
С |
|
|
|
|
|
|
|
|
|
|
|
|
|
63 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Рис.2.1. Информационное замыкание неизвестного фрагмента реальности
Однако, вновь возникшие задачи, особенно задачи обеспечения информационной безопасности, настоятельно требуют полного рассмотрения информации в указанных трех сферах. Только в этом случае теория информации будет адекватна ее сущности. Однако, если общая картина становится известна, то можно смело изучать теорию информации и использовать ее результаты по частям, в том числе и в рамках энтропии. Для такой глобальной категории как информация это обоснованное вычленение нужного очень важно. Все сразу не понимаемо и не всегда нужно. Поэтому следующая наша лекция посвящена самому понятному представлению об информации - физическому.
2.4.Модель представления и измерения информации на физическом уровне
На физическом уровне рассматриваются источники и носители информации, а также вопросы съема, передачи, хранения и засекречивания информации в физических средах. Большинство из названных процессов описывается методами теории информации К.Шеннона, поэтому она здесь и рассматривается. То есть физический уровень является корневым (начальным) в представлении о сущности информации. А К.Прутков советовал: «Отыщи всему начало и ты многое поймешь».
2.4.1. Источники информации. Источниками информации являются объекты и явления реального мира. Каждый объект имеет две стороны: структуру и функцию.
Под структурой понимается любая неравномерность, а под функцией - закономерность достижения (реализации) предназначения (роли) объекта в цели существования. Эти стороны реальных объектов проявляются в виде их свойств. Поэтому зарождение (создание) информации осуществляется измерением этих свойств. При этом измерения бывают не только объективными (физическими), но и субъективными, выполняемыми разумом субъекта.
В кибернетике считают, что эту процедуру абстрактно (обобщенно) выполняет преобразователь информации, то есть такая система (устройство), которое имеет возможность получать
64
информацию из окружающей среды и преобразовывать ее по заложенным правилам. С учетом нашего деления представления информации на 3х уровнях (физическом, интеллектуальном и прагматическом) на выходе преобразователя на физическом уровне присутствуют результаты (отсчеты) измерения. Знаковой сущности в них еще нет. Это также называют данными, а в теории информации К. Шеннона - сообщениями. Как будет показано в следующей лекции, данные преобразовываются в информацию посредством 6- ти процедур (шагов), имеющих, в основном, интеллектуальный характер.
Измерительные системы бывают непрерывными (аналоговыми) и дискретными (цифровыми). При дискретной форме снимаемые данные разделяются на подобные элементарные порции.
Существует фундаментальная закономерность о том, что данные в непрерывной форме однозначно можно преобразовать в дискретную форму. Эта закономерность за рубежом называется теоремой отсчетов, а у нас - теоремой Котельникова. Сущность ее достаточно проста: любая функция со спектром, находящимся в интервале [0, F], полностью определяется ее значениями, отстоящими друг от друга на 1/2F единиц времени.
Интуитивное подтверждение правильности этого положения состоит в том, что если функция S(t) не содержит частот выше F, то она не может существенно изменить своего значения за время, меньшее половины периода наивысшей частоты 1/2F. Кроме того, интервал t=1/2F есть не что иное, как интервал корреляции, так что отсчеты функции по Котельникову представляют ближайшие некоррелированные («несвязанные») значения функции. Поэтому любая совокупность 2FT независимых чисел, связанных с функцией S(t), может применяться для ее описания.
Поэтому соотношение «непрерывное – дискретное» в наше время является относительным и все непрерывные процессы для обработки на цифровых компьютерах можно преобразовать в дискретную форму. Поэтому для простоты мы будем считать наш преобразователь информации дискретным.
2.4.2. Носители информации. Полученные на выходе преобразователя данные или информационные атомы должны где-то
65
разместиться. Если от них хотят «избавиться» сразу, то они поступают в каналы передачи (связи), если же они должны храниться, то они размещаются на носителях, то есть материальных средствах, имеющих память. Рассмотрим их.
Прохождение данных по каналам связи (чем и занимается теория информации К.Шеннона) осуществляется с помощью сигналов. Так как они играют большую роль и в АСУ, то их следует рассмотреть подробнее.
Передаваемые данные в теории К.Шеннона называются сообщениями, а преобразователь (съемщик) сообщений – источником сообщений. К.Шеннон писал: «Сообщение имеет содержание. Оно, однако, совершенно несущественно в проблеме передачи информации» (то есть в его теории). Это объясняется тем, что К.Шеннон разрабатывал свою теорию не как теорию информации, а как теорию передачи сообщений по каналам связи, позволяющую обосновать параметры этих каналов по пропускной способности как функцию интенсивности генерирования сообщений их источником.
Итак, сигнал есть материальный носитель информации, являющийся средством перенесения информации в пространстве и в реальном (!) масштабе времени. Он получается из сообщения путем кодирования или модуляции, при которых сообщение накладывается на переносчик сигналов. Поэтому сигнал определяется двумя группами свойств: группой свойств как хранителя сообщения – она называется кодом (модуляцией) и группа свойств как пространственный переносчик – несущая сигнала.
В теоретических исследованиях сигнал представляется математически как функция времени S(t). Если эта функция имеет заранее заданные параметры, то сигнал называется регулярным. Но так как на сигнал при распространении действует масса случайных факторов, он практически всегда является случайным. В этом случае сигнал как случайная функция S(t) описывается вероятностными характеристиками.
Чтобы быть переданным по каналу связи свойства источника сигналов и свойства канала должны быть согласованными, то есть подобранными друг для друга. Для осуществления такого подбора
66
у источника сигналов необходимо знать, как сказано выше, интенсивность поступления сигналов в канал, а у канала – пропускную способность.
Сигнал как функция времени полностью определяется его спектром, то есть распределением энергии сигнала по полосе частот. Спектральные характеристики сигнала определяются его расположением в ряду Фурье.
|
S( t ) |
|
A0 |
|
|
A cos( n |
|
t |
) , |
||||
|
|
|
|
|
|
1 |
|||||||
|
|
|
2 |
|
|
n |
|
|
|
|
|||
|
|
|
n 1 |
|
|
|
|
|
|
||||
где |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
t2 |
|
|
|
|
|
|
|
a2 |
b2 , |
|
|
|
|
|
|
|
|||
A |
|
a |
n |
2 / T S( t )cos( n t )dt, |
|||||||||
n |
|
n |
|
n |
|
|
|
|
|
1 |
|||
|
|
|
|
|
|
|
|
t1 |
|
|
|
|
|
|
|
t2 |
|
|
|
|
|
|
A |
|
|
1 t2 |
|
bn |
2 / T |
S( t )sin( n |
1t )dt, |
0 |
|
|
|
S( t )dt. |
|||||
|
|
|
|
||||||||||
|
|
t |
|
|
|
|
|
|
2 |
|
|
T t |
|
|
1 |
|
|
|
|
|
|
|
|
|
1 |
||
С определенной ошибкой принимают n 1=F – максимальная частота (гармоника) сигнала, которая фигурирует в теореме Котельникова.
Приведенные выражения справедливы для периодических сигналов. Если сигнал не периодический, то ряд Фурье преобразуется в интеграл Фурье
F ( j |
) |
S(t)G |
j t dt |
прямое преобразование, |
S(t) |
1/ 2 |
F ( j |
)G j |
t dt обратное преобразование. |
Аппарат рядов и интеграла Фурье является мощным математическим средством (моделью) представления сигнала, позволяющего проводить анализ, и синтеза сигналов с заданными свойствами. Поэтому по математике Вы должны его хорошо изучить.
Каналом передачи сигнала является среда его распространения от передатчика к приемнику. Это может быть пара проводов, коаксиальный кабель, полоса частот, луч света. Каждый канал имеет пропускную способность, говорящую о возможности разли-
67
чить в канале N(Т) функций сигнала (различных состояний) длительности Т, и определяемую выражением
C lim log N (Т ) / T ,
T 
где N(Т) – число допустимых сигналов (сообщений) длительности Т, а logN(Т) - количество информации по К.Шеннону. Если канал образован сигналом с полосой W, излучаемый передатчиком мощности Р, с уровнем шумов N, (где величины P и N определены на единицу полосы частот W), то пропускная способность определяется
C=W log2(P+N)/N – формула Шеннона – Таллера.
Канал будет выполнять свои функции безупречно, если С >> R, где R – скорость поступления сообщений (сигналов) в канал, создаваемых источником. Найдем величину R, показывающую, как много информации производится данным источником за единицу времени.
За единицу количества информации на физическом уровне принят выбор из множества возможных исходов, именно выбор из исходов, а не множества исходов (Р.Хартли). Простейшим типом выбора является выбор из двух возможностей, каждая с вероятностью ½. Количество информации, производимое таким выбором, принимается за единицу, называемую двоичной или битовой. Если же имеется N равновероятных возможностей, то количество информации, равное количеству двоичных выборов, определяется выражением log2N.
Применительно к измерению свойств реальных объектов величина N определяется произведением чисел интервалов квантования измеряемой функции S(t) по времени – n и по амплитуде – m. То есть N=n m, где n- определяется по теореме Котельникова, m – определяется требуемой точностью измерения.
Если вероятности не равны, и когда определенные результаты выбора имеют вероятности Р1, Р2, …, Рn, информация о том, какой выбор из множества {Pi} событий произойдет, определится фор-
мулой H = - (P1log2P1+ P2log2P2+ … + Pnlog2Pn) и величина H на-
зывается энтропией множества вероятностей Р1, …, Рn, причем энтропия H, по аналогии с математическим ожиданием случайной
68
величины, определяет среднее количество информации, приходящееся на одно достоверное сообщение о событии.
Так как источник информации производит сообщение, то количество информации, произведенной в секунду, то есть величину R, можно вычислить с помощью формулы для H. Поэтому скорость работы источника информации измеряется в бит/с.
Основные свойства энтропии:
1. H(p1, …pn)=0 в том случае, когда какое-либо одно pi {pi} равно 1, а остальные нули, ибо p 1.
i
2.H(p1, …pn)=max при р1=р2= … =рn=1/n.
3.Если А и В – независимые случайные величины, то
Н(А В)=Н(А)+Н(В). |
|
4. Если А и В – зависимые случайные |
величины, то |
Н(А В)=Н(А)+Н(В/А)=Н(В)+Н(А/В). При этом |
Н(А) Н(А/В), |
Н(В) Н(В/А). |
|
Применительно к непрерывным сигналам вычисляется диф-
ференциальная энтропия |
|
h( x ) |
p( x )log2 p( x )dx. |
Через нее определяется количество информации, выдаваемое источником непрерывных сигналов при ограниченной точности их измерения, определяемое J=n[h(x)-hy(x)] дв. ед. Ограниченная точность измерения делает число отсчетов в бесконечном интервале также конечным.
Вероятностное распределение символов {pi} сигнализирует о том, что один символ появляется с большей вероятностью, то есть чаще, другие – с меньшей. Для достижения экономии времени на передачу можно осуществить кодирование: более вероятным символам присвоить более короткие кодовые комбинации, менее вероятным - более длинные (так как разнообразие кодовых комбинаций тоже ограничено). Эта процедура выполнятся со следующей закономерностью: если на букву (символ) сообщения приходится Н битов, то возможно закодировать это сообщение с использованием Н двоичных знаков на букву текста. При этом не существует
69
метода кодирования, который использовал бы меньшее число двоичных знаков. Если такое кодирование выполнено, то возможна передача информации по каналу со скоростью, равной его пропускной способности С. Вот за это замечательное правило связисты и уважают теорию информации Шеннона.
2.4.3. Теория секретных систем К. Шеннона
Разработанная математическая мера неопределенности в виде энтропии позволяет количественно обосновать некоторые свойства секретных (криптографических) систем. Такие методы разработаны К.Шенноном в работе «Теория связи в секретных системах». Так как защита информации в АСУ очень часто осуществляется подобными методами, то с основами этой теории К. Шеннона вам необходимо познакомиться.
Вначале работы К.Шеннон проводит типизацию секретных систем. Из введенных трех типов секретных систем мы будем рассматривать только третий тип: в таких системах содержание сообщения скрывается с помощью шифра или кода, но факт существования сообщения не скрывается и предполагается, что перехватчик сообщения обладает любыми (это у К.Шеннона) спецсредствами, необходимыми для осуществления перехвата (доступа к зашифрованному сообщению) и записи перехвачиваемых сигналов. Дополнительно к К.Шеннону мы будем предполагать, что наш соперник обладает не любыми, а ограниченными возможностями и степень ограниченности является переменной.
Всекретной системе, в отличие от обычной системы связи, на передающем конце имеется не один источник, а два – источник сообщений и источник ключей. Источник ключей, при этом, отбирает конкретный ключ из числа возможных. Этот ключ передается на приемный конец, но так, что его нельзя перехватить, например, путем передачи с нарочным.
Источник сообщений формирует некоторое сообщение, которое затем зашифровывается, и готовая криптограмма передается на приемный конец. На приемном конце шифровальщик с помощью известного ему ключа по криптограмме восстанавливает исходное сообщение. Восстановить сообщение стремится и противник, но ему неизвестен ключ.
70