Инф технологии часть 1

1 . Информационные процессы и средства их реализации

Таким образом, окончательно имеем

H (αβ) = H (α) + H α (β) .

Это и есть общее правило для определения энтропии сложного опыта αβ .

Его тоже можно назвать правилом сложения энтропий, аналогично приведенному выше правилу, относящемуся к тому частному случаю, когда опыты α и β независимы. Средняя условная энтропия H α (β) , вычисление которой не предполагает известным исход α , глубоко отражает взаимную зависимость опытов α и β .

Укажем некоторые важнейшие свойства величины H α (β) . Очевидно,

что это есть неотрицательное число. Ясно, что если все вероятности p( A1 ) ,

p( A 2 ) , K, p( A k ) отличны от нуля, т. е. если опыт α имеет действительно k

H α (β) = H (β) .

В этом случае формула H (αβ) = H (α) + H α (β) переходит в более простую:

H (αβ) = H (α) + H (β) .

Очень существенно, что во всех случаях условная энтропия H α (β) за-

ключается между нулем и энтропией H (β) опыта β (безусловной): 0 ≤ H α (β) ≤ H (β) .

16

1 . Информационные процессы и средства их реализации

Таким образом, случаи, когда исход опыта β полностью определяется исхо-

дом α и когда опыты α и β независимы, являются в определенном смысле

крайними.

Вернемся снова к величине H (β) , характеризующей степень неопреде-

ленности опыта β . Равенство этой величины нулю означает, что исход опыта

β заранее известен. Какое-либо измерение или наблюдение α , предшест-

вующее опыту β , может ограничить количество возможных исходов опыта β и тем самым уменьшить степень его неопределенности. При этом α можно рассматривать как вспомогательный опыт, также имеющий несколько допустимых исходов. Тот факт, что осуществление α уменьшает степень неопре-

деленности β , находит свое отражение в том, что условная энтропия H α (β)

опыта β при условии выполнения α оказывается меньше (точнее – не боль-

ше) первоначальной энтропии H (β) того же опыта. При этом если опыт β не зависит от α , то осуществление α не уменьшает энтропии β , т. е.

H α (β) = H (β) ; если же результат α полностью предопределяет исход β , то энтропия β уменьшается до нуля: H α (β) = 0 . Таким образом, разность

I (α,β) = H (β) − H α (β)

указывает, насколько осуществление опыта α уменьшает неопределенность

β , т. е. как много нового можно узнать об исходе опыта β , производя изме-

рение (наблюдение) α ; эту разность называют количеством информа-

ции относительно опыта β , содержащимся в опыте α , или,

короче, информацией о β , содержащейся в α . Таким образом, обес-

печивается возможность численного измерения информации. Энтропия есть абстрактная «мера неопределенности»; ценность этого

понятия в значительной мере заключается в том, что оно позволяет оценить влияние на определенный опыт β какого-либо другого опыта α как «раз-

ность энтропий» I (α,β) = H (β) − H α (β) . Так как понятие информации, свя-

занное с определенными изменениями в условиях опыта β , является, так ска-

зать, «более активным», чем понятие энтропии, то для лучшего уяснения смысла энтропии полезно свести это последнее понятие к первому. Энтро-

пию H (β) опыта β можно определить как информацию относительно

β , содержащуюся в самом этом опыте (ибо осуществление самого опыта β , разумеется, полностью определяет его исход и, следовательно,

H β (β) = 0 ), или как наибольшую информацию относительно β ,

17

1 . Информационные процессы и средства их реализации

какую только можно иметь («полную информацию» относительно

β ). Иначе говоря, энтропия H (β) опыта β равна той информации, которую

получим, осуществив этот опыт, т. е. средней информации, содер-

жащейся в одном исходе опыта β .

Заметим, что выражение для энтропии

H (β) = − p(B1 ) log p(B1 ) − p(B2 ) log p(B2 ) − K− p(Bl ) log p(Bl )

имеет вид математического ожидания случайной величины, принимающей значения − log p(B1 ) , − log p(B2 ) , K, − log p(Bl ) с вероятностями, равными соответственно p(B1 ) , p(B2 ) , K, p(Bl ) . В связи с этим можно считать, что при осуществлении определенного исхода Bi нашего опыта полученная ин-

формация, равна − log p(Bi ) . В таком случае, если, например, опыт β имеет всего два возможных исхода B1 и B2 с вероятностями 0, 99 и 0,01, то при осуществлении исхода B1 будет получена очень небольшая информация

− log 0, 99 ≈ 0,017 бит. Это представляется вполне естественным: в самом де-

ле, и до опыта было известно, что почти наверное осуществится исход B1 ,

так что результат опыта мало что изменил в имеющихся сведениях о резуль-

татах опыта β . Наоборот, если осуществляется исход B2 , то полученная ин-

формация будет равна − log 0,01 = 6,6 бит, т. е. будет гораздо больше, чем в первом случае; это естественно, так как сведения, полученные в результате опыта, здесь много более интересны (осуществилось событие, которое было трудно ожидать). Однако получение такого большого количества информации при многократном повторении опыта возможно очень редко; поэтому среднее количество информации, содержащееся в одном исходе, оказывается здесь меньшим, чем в том случае, когда вероятности обоих исходов равны. Заметим еще, что в практических задачах всегда представляет интерес только это среднее количество информации; представление же о количестве информации, связанном с отдельными исходами опыта, практически никогда не употребляется.

Информация относительно опыта β , содержащаяся в опыте α , все-

гда равна информации относительно α , содержащейся в β . Так как слож-

ные события αβ и βα не отличаются одно от другого, то H (αβ) = H (βα) ,

т. е.

H (α) + H α (β) = H (β) + H β (α) .

Поэтому

18

1 . Информационные процессы и средства их реализации

I (α,β) = H (β) − H α (β) = H (α) − H β (α) = I (β, α) .

Таким образом, информацию I (α,β) , которую содержит опыт α относитель-

тельно опыта β , не превосходит энтропии H (α) опыта α − обстоятельст-

во, которое часто оказывается полезным. Впрочем, последнее предложение, разумеется, нельзя считать неожиданным: естественно, что информация, ко-

торую содержит опыт α о другом опыте β , не превосходит информации,

содержащейся в α относительно самого себя − энтропии H (α) этого опыта. Таким образом, энтропия H (α) может быть определена как наи-

большая информация, которая может содержаться в опыте α («полная информация», содержащаяся в α ).

Из формулы I (α,β) = H (α) − H β (α) вытекает также, что информация

I (α,β) точно равна энтропии H (α) опыта α в том и только в том случае,

энтропии H (α) . В частности, если опыты α и β независимы (и только в этом случае) информация I (α,β) будет равна нулю.

19

1 . Информационные процессы и средства их реализации

1.3. Общая характеристика информационных процессов

Обмен информацией между источником и получателем производится в форме сообщений. Одно и то же информационное сообщение (статья в газете, объявление, письмо, чертеж, радиопередача и т. п.) может содержать разное количество информации для разных получателей – в зависимости от их текущих знаний, от уровня понимания этого сообщения и интереса к нему. Информация является для ее получателя источником знаний о внутреннем и внешнем мире. Следовательно, информация отражает реальный мир, который познается в процессе получения информации, т. е. до момента получения информации что-то было неизвестно или не определено, и благодаря полученной информации неопределенность была снята.

Таким образом, под информацией в широком смысле можно понимать сведения об объектах, процессах и явлениях реального мира, их свойствах, состояниях и отношениях, которые уменьшают имеющуюся о них степень неопределенности, неполноты знаний.

Информация является основным объектом информационных процессов

– процессов, связанных с поиском, обработкой, хранением и передачей информации.

Поиск информации

Поиск информации − это извлечение хранимой информации.

Примеры методов поиска информации: непосредственное наблюдение; общение со специалистом по интересующему вопросу; чтение соответствующей литературы; просмотр телепрограмм; запрос к информационным системам, базам и банкам данных. В процессе поиска встречается полезная и бесполезная, достоверная и ложная, объективная и субъективная информация. Для того чтобы получить наиболее полную информацию, необходимо использовать разнообразные методы ее поиска.

Обработка информации

Обработка информации − это преобразование информации из одного вида в другой, осуществляемое по строгим формальным правилам.

Правила обработки могут быть самыми разнообразными, при этом входная (исходная) информация преобразуется в выходную. Приведем примеры обработки информации.

20

1 . Информационные процессы и средства их реализации

При обработке информации не всегда необходимо знать, по каким правилам входная информация преобразуется в выходную. Возможность автоматизированной обработки информации основывается на том, что при обработке информации, как правило, не используется ее содержание.

Хранение информации

Хранение информации – это способ распространения информации в пространстве и времени.

Способ хранения информации зависит от ее носителя (например, книга

– библиотека, картина – музей, фотография – альбом). Примеры средств хранения информации:

Хранение больших объемов информации оправдано только при условии, если поиск нужной информации можно осуществить достаточно быстро, а данные получить в доступной форме.

Передача информации

Информация передается в форме сообщений от некоторого источника информации к ее получателю посредством системы связи между ними.

Совокупность технических средств используемых для передачи сообщений от источника к получателю, называется системой связи.

Общая схема системы связи представлена на рис. 1.1.

Канал связи − совокупность технических устройств, обеспечивающих передачу сигнала от передатчика к приемнику.

21

1 . Информационные процессы и средства их реализации

Кодирующее устройство предназначено для кодирования информации (преобразования исходного сообщения от источника информации к виду, удобному для передачи информации).

Декодирующее устройство предназначено для преобразования полученного сообщения в исходное.

Рис. 1.1. Общая схема системы связи.

В процессе передачи из-за помех информация может теряться и искажаться, например, искажение звука в телефоне, атмосферные помехи в радио, искажение или затемнение изображения в телевидении, ошибки при передаче в телеграфе. Рассмотрим в качестве примера систему телефонной связи:

22

1 . Информационные процессы и средства их реализации

Кодирование информации

В своей деятельности человек часто использует модель объекта, явления или процесса. Под моделью понимается некоторый объект, отображающий исследуемый объект с сохранением его наиболее существенных свойств.

Информационная модель − знаковая модель, описывающая информационные процессы в системах самой разнообразной природы. При построении информационной модели объекта или явления необходимо определить вид представления информации.

Представление информации может осуществляться с помощью языков, которые являются знаковыми системами. Каждая знаковая система строится на основе определенного алфавита и правил выполнения операций со знаками. Примеры алфавита: алфавит кириллических букв, алфавит латинских букв, алфавит десятичных цифр. Особое значение имеют наборы, состоящие всего из двух знаков: пара знаков {+, −}, пара цифр {0, 1}, пара ответов {да, нет}. Алфавит, состоящий из двух знаков, называется двоичным алфавитом. В вычислительной технике широко используется двоичное кодирование с ал-

фавитом {0, 1}. Эти знаки называются двоичными цифрами, по-английски − binary digit, или сокращенно bit (бит). Одним битом могут быть представлены два понятия: 0 или 1 (да или нет, черное или белое, истина или ложь и т. п.). Если количество битов увеличить до двух, то уже можно будет представить четыре различных понятия:

Тремя битами можно представить восемь различных понятий:

С увеличением на единицу количества разрядов в системе двоичного кодирования, увеличивается в два раза количество понятий, которые могут быть представлены в данной системе. Общая формула имеет вид:

N = 2 m ,

где N − число независимых кодируемых понятий; m − разрядность двоично-

го кодирования, принятая в данной системе. Наиболее распространенными кодами являются ASCII (American standard code for information interchange −

американский стандартный код для обмена информацией) и КОИ-8 (код обмена информацией длиной 8 битов).

С точки зрения информатики наиболее важными представляются следующие свойства информации: объективность, полнота, достоверность, адекватность, доступность и актуальность информации.

23

1 . Информационные процессы и средства их реализации

Объективность и субъективность информации. Понятие объективно-

сти является относительным, так как методы получения и обработки информации, как правило, являются субъективными. Более объективной является та информация, в которую методы вносят меньшую субъективную составляющую. Например, в результате наблюдения фотоснимка природного объекта или явления формируется более объективная информация, чем в результате наблюдения выполненного человеком рисунка того же объекта. В ходе информационного процесса степень объективности информации всегда понижается.

Полнота информации. Полнота информации во многом характеризует качество информации и определяет достаточность данных для принятия решений или для создания новых данных на основе имеющихся. Чем полнее данные, тем проще подобрать методы поиска, обработки и передачи информации, вносящие минимальные погрешности в ход информационного процесса.

Достоверность информации. Данные формируются при регистрации сигналов, но не все сигналы являются «полезными» − всегда присутствуют посторонние сигналы некоторого уровня, в результате чего полезные данные сопровождаются определенным «информационным шумом». Чем более четко полезный сигнал различается на фоне посторонних сигналов, тем более достоверной будет информация.

Адекватность − свойство информации однозначно соответствовать объекту или явлению. Неадекватная информация может возникать при создании новой информации на основе неполных или недостоверных данных.

Доступность информации – мера возможности получить конкретную информацию. На степень доступности информации влияют как доступность данных, так и доступность адекватных методов для их интерпретации.

Актуальность информации – это степень соответствия информации текущему моменту времени. Поскольку информационные процессы растянуты во времени, то достоверная и адекватная, но устаревшая информация может приводить к ошибочным решениям.

24

1 . Информационные процессы и средства их реализации

1.4.Технические средства реализации информационных процессов

1.4.1.Электронные вычислительные машины

Вычислительной техникой называются устройства, предназначенные для использования в системах автоматической и автоматизированной обработки данных. Совокупность взаимосвязанных устройств вычислительной техники вместе с соответствующим программным обеспечением называется

электронной вычислительной машиной (ЭВМ), вычислительной системой

(ВС) или вычислительным комплексом (ВК). Таким образом, ЭВМ – это включающая необходимые аппаратные и программные средства система, предназначенная для автоматизации процесса обработки информации и вычислений.

С середины 60-х годов XX века подход к созданию вычислительных машин существенно изменился. Вместо независимой разработки аппаратуры и средств программного обеспечения стала проектироваться система, состоящая из совокупности аппаратных и программных средств. При этом на первый план выдвинулась концепция их взаимодействия. Рассмотрим основные понятия, связанные с архитектурой и структурой ЭВМ. Архитектуру ЭВМ следует отличать от ее структуры.

Под архитектурой ЭВМ понимается совокупность общих принципов организации аппаратно-программных средств и их характеристик, определяющая функциональные возможности ЭВМ при решении соответствующих классов задач.

Архитектура определяет принципы организации ЭВМ, алгоритмы взаимодействия компонентов ЭВМ, описание которых выполняется в той мере, в какой это необходимо для обеспечения взаимодействия компонентов. Так, пользователю ЭВМ безразлично, какие электронные элементы использованы для реализации аппаратных средств, с помощью аппаратных средств или программ реализуются команды и т. д. Важно другое: как те или иные структурные особенности ЭВМ связаны с возможностями, предоставляемыми пользователю, как связаны между собой характеристики отдельных устройств, входящих в состав ЭВМ, и какое влияние они оказывают на общие характеристики машины. Иными словами, архитектура ЭВМ отражает круг проблем, относящихся к общему проектированию и построению вычислительных машин и их программного обеспечения.

25