Chast_1-Osnovy_informatiki

1 . Информационные процессы и средства их реализации

ГЛАВА 1

ИНФОРМАЦИОННЫЕ ПРОЦЕССЫ

ИСРЕДСТВА ИХ РЕАЛИЗАЦИИ

1.1.Основные понятия

Определение 1 . 1 . 1 . Вещь – это целостная и относительно устойчивая часть материального мира, существующая объективно, т. е. вне нас и независимо от нас, и отражающаяся в нашем сознании.

Определение 1 . 1 . 2 . Отношение – это одна из форм всеобщей взаимосвязи всех предметов, явлений, процессов в природе, обществе и мышлении.

Определение 1 . 1 . 3 . Предмет – это всякая материальная вещь, объект познания. Предмет существует вне и независимо от сознания и воспринимается органами наших чувств.

Вне и независимо от сознания существуют свойства вещей и отношения между вещами, поэтому свойства и отношения также могут рассматриваться как предметы, но в отличие от предмета как вещи они называются абстрактными предметами.

Определение 1 . 1 . 4 . Объект – это то, что существует вне нас и независимо от нашего сознания (внешний мир, действительность) и является предметом познания, практического воздействия.

Объектом познания может быть не только эмпирический объект, но и теоретический объект («точка» в геометрии), так называемая идеализация, которая в реальном мире не существует, но которая все же имеет в нем свой прообраз.

Определение 1 . 1 . 5 . Свойство – это то, что присуще предметам, что отличает их от других предметов или делает их похожими на другие предметы.

Каждый предмет обладает множеством свойств. Проявляются свойства в процессе взаимодействия предметов. Свойства делятся на существенные, без которых предмет существовать не может, и несущественные. Совокупность существенных свойств предмета выражает его качественную определенность. В практике различают также свойства общие и специфические, необходимые и случайные, внутренние и внешние и т. д.

6

1 . Информационные процессы и средства их реализации

Определение 1 . 1 . 6 . Сущность – это совокупность всех сторон и связей (законов), свойственных вещи, взятых в их естественной взаимозависимости, в их жизни.

Сущность всегда находится в единстве с явлением, ибо она в явлениях не только обнаруживается, но через явления существует, действует. Задача познания и состоит в том, чтобы от явления, лежащего на поверхности предмета, идти к сущности, к познанию закона.

Определение 1 . 1 . 7 . Явление – это обнаружение сущности предмета через свойства и отношения, доступные чувствам.

Сущность скрыта под поверхностью явлений, тогда как явления обнаруживаются непосредственно.

Определение 1 . 1 . 8 . Субстанция – это основа всего существующего, существенное в предметах и явлениях объективной действительности.

Определение 1 . 1 . 9 . Атрибут – это неотъемлемое, существенное, необходимое свойство, признак предмета или явления, без которого предмет или явление не могут существовать, быть самим собой; в отличие от случайных, преходящих, несущественных свойств, или акциденций.

Определение 1 . 1 . 1 0 . Акциденция – это изменчивое, преходящее, временное, несущественное, случайное свойство или состояние предмета, которое может быть абстрагировано и при этом сущность предмета не потерпит изменения.

Определение 1 . 1 . 1 1 . Знак – это материальный чувственновоспринимаемый объект, который символически, условно представляет и отсылает к обозначенному им предмету, явлению, действию или событию, свойству, связи или отношению предметов, явлений, действий или событий, сигнализирует о предмете, явлении, свойстве и т. п., который им обозначается.

Знак является основным понятием семиотики – науке о знаках и знаковых системах, а также о естественных и искусственных языках как знаковых системах. Семиотика изучает виды знаков (буквы, слова, графические изображения, сигналы и т. п.), закономерности их сочетаний в различных системах.

Знаки в определенных условиях (в совокупности образующих знаковую ситуацию) служат для представления информации на основе ассоциации, связи или по соглашению. Материализуя мысленные образы, знак дает возможность накоплять, хранить и передавать информацию.

7

1 . Информационные процессы и средства их реализации

Определение 1 . 1 . 1 2 . Символ – это чувственно-воспринимаемый объект, вещественный, письменный или звуковой знак, которым обозначается какое-либо понятие (идея, мысль), предмет, действие или событие.

Часто в информатике символ – это то же, что литера или элемент знаковой системы, представляемый словом из одной или нескольких литер.

Определение 1 . 1 . 1 3 . Алфавит – это всякое непустое конечное множество символов (знаков), которые расположены в строго определенном порядке.

Символы, входящие в алфавит, называются литерами (буквами), коли-

чество литер, входящих в алфавит, − объемом алфавита, а конечная последо-

вательность символов алфавита – словом. При этом возможна пустая последовательность.

Определение 1 . 1 . 1 4 . Литера – это элемент алфавита. Определение 1 . 1 . 1 5 . Слово – это последовательность литер. Определение 1 . 1 . 1 6 . Сигнал – это условный знак, с помощью ко-

торого передаются какие-либо сведения, сообщения, указания, предупреждения и т. п. В информатике сигнал – это материальный процесс, несущий информацию, материальное воплощение информации.

Сигнал передается с помощью какого-либо материального канала связи (телефонного провода, радиоволн, воздуха и т. п.). Для сигнала характерно не непосредственное физическое воздействие, а действие информационное, обусловленное принятой системой кодирования, которая превращает материальный процесс (физический, химический и т. п.), материальный знак в сигналы.

Определение 1 . 1 . 1 7 . Данные – факты и идеи, представленные в формализованном виде, позволяющем передавать или обрабатывать эти факты или идеи при помощи некоторого процесса (и соответствующих технических средств).

В информатике формальную систему, используемую для выражения фактов и идей и обеспечивающую возможность их хранения, обработки или передачи, называют языком представления данных.

Данные обычно представлены на каких-либо носителях (бумаге, магнитной ленте и т. п.).

Определение 1 . 1 . 1 8 . Отражение – это всеобщее свойство материи, сущность которого состоит в том, что взаимодействующие друг с другом тела (органические или неорганические) посредством соответствующих внутренних изменений своих свойств и состояний более или менее

8

1 . Информационные процессы и средства их реализации

адекватно воспроизводят (отображают) в виде отпечатка, сдвига частиц, следа, образа и т. п. некоторые особенности, свойства и состояния воздействующих на них других материальных тел.

Если отражение рассматривать с позиции одной из взаимодействующих вещей, можно сказать, что отражение – это воспроизведение особенностей отражаемого предмета в соответствующих изменениях свойств и состояний отражающего предмета. Причем сам процесс отражения, возможный лишь в результате взаимодействия материальных тел, уже на самых низших ступенях развития материи представляет собой именно взаимоотражение тел.

Определение 1 . 1 . 1 9 . Информация – это одно из основных универсальных свойств предметов, явлений, процессов объективной действительности, человека и созданных им машин, заключающееся в способности воспринимать внутреннее состояние и воздействия окружающей среды и сохранять определенное время результаты восприятия, преобразовывать полученные сведения (данные) и передавать результаты обработки (преобразования) другим предметам, явлениям, процессам, машинам, людям.

Информация – это один из видов осуществления процесса отражения, которое является материальной базой возможности протекания информационных процессов. Информация – это отраженное разнообразие, которое отражающий объект получает от объекта отражаемого, и не только получает, но и преобразует в соответствии со своей внутренней организацией. И в этом смысле можно говорить, что информация носит объективный характер. Все материальные объекты и процессы являются источниками, носителями и потребителями разнообразной информации.

Определение 1 . 1 . 2 0 . Сообщение – это последовательность сигналов, передаваемых в процессе передачи информации от источника к получателю информации.

Источником информации потенциально может быть любой предмет или явление как живой, так и неживой природы. Некоторый объект является получателем информации, если приходящие от источника сигналы, являющиеся физическими носителями передаваемой информации, приводят к некоторому изменению состояния объекта. Передача информации – это реальный физический процесс, протекающий в среде, разделяющей источник и получатель.

Определение 1 . 1 . 2 1 . Код – это система условных знаков (символов) для передачи, обработки и хранения (запоминания) различной информации.

9

1 . Информационные процессы и средства их реализации

Конечная последовательность кодовых знаков называется словом. Число различных символов (составляющих алфавит кода), которые используются в словах данного кода, называют его основанием.

Определение 1 . 1 . 2 2 . Кодирование – это операция отождествления символов или групп символов одного кода с символами или группами символов другого кода.

Необходимость кодирования возникает, прежде всего, из потребности приспособить форму сообщения к данному каналу связи или какому-либо другому устройству, предназначенному для преобразования или хранения информации. Так, с помощью телеграфных кодов сообщения, представленные в виде последовательности букв, например, русского языка, и цифр, преобразуется в определенные комбинации электрических импульсов.

Определение 1 . 1 . 2 3 . Информатика – это наука, изучающая законы и методы накопления, передачи и обработки информации с помощью электронных вычислительных машин и включающая также изучение всех видов человеческой интеллектуальной деятельности, связанных с применением ЭВМ.

Как фундаментальная наука информатика связана с философией – через учение об информации как общенаучной категории и теорию познания; с математикой – через понятие математической модели, математическую логику и теорию алгоритмов; с лингвистикой – через учение о формальном языке

ио знаковых системах. Информатика также тесно связана с такими науками, как теория информации, кибернетика, системотехника.

Важнейшими методологическими принципами информатики являются изучение природного явления или поведения объекта как процесса обработки информации, а также признание единства законов обработки информации в искусственных, биологических и социальных системах.

Основными видами человеческой интеллектуальной деятельности, изучаемыми в информатике, являются: математическое моделирование (фиксация результатов познавательного процесса в виде математической модели); алгоритмизация (реализация причинно-следственных связей и других закономерностей в виде направленного процесса обработки информации по формальным правилам); программирование (реализация алгоритма на ЭВМ); выполнение вычислительного эксперимента (получение нового знания об изучаемом явлении или объекте с помощью вычислений на ЭВМ); наконец, решение конкретных задач, относящихся к кругу объектов и явлений, описанных исходной моделью.

10

1 . Информационные процессы и средства их реализации

Определение 1 . 1 . 2 4 . Информационная технология – это создаваемая прикладной информатикой совокупность систематических и массовых способов и приемов обработки, передачи и хранения информации во всех видах человеческой деятельности с использованием современных средств связи, вычислительной техники и программного обеспечения.

В основе информационной технологии лежат те или иные технические изобретения (печатный станок, телеграф, фотоаппарат, пишущая машинка, телефон, звукозапись, радио, телевизор, видеозапись и др.), которые со временем приводили к созданию социально-технических структур, удовлетворявших информационные потребности общества (книгопечатание, почта, электросвязь, радио- и телевещание, кинематограф, пресса, библиотечное и архивное дело).

Изобретение ЭВМ, в особенности микропроцессоров, привело к революционным изменениям информационных технологий. Компьютер и инфор- мационно-вычислительные сети посредством безнаборного способа печати, машинной графики, безбумажного способа делопроизводства, электронной почты, коллективно используемых банков данных, дистанционного образования и т. п. обеспечивают создание и развитие информационных технологий на принципиально новой технической базе. Это позволяет не только существенно повысить эффективность известных информационных технологий, но и является основой разработки и широкого использования новых информационных технологий.

1.2. Энтропия и информация

Главным свойством случайных событий является отсутствие полной уверенности в их наступлении, создающее известную неопределенность при выполнении связанных с этим событием опытов. Однако степень этой неопределенности в различных случаях будет разной. Для практики важно уметь численно оценивать степень неопределенности самых разнообразных опытов. Рассмотрим опыты, имеющие k равновероятных исходов. Очевидно, что степень неопределенности каждого такого опыта определяется числом k : если при k = 1 исход опыта вообще не является случайным, то при большом k , т. е. при наличии большого числа разных исходов, предсказание результата опыта становится весьма затруднительным. Таким образом, ясно, что искомая численная характеристика степени неопределенности должна

11

1 . Информационные процессы и средства их реализации

зависеть от k , т. е. являться функцией f (k ) . При этом для k = 1 эта функция должна обращаться в нуль (ибо в этом случае неопределенность полностью отсутствует), а при возрастании числа k она должна возрастать.

Для более полного определения функции f (k ) надо предъявить к ней дополнительные требования. Рассмотрим два независимых опыта α и β

(т. е. такие два опыта, что любые сведения об исходе первого из них никак не меняют вероятностей исходов второго). Пусть опыт α имеет k равновероят-

ных исходов, а опыт β имеет l равновероятных исходов; рассмотрим также сложный опыт αβ , состоящий в одновременном выполнении опытов α и β .

Очевидно, что неопределенность опыта αβ больше неопределенности опыта

α , так как к неопределенности α здесь добавляется еще неопределенность исхода опыта β . Естественно считать, что степень неопределенности опыта

αβ равна сумме неопределенностей, характеризующих опыты α и β . А так

как опыт αβ имеет, очевидно, kl равновероятных исходов (они получаются,

если комбинировать каждый из k возможных исходов опыта α с l исхода-

ми β ), то мы приходим к следующему условию, которому должна удовле-

творять наша функция f (k ) :

f (kl ) = f (k ) + f (l ) .

Последнее условие приводит к мысли принять за меру неопределенно-

сти опыта, имеющего k равновероятных исходов, число (ибо

log(kl ) = log k + log l ). Такое определение меры неопределенности согласуется также с условиями, что при k = 1 она равна нулю и что при возрастании k она возрастает.

Заметим, что выбор основания системы логарифмов здесь несуществен, так как в силу известной формулы

logb k = logb a loga k

переход от одной системы логарифмов к другой сводится лишь к умножению функции f (k ) = log k на постоянный множитель (модуль перехода logb a ), т. е. равносилен простому изменению единицы измерения степени неопределенности. В конкретных применениях «меры степени неопределенности» обычно используются логарифмы при основании два (другими сло-

вами – считается, что f (k ) = log2 k ). Это означает, что за единицу измерения степени неопределенности здесь принимается неопределенность, содержащаяся в опыте, имеющем два равновероятных исхода (например, в опыте, состоящем из подбрасывания монеты и выяснении того, какая сторона ее ока-

12

1 . Информационные процессы и средства их реализации

залась сверху, или в выяснении ответа «да» или «нет» на вопрос, по поводу которого с равными основаниями можно ожидать, что ответ будет утвердительным или отрицательным). Такая единица измерения неопределенности называется двоичной единицей (сокращенно дв. ед.) или битом. В дальнейшем будут использоваться двоичные единицы (биты); таким обра-

Аналогично этому можно положить, что в общем случае, для опыта α с таблицей вероятностей

мера неопределенности равна

− p( A1 ) log p( A1 ) − p( A 2 ) log p( A 2 ) − p( A3 ) log p( A3 ) − K − p( A k ) log p( A k ) .

Это последнее число будем называть энтропией опыта α и обозначать через

H (α) .

Так как − p log p равно нулю лишь при p = 0 или p = 1, то ясно, что энтропия H (α) опыта α равна нулю лишь в том случае, когда одна из веро-

ятностей p( A1 ) , p( A 2 ) , , p( A k ) равна единице, а все остальные равны нулю (напоминаем, что p( A1 ) + p( A 2 ) + K + p( A k ) = 1). Это обстоятельство хорошо согласуется со смыслом величины H (α) как меры степени неопре-

деленности: действительно, только в этом случае опыт вообще не содержит

13

1 . Информационные процессы и средства их реализации

никакой неопределенности. Далее естественно считать, что среди всех опытов, имеющих k исходов, наиболее неопределенным является опыт,

имеющий k равновероятных исходов, этот опыт обозначим через α0 ; в этом случае предсказать исход опыта труднее всего. Этому отвечает то обстоя-

ную − log p( Ai ) . Далее в качестве меры неопределенности всего опыта α принимается среднее значение неопределенности отдельных исходов (т. е.

среднее значение случайной величины, принимающей значения − log p( A1 ) ,

− log p( A 2 ) , K, − log p( A k ) с вероятностями p( A1 ) , p( A 2 ) , K, p( A k ) ; это среднее значение и равно H (α) ). Использование величины H (α) в качестве

меры неопределенности опыта α оказывается очень удобным для весьма многих целей. Реальная ценность понятия энтропии определяется в первую очередь тем, что выражаемая им «степень неопределенности» опытов оказывается во многих случаях именно той характеристикой, которая играет роль в разнообразных процессах, встречающихся в природе и технике и так или иначе связанных с передачей и хранением информации.

Пусть α и β – два независимых опыта с таблицами вероятностей:

Рассмотрим сложный опыт αβ , состоящий в том, что одновременно осуществляются опыты α и β . Этот опыт может иметь kl исходов:

A1 B 1 , A1 B 2 , K, A1B l ; A 2 B 1 , A2 B 2 , K, A 2 B l ; K; Ak B1 , Ak B 2 , K, Ak B l ,

где, например, A1 B 1 означает, что опыт α имел исход A1 , а опыт β − ис-

ход B1 . Очевидно, что неопределенность опыта αβ больше неопределенно-

14

1 . Информационные процессы и средства их реализации

сти каждого из опытов α и β , так как здесь осуществляются сразу оба эти опыта, каждый их которых может иметь разные исходы в зависимости от случая. Можно доказать справедливость равенства

H (αβ) = H (α) + H (β)

(правило сложения энтропий), которое хорошо согласуется со смыслом энтропии как меры неопределенности.

Предположим теперь, что опыты α и β не независимы. В этом

случае мы не можем ожидать, что энтропия сложного опыта αβ будет равна сумме энтропий опытов α и β . Определим, чему равна энтропия сложного опыта αβ .

H (αβ) = − p( A1B1 ) log p( A1B1 ) − p( A1B2 ) log p( A1B2 ) − K− p( A1Bl ) log p( A1Bl ) −

− p( A 2 B1 ) log p( A 2 B1 ) − p( A 2 B2 ) log p( A 2 B2 ) − K − p( A 2 Bl ) log p( A 2 Bl ) − K K− p( Ak B1 ) log p( A k B1 ) − p( A k B2 ) log p( Ak B2 ) − K− p( Ak Bl ) log p( Ak Bl ) ,

тия B j при условии Ai . Сумма

− p A i ( B1 ) log p A i ( B1 ) − p Ai ( B2 ) log p A i ( B2 ) − K − p A i ( Bl ) log p A i ( Bl )

представляет собой энтропию опыта β при условии, что имело место собы-

тие Ai (энтропия опыта β зависит от исхода опыта α , так как от исхода α зависят вероятности отдельных исходов β ). Это выражение естественно на-

звать условной энтропией опыта β при условии Ai и обозначить через H A i (β) .

Используя условную энтропию опыта β , выражение для H (αβ) можно переписать в виде

H (αβ) = H (α) + { p( A1 )H A1 (β) + p( A 2 )H A 2 (β) + K + p( A k )H A k (β)} .

Первый член последнего выражения представляет собой энтропию опыта α . Что же касается второго, то это есть среднее значение случайной величины,

принимающей с вероятностями p( A1 ) , p( A 2 ) , K, p( A k ) значения H A1 (β) ,

15