ast-toi-uch-pos

1.6.1 Мера Р. Хартли

Формула Хартли: H = k logаN, где k — коэффициент пропорциональности, а — основание системы меры.

Формула Хартли не работает в случае различных состояний системы.

Хартли предложил оценивать количество информации в зависимости от мощности алфавита I = L logah, где L — длина сообщения, h — мощность исходного алфавита (количество символов в алфавите).

Пусть известны N состояний системы S, которые необходимо закодировать двоичным кодом. Вопрос: какой длины должен быть код? Число всех различных комбинаций из {0,1} длины d должно быть не меньше, чем N, т.е. 2d≥N (*). Прологарифмируем это неравенство: log22d ≥ log2N d ≥ log2N. Наименьшее решение этого неравенства называется мерой разнообразия множества состояний системы и

задается формулой Хартли для двоичной системы счисления: H = log2N (бит).

Пример 1. Чтобы узнать положение точки в системе из 4-х клеток необходимо задать два вопроса ("Левая или правая клетка?"). В итоге, узнав положение точки, мы увеличиваем суммарную информацию о системе на 2 бита (I = log24).

Пример 2. Имеются 200 монет. Известно, что одна из них — фальшивая и более легкая по весу. Вопрос: за сколько взвешиваний можно выявить ее? Предположим, что на весы кладется равное количество монет. Тогда получим 3 независимые возможности: а) левая чашка ниже; б) правая чашка ниже; в) чашки уравновешены. Таким образом, каждое взвешивание дает количество информации I = log23. Следовательно, для определения фальшивой монеты нужно сделать не менее k взвешиваний, где наименьшее k

удовлетворяет условию log23k log2200. Отсюда, k 5.

Пример 3. Пусть имеется система из 4-х светодиодов, каждый из которых может находиться в одном из двух состояний — включено/выключено. Определить количество разнообразных состояний системы. По формуле (*) имеем 24 ≥ N, т.е N должно быть не больше 16.

Пример 4. В системе из 4-х светодиодов может быть включен только один. Вопрос: на сколько увеличится суммарная информация о системе при обнаружении включенного светодиода? Число состояний системы N = 4. Воспользуемся утверждением Хартли, что для обнаружения произвольного элемента xi X = {x1, x2, …, xn} необходимо получить не менее logan единиц информации. Тогда I = log24 = 2 бита. Каждый вопрос по поводу включенного светодиода дает количество информации (да/нет) I = log22 = 1 бит. Следовательно, необходимо задать два вопроса, например, «номер индикатора больше двух?» (да/нет).

Пример 5. Определить количество информации, содержащейся в двоичной цифре. Имеем исходный алфавит {0,1}. Следовательно, h = 2. Длина сообщения L = 1 (одна двоичная цифра). Тогда I = 1*log22 = 1 бит. Это аналитическое определение бита.

На одну двоичную цифру приходится 1 бит информации.

Определить количество информации, приходящейся на одну восьмеричную цифру.

(Ответ: 3)

Доказать, что на одну шестнадцатеричную цифру приходится 4 бита информации.

1.6.2. Мера К. Шеннона

Шеннон предложил связать количество информации в сообщении с вероятностью получения этого сообщения.

Вероятность — это количественная характеристика одного из исходов некоторого опыта, известная до его проведения. Измеряется в пределах от 0 до 1.

Сумма вероятностей всех исходов опыта равна 1.

Теория Шеннона разработана как теория передачи данных по каналам связи, а мера Шеннона — как мера количества данных и не отражает семантического смысла.

10

Формула Шеннона дает оценку информации независимо от ее смысла:

где n — число состояний системы; рi — вероятность (относительная частота) перехода системы в i-е состояние (сумма всех pi равна 1).

Исходы называются равновероятными, если они могут совершиться с равной долей вероятности.

Для равновероятных состояний рi = 1/n, I = log2n.

Вобщем случае выполняется неравенство:

Сообщение о наступлении события с меньшей вероятностью несет в себе больше информации, чем сообщение о наступлении события с большей вероятностью.

Сообщение о наступлении достоверно наступающего события несет в себе нулевую информацию.

Пример 1. Определить, сколько бит информации несет произвольное двузначное десятичное число со всеми значащими цифрами. Каждая из возможных цифр может появиться на данном месте, в данном разряде с одинаковой вероятностью. Так как таких чисел может быть всего 90 (10-99), то количество информации будет I = log290 (приблизительно I = 6,5). Так как в двузначных числах первая значащая цифра может принимать 9 значений (1-9), а вторая — 10 значений (0-9), то I = log290 = log29 + log210. Итак, сообщение в одну десятичную единицу несет в себе в 3,32 (значение log210) больше информации, чем в одну двоичную единицу (log22 = 1). Вторая цифра в двузначном десятичном числе несет в себе больше информации, чем первая.

Количество информации I можно понимать как среднеарифметическое величин fi = - nlog2pi.Тогда fi можно интерпретировать как информационное содержание символа алфавита с индексом i и величиной pi вероятности появления этого символа в сообщении.

Пример 2. Определить количество информации в сообщении из 4-х букв "a", 2-х букв "б", 1-й буквы "и", 6-ти букв "р". Число N различных сообщений длиной 13 букв будет равно величине: N=13!/(4!×2!×1!×6!)=180180. Количество информации I в одном сообщении будет равно величине: I=log2(N)=log2180180≈18 (бит).

Пусть по результатам некоторого опыта получено n сообщений с вероятностью pi. Тогда количество информации в i-том сообщении определяется по формуле: I = - log2pi.

Пример 3. Определить количество информации в сообщении о результатах сдачи экзамена нерадивым студентом, если известны вероятности получения оценок:

«отлично» — р(5) = 0,1; «хорошо» — р(4) = 0,2; «удовлетворительно» — р(3) = 0,4;

«неудовлетворительно» — р(2) = 0,3.

Тогда количество информации в каждом сообщении будет равно: I(5) = - log20,1 = 3,32;

I(4) = - log20,2 = 2,32;

I(3) = - log20,4 = 1,32;

I(3) = - log20,3 = 1,74.

Пример 4. Определить среднее количество информации в сообщении о результатах сдачи экзамена нерадивым студентом. По формуле Шеннона получим: Iср = - (0,1* log20,1 + 0,2* log20,2 + 0,4* log20,4 + 0,3* log20,3) = 1,73.

Если у опыта два равновероятных исхода, то Iср = - (0,5* log20,5 + 0,5* log20,5) = 1. Это аналитическое определение бита по Шеннону.

11

1.6.3. Термодинамическая мера

Вреальной жизни всегда присутствует некоторая степень неопределенности.

Л.Бриллюэн охарактеризовал информацию как отрицательную энтропию. Так как

энтропия является мерой неупорядоченности, то информация может быть определена как

мера упорядоченности материальных систем.

Пусть потребитель имеет предварительные сведения о системе α до получения информации. Н (β) — мера его неосведомленности о системе (или мера неопределенности состояния системы). Iβ(α) — дополнительная информация после получения сообщения β, уменьшившая неопределенность состояния системы Нβ(α).

Количество информации о системе, полученной в сообщении β:

Iβ(α) = Н(α) - Нβ(α)

Другими словами, количество информации измеряется изменением неопределенности состояния системы.

Энтропия системы Н(α) может рассматриваться как мера недостающей информации.

Информационно-термодинамический подход связывает величину энтропии системы с недостатком информации о внутренней структуре. Число состояний определяет степень неполноты сведений о системе.

Пусть дана термодинамическая система (процесс) S, а Н0, Н1 — термодинамические энтропии системы S в начальном (равновесном) и конечном состояниях термодинамического процесса. Тогда термодинамическая мера информации (негэнтропия) определяется формулой: Н(Н0,Н1) = Н0 - Н1. Уменьшение Н(Н0,Н1) говорит о приближении термодинамической системы S к состоянию статического равновесия, а увеличение — об удалении.

Пусть до начала процесса можно дать p1 равновероятных ответов на вопрос о состоянии термодинамической системы, а после окончания процесса — p2 ответов. Изменение информации определяется выражением ΔI = k ln(p1 / p2) = k (ln p1 - ln p2 ).

Если p1>p2 (ΔI>0), то сведения о системе стали более определенными. Если p1<p2 (ΔI<0) — менее определенными.

Пример. Имеется термодинамическая система — газ в объеме V , который расширяется до объема 2V. Каковы координаты молекулы m газа в новом объеме? До расширения объема координаты были известны p1=1 (lnp1=0). Число ответов было пропорционально lnV. После расширения мы знаем эту координату по изменившейся информации о состоянии системы как ΔI = -k ln(2V /V) = -k ln 2 (нат).

Величина ΔI может быть интерпретирована как количество информации, необходимой для перехода от одного уровня организации системы к другому (при ΔI>0 — более высокому, а при ΔI>0 — более низкому уровню организации).

1.6.4. Семантический подход

Для оценки количества информации с позиций целесообразности используется формула I = log(p1 / p2), где р1 — вероятность достижения цели после получения сообщения, р2 — вероятность достижения цели до получения сообщения.

Пример. Определить количество информации, содержащейся в шпаргалке, если известно, что вероятность сдачи экзамена без шпаргалки равна 0,2. Использование шпаргалки увеличивает вероятность сдачи до 0,8.

Следовательно, I = log2(0,8/0,2) = log24 = 2. Пусть шпаргалка содержала неверную информацию, вследствие чего вероятность сдачи экзамена уменьшилась до 0,1. Тогда I = log2(0,1/0,2) = log20,5 = -1. Отрицательный знак результата говорит о дезинформации.

1.7 ПОЛОЖЕНИЯ КОМБИНАТОРИКИ, ИСПОЛЬЗУЕМЫЕ В ИЗМЕРЕНИИ ИНФОРМАЦИИ

Комбинаторика – раздел дискретной математики, изучающий способы формирования подмножеств из элементов исходного множества.

12

Из конечного счетного множества элементов мощности h можно сформировать такие виды комбинаций элементов как:

1.Сочетания — группировка элементов исходного множества в подмножества

одинаковой мощности так, что элементы в них отличаются составом, а порядок элементов произвольный. Число сочетаний из h элементов по L без повторений: C(Lh) = h!/(L!(h - L)!).

Пример. Пусть {a,b,c} — исходное множество мощности h=3. По правилу сочетаний можно получить следующие подмножества мощности 2: {a,b}, {a,c}, {b,c}.

Множества типа {a,b}, {b,a} являются идентичными и не формируются. Число сочетаний из трех элементов по два без повторений С(23) = 3!/(2!(3 - 2)!) = 3.

2.Перестановки — группировка элементов исходного множества в подмножества одинаковой мощности так, что элементы в них отличаются только порядком. Число перестановок из h элементов без повторений: П(h) = h!

Пример. Пусть {a,b,c} — исходное множество мощности h=3. По правилу перестановок можно получить следующие подмножества: {a,b,c}, {a,c,b}, {b,c,a}, {b,a,c}, {c,a,b}, {c,b,a}. Число перестановок из трех элементов по три П(3) = 3! = 6.

3.Размещения — группировка элементов исходного множества в подмножества

одинаковой мощности так, что элементы в них отличаются и составом и порядком. Число размещений из h элементов по L без повторений: Р(Lh) = h!/(h - L)!

Пример 1. Пусть {a,b,c} — исходное множество мощности h=3. По правилу размещений можно получить следующие подмножества мощности 2: {a,b}, {a,c}, {b,c},

Число размещений из h элементов по L с повторениями: Рп(Lh) = hL.

Пример 2. Пусть {0,1} — исходное множество мощности h=2. По правилу размещений можно получить следующие подмножества мощности 3: {0,0,0}, {0,0,1}, {0,1,0}, {1,0,0}, {1,1,0}, {1,0,1}, {0,1,1}, {1,1,1}.

Число размещений из двух элементов по три с повторениями Рп(32) = 23 = 8.

Определить количество различных последовательностей из символов «*» и «#» длиной в 5 символов. (Ответ: 32)

1.8 ИНФОРМАЦИОННЫЙ ПРОЦЕСС

Под информационными процессами понимаются любые действия, выполняемые над информацией. При работе с информацией всегда имеется ее источник и потребитель.

Информационные коммуникации — это пути и процессы, обеспечивающие передачу сообщений от источника информации к ее потребителю.

При передаче информации от источника потребителю она проходит фазы, составляющие информационный процесс:

•восприятие (сбор);

•передачу данных (скорость, пропускная способность, защита от шума);

•хранение данных (объем информации, надежность, время доступа);

•обработку данных (математические вычисления, логические рассуждения, поиск, кодирование).

Информационный процесс может проходить только в системе, в которой присутствует человек, например, процессы познания, обучения, управления.

Информационное взаимодействие — это взаимодействие между людьми посредством передачи данных, в результате которого происходят изменения в ощущениях, мнениях, представлениях, знаниях.

13

1.9 ИНФОРМАЦИОННЫЕ СИСТЕМЫ

Система — это совокупность элементов, находящихся в отношениях и связях между собой и образующих определенную целостность.

Система создается для описания каких-то процессов. Если процесс информационный, то система обязательно должна включать людей, например, система образования, система экономики, правовая система.

Информационная система — это взаимосвязанная совокупность средств, методов и персонала, используемых для хранения, обработки и выдачи информации в интересах достижения поставленной цели.

Информационная система — это организационно упорядоченная совокупность документов и информационных технологий, реализующих информационные процессы.

Управление системой (в системе) используется в целях:

•увеличения скорости передачи сообщений;

•увеличения объема передаваемых сообщений;

•уменьшения времени обработки сообщений;

•модификации связей системы.

Управление любой системой можно представить в виде общей схемы (рис. 2).

Информация о состоянии выхода и внутренних текущих состояний системы

Рис. 2 Схема управления системой

1.10 МЕТОДЫ ПОЛУЧЕНИЯ И ИСПОЛЬЗОВАНИЯ ИНФОРМАЦИИ

Методы получения и использования информации можно разделить на три группы:

1.Эмпирические (наблюдение, сравнение, измерение, эксперимент).

2.Теоретические:

a.восхождение от абстрактного к конкретному;

b.идеализация — представление систем, не существующих в действительности;

c.формализация — математическое, формальное описание;

d.виртуализация — создание особой среды для исследуемого объекта.

3.Эмпирико-теоретические:

a.абстрагирование — установление общих свойств объекта, замещение его моделью;

b.анализ — разъединение системы на подсистемы с целью выявления их взаимосвязей;

c.декомпозиция — разъединение системы на подсистемы с сохранением их взаимосвязей с окружением;

d.синтез — соединение подсистем в систему с целью выявления их взаимосвязей;

e.композиция — соединение подсистем в систему с сохранением их взаимосвязей с окружением;

14

f.индукция — получение знания о системе по знаниям о подсистемах;

g.дедукция — получение знания о подсистемах по знаниям о системе;

h.эвристики — получение знания о системе по знаниям о подсистемах, наблюдениям и опыту;

i.моделирование — получение знания об объекте с помощью модели;

j.макетирование — представление подсистем в упрощенном виде;

k.мониторинг — наблюдение и анализ состояния системы;

l.имитация — подражание;

m.верификация — сопоставление с опытом.

1.11КЛАССИФИКАЦИЯ МОДЕЛЕЙ

Модель — это упрощенное подобие реального объекта, процесса или явления, его образец.

Слово «модель» происходит от латинского «modulus», что в переводе означает

«образец».

Модель должна отражать существенные черты объекта, процесса или явления, чтобы сделанные по модели выводы можно было применить ко всему объекту, процессу или явлению целиком. Один и тот же реальный объект может быть описан разными моделями. Одна и та же модель может рассматриваться для разных реальных ситуаций.

Модели делятся на универсальные и специализированные. К универсальным относятся базы данных, системы управления базами данных, автоматизированные системы управления, базы знаний, экспертные системы. Специализированные модели предназначены для описания конкретных систем. Модели также можно разделить на предметные (материальные) и информационные.

Предметные модели воспроизводят физические, геометрические, функциональные свойства объектов в материальной форме и связаны с конкретными макетами, например, глобус — макет Земли, макет самолета, здания, игрушечный паровоз.

Информационная модель — это связанная совокупность информационных объектов, описывающих информационные процессы в исследуемой предметной области.

Информационные модели представляют объекты в образной (фотографии, рисунки, плакаты) или знаковой (текст программ, формулы, таблицы данных, карты) формах. Знаковые модели можно подразделить на группы:

•описательные (содержат текстовую информацию на естественном языке об объекте-оригинале, например, милицейский протокол);

•табличные (например, таблица с данными о планетах Солнечной системы, хроника событий);

•математические;

•компьютерные.

Указать объекты, относящиеся к информационным/предметным моделям:

1.декорации театральной постановки;

2.эскизы костюмов для олимпийской сборной;

3.географический атлас;

4.объемная модель молекулы воды;

5.уравнение Больцмана;

6.макет скелета динозавра;

7.формула площади квадрата;

8.расписание движения поездов;

9.схема метрополитена;

10.игрушечный вездеход.

По фактору времени различают динамические и статические модели.

15

Динамические модели используют для описания развития объектов, процессов, явлений во времени. Например, химическая реакция, движение планет.

Статические модели описывают состояние системы в определенный момент времени. Например, строение кристалла замороженной воды.

По области использования модели делятся на опытные (опытный образец танка), игровые (модель самолета), учебные (модель-тренажер автомобиля).

Модель «материальная точка» — это абстракция, позволяющая изучать движение объекта без учета его размеров.

В рамках механики материальная точка может быть моделью как песчинки, так и слона

или планеты Земля.

Термин «черный ящик» используется в точных науках для обозначения системы со сложным или неизвестным механизмом работы.

Модель «черного ящика» была предложена У. Р. Эшби.

Рис. 3 Модель «черного ящика»

«Черный ящик» позволяет изучать реакцию системы на различные внешние воздействия. При этом не рассматривается, что происходит внутри системы и как она устроена.

Основной принцип, лежащий в основе моделей типа «черный ящик» — реакция на заданные входные данные.

«Гелиоцентрическая модель мира» принадлежит Н. Копернику, сформулирована в семи утверждениях и является описательной информационной моделью.

1.12МОДЕЛИРОВАНИЕ

Моделирование — это процедура построения моделей для исследования и изучения объектов, процессов, явлений.

Моделирование — это процесс замены объекта, процесса, явления моделью, отражающей его существенные признаки.

В моделировании используют инструменты познания (понимание устройства и поведения объекта), прогнозирования (предположение характеристик и поведения объекта), планирования и управления (воздействия, позволяющие достичь цель).

Имитационное моделирование используется для воспроизведения алгоритма функционирования системы во времени. По сведениям о состоянии системы в определенные моменты времени можно оценить характеристики системы в целом. Например, имитация ядерных процессов позволяет исследовать характер ядерного взрыва безопасно для людей и с меньшими финансовыми затратами, чем реальный эксперимент.

Геоинформационное моделирование предполагает создание многослойных электронных карт. Опорный слой описывает географию некоторой территории. Вторичные слои объектов (городов, дорог, численности населения) отражают состояние этой территории.

Натурное моделирование выполняется на реальном объекте при специально создаваемых условиях. Для обработки результатов эксперимента используют теорию подобия.

При натурном моделировании в модели узнается моделируемый объект. Натурная модель всегда имеет визуальное сходство с объектом-оригиналом.

16

Виды натурного моделирования:

•научный эксперимент (исследование вакцины);

•комплексные испытания (серия испытаний, например, на безотказную работу компьютера);

•производственный эксперимент (обобщение опыта, накопленного в ходе производственного процесса).

Статистическое моделирование используется, например, для получения прогноза загруженности автобусного маршрута в течение дня.

Технология решения задачи при помощи компьютерного моделирования

предполагает выполнение таких этапов как:

1.Постановка задачи. Описание исходной задачи, исходных данных, определение целей моделирования, требований к результатам.

2.Разработка концептуальной модели. Формулировка представлений и упрощений, выделение существенных элементов и взаимосвязей в виде схем, диаграмм или сжатого лаконичного описания.

3.Разработка математической модели (формализация). Описание концептуальной модели на математическом («формальном») языке.

4.Алгоритмизация задачи. Разработка алгоритма, представляющего математическую модель в виде последовательности операций.

5.Кодирование алгоритма. Переложение алгоритма на язык программных

средств.

6.Тестирование (отладка). Выявление и устранение ошибок.

7.Использование компьютера для анализа функционирования модели, прогнозирования ее поведения, принятия решений.

8.Интерпретация результатов. Формулировка выводов и следствий полученных прогнозов.

Процесс решения задачи с использованием компьютерного моделирования является итерационным (циклическим).

В середине 80-х гг. XX века в Японии был создан первый нейрокомпьютер, моделирующий структуру человеческого мозга. Основная область его применения — распознавание образов.

Идею мысленного эксперимента к воображаемому телу, свободному от всех внешних воздействий, впервые выдвинул и применил Г. Галилей (1564-1642) — итальянский физик, механик, астроном, философ и математик.

2 ЛОГИЧЕСКИЕ ОСНОВЫ ЭВМ

2.1 ОСНОВНЫЕ ПОНЯТИЯ АЛГЕБРЫ ЛОГИКИ

Алгебра логики (булева алгебра) занимается исчислением высказываний и применяется для описания работы дискретных устройств, к которым относятся и ЭВМ.

Любая формальная математическая система состоит из трех множеств: элементов, операций над ними и аксиом. Сигналы в логических схемах могут быть представлены бинарными символами {0,1} или логическими значениями {Истина (1), Ложь (0)}. Элементы бинарной алгебры B = {0,1} называются константами или логическими нулем и единицей.

Утверждение — основная единица, неделимая с точки зрения отражения смысла информации.

Высказывание — повествовательное утверждение, про которое можно однозначно сказать, истинно оно или ложно.

Предикат — высказывательная форма с логическими переменными, имеющая смысл при любых допустимых значениях этих переменных.

«Теплое лето», «Берегись автомобиля» — утверждения.

17

«Москва — столица РФ», «Юпитер — ближайшая к Солнцу планета» — высказывания.

«х > 100» — предикат.

Логические связки — это слова и словосочетания «не», «и», «или», «если …, то», «тогда и только тогда» и т.п.

Логические связки позволяют из элементарных высказываний строить новые составные высказывания.

Элементарные высказывания «Иванов — студент», «Иванов — футболист». Связка «И» дает составное высказывание: «Иванов — студент, хорошо играющий в футбол».

Истинность составного высказывания зависит от истинности или ложности элементарных высказываний.

Логические связки рассматриваются как операции над логическими высказываниями.

Базовые логические операции булевой алгебры (по убыванию приоритета): НЕ — логическое отрицание; И — логическое умножение (конъюнкция);

ИЛИ — логическое сложение (дизъюнкция).

Таблица истинности — таблица всех значений некоторой логической функции.

Булева функция n переменных полностью определяется таблицей из 2n строк.

Базовые операции булевой алгебры

Кроме базовых операций существуют достаточно важные операции, такие как:

1.Импликация (X→Y) ≡ (←X Y)

2.Эквивалентность (X↔Y) ≡ (X Y←X←Y)

Доказать с помощью таблицы истинности, что логическая функция F = ←A&B ←(A&B) принимает значение Ложь (0) при А = 1, В = 1.

Определить по таблице истинности логическую операцию в последнем столбце

Логические функции эквивалентны, если совпадают их таблицы истинности.

Тавтологии — всегда истинные формулы.

Из аксиом можно вывести ряд полезных соотношений:

2.2 ФОРМАЛИЗАЦИЯ ВЫСКАЗЫВАНИЙ

Формализация высказывания заключается в замене его логической формулой, составленной из логических переменных и символов логических операций.

Пример. Иванов, Петров и Сидоров утверждают, что видели виновника ДТП. Иванов говорит, что это были белые «Жигули», Петров — что черная «Волга», Сидоров — что «Москвич», но не белый. Как определить истинный цвет и марку автомобиля?

По определению конъюнкции получим следующее выражение (X Y) (Z U) (←X V) = 1 (*)

19