Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Теоретические основы информатики. Учебно-методическое пособие
.pdf
Практическая работа №12
kH log)(0
Задание 12.1. Какова энтропия опыта, состоящего в извлечении случайным
образом одной карты из колоды карт? Двух карт из этой колоды? В колоде 52
карты.
Задание 12.2. Какова энтропия опыта, состоящего в извлечении случайным
образом одной костяшки домино из полного набора в 28 костей? Двух костяшек из
этого набора?
Задание 12.3. В корзине 4 красных, 6 зеленых и 10 черных шаров. Какова
энтропия опыта, состоящего в определении цвета случайно вынутого из корзины
шара?
Задание 12.4. Имеется две урны, содержащие по 20 шаров. В первой 10
белых, 5 черных и 5 красных. Во второй 8 белых, 8 черных и 4 красных. Из каждой
урны вытаскивают по одному шару и выясняют его цвет. У какого из опытов
энтропия больше?
Задание 12.5. Из многолетних наблюдений за погодой известно, что в
городе Непросыхайске 15 июня с вероятностью 0,6 идет дождь, а с вероятностью
0,4 дождя не бывает. В том же городе 15 ноября с вероятностью 0,6 идет дождь, с
вероятностью 0,3 – снег, с вероятностью 0,1 осадков нет. В какой из этих дней
погода более неопределенная?
§ 6.2. Свойства энтропии.
Теорема 1: Энтропия – строго выпуклая функция.
Теорема 2: Среди всех опытов с п исходами наибольшую энтропию имеет
опыт с равновероятными исходами.
Теорема 3: Энтропия опыта α с п исходами удовлетворяет двусторонней
оценке
,
причем нижняя оценка достигается, когда в опыте все исходы, кроме одного,
невозможны; верхняя – в опыте с равновероятными исходами.
Теорема 4: (Правило сложения энтропий). Энтропия сложного опыта,
состоящего из нескольких независимых, равна сумме энтропий отдельных опытов.
Т.е. если α и β – два независимых опыта с вероятностями p(A1)…p(An) и
p(B1)…p(Bk), то сложный опыт αβ (состоящий в том, что одновременно
осуществляются опыты α и β) может иметь n∙k исходов: A1B1, A1B2, …, A1Bm, A2B1,
…, AnBm. Тогда H(αβ) = H(α) + H(β).
Практическая работа №13
Задание 13.1. Какова энтропия опыта, состоящего в подсчете суммы очков
на случайно вынутой костяшки домино?
61
Задание 13.2. В языке племени Нбвана пять звуков: н, б, в, а, у. частота их
Звуки
н б в
а
у
Вероятности
0,2
0,1
0,15
0,3
0,25
0 1 2 3 4 5 6 7 8
9
0,2
0,15
0,1
0,1
0,1
0,12
0,08
0,05
0,05
0,05
a f g
u
k
бух бух бух
бух ба-бах бух
ба-бах бух ба-бах
ба-бах ба-бах бух
ба-бах бух бух
n
i
Aii
HApH
1
).()()(
появления задана таблицей. Какова энтропия опыта, состоящего в фиксации
произнесенного туземцем звука?
Задание 13.3. В таблице заданы частоты, с которыми появляются различные
цифры в номерах счетов Трутнебанка. Какова энтропия опыта, состоящего в
извлечении случайной цифры из случайного счета?
Задание 13.4. Имеется 5 монет, из которых 2 фальшивые. Все настоящие
монеты одинаковы по весу между собой. Все фальшивые монеты тоже одинаковы
по весу между собой, но отличаются от настоящих. Какова энтропия опыта,
состоящего во взвешивании двух случайно выбранных пар монет на чашечных
весах, если известно, что фальшивые монеты легче настоящих.
Задание 13.5. В языке племени Юмбо 5 букв: a, f, g, u, k. Все эти буквы
встречаются в сообщениях одинаково часто. При передаче сообщений при помощи
там-тама используются два сигнала «бух» и «ба-бах». Правила кодирования
заданы таблицей. Какова энтропия одной буквы в исходном сообщении? Каков
энтропия звуков в закодированном сообщении?
§ 6.3. Условная энтропия.
Предположим теперь, что α и β – не независимые опыты. В этом случае
нельзя ожидать, что энтропия сложного опыта αβ будет равна сумме энтропий α и
β. В самом деле, здесь может представиться такой случай, когда результат второго
опыта полностью (или частично) определяется результатом первого опыта.
Например, если α и β состоят в последовательном извлечении шаров из урны,
содержащей всего два разноцветных шара, после опыта α опыт β уже не будет
содержать никакой определенности.
Рассмотрев теорему 4 из предыдущего параграфа, но с условием α и β – не
независимые опыты, получим следующий результат: H(αβ) = H(α) + H(β) – это
энтропия сложного опыта αβ.
Условной энтропией опыта β относительно опыта α называют величину
62
Теорема 1: Имеет место двусторонняя оценка условной энтропии: 0 ≤ Нα(β)
)2()()2()()2()1()2(
11 крбел
НкррНбелpHpH
3
1
)( белр
3
2
)( крр
5
8
5log5log
5
4
2
5
4
5log
5
1
5
4
log
5
4
5
1
log
5
1
)2(
бел
Н
3log
5
3
5log
5
2
5
3
log
5
3
5
2
log
5
2
)2(
кр
H
≤ Н(β). При этом нижняя оценка достигается только в случае, когда каждый исход
опыта α полностью определяет исход β. Верхняя оценка достигается в случае,
когда α и β независимы.
Следствие 1: 1) Нα(β) ≤ Н(α) + Нα(β), причем равенство достигается тогда и
только тогда, когда события α и β – независимы.
2) Н(αβ) ≥ Н(α), причем равенство возможно тогда и только тогда, когда опыт
α целиком определяет β.
3) Н(αβ) = Н(β) + Нβ(α) = Н(βα).
4) Нβ(α) = Нα(β) + [H(α)-H(β)].
Пример: В ящике 6 шаров – 2 белых и 4 красных. Из ящика по одному
извлекают шары, не возвращая. Какова энтропия опыта по определению цвета 2
шара при условии, что нам известен результат первого опыта?
Решение:
(*)
а) если первым извлекли белый шар:
б) если первым извлекли красный шар:
.
Подставляем найденные значения в формулу (*) и упрощаем:
Практическая работа №14
Задание 14.1. В урне 20 шаров – 10 красных, 7 белых и 3 синих. Из урны по
одному извлекаются шары. Шары обратно в ящик не возвращаются. Какова
энтропия опыта по определению цвета первого шара? Какова энтропия опыта по
определению цвета второго вынутого шара при условии, что нам известен
результат первого опыта?
Задание 14.2. Известно, что некоторой болезнью в среднем болеют 2
человека из 100. Для выявления больных используется определенная реакция,
которая всегда оказывается положительной в том случае, когда человек болен;
если же человек здоров, то она столь же часто бывает положительной, как и
отрицательной. Пусть опыт состоит в определении того, болен или здоров
человек, а опыт - в определении результата указанной реакции. Спрашивается,
какова будет энтропия опыта и условная энтропия опыта при
условии осуществления ?
63
Задание 14.3. В языке племени Таратута шесть слогов, которые следуют
Ма
мть
куд
да
дык
0,25
0,15
0,1
0,2
0,2
).()(,
HHI
,I
).(),(0)(
HIН
).(),(0
HI
,I
)()(),(
HHI
),(),(
II
)()()(),(
HHHI
друг за другом в случайном порядке. Вероятность, с которой эти слоги
встречаются, приведена в таблице. Слоги идут один за другим без промежутка.
Какова энтропия опыта, состоящего в определении случайной буквы сообщения?
Какова энтропия опыта, состоящего в определении случайной буквы, если
известна предыдущая буква?
§ 6.4. Информация.
Рассмотрим опыт β. Энтропия Н(β) – характеризует неопределенность этого
опыта. Если Н(β) = 0, то исход опыта β заранее известен; большее или меньшее
значение числа Н(β) отвечает большей или меньшей проблематичности результата
опыта.
Какое-либо измерение или наблюдение α, предшествующее опыту β, может
ограничить количество возможных исходов β и тем самым уменьшить степень его
неопределенности. Отсюда следует определение.
Количеством информации относительно опыта β, содержащимся в
опыте α (или информацией о β, содержащейся в α) называют разность
указывает, насколько осуществление опыта α уменьшает
неопределенность β, т.е. как много нового мы узнаем об исходе опыта β, произведя
измерение (опыт) α. Мы получили возможность численного измерения
информации.
Следствие 1: Поскольку единицей измерения энтропии является бит, то в
этих же единицах может быть измерено количество информации.
Следствие 2: Пусть α = β, т.е. просто произведен опыт β. Т. к. он полностью
определяет свой же исход,
Энтропия опыта β равна той
информации, которую мы получаем, осуществив этот опыт.
Следствие 3:
Т.е., если β не зависит от α, то количество
информации о β, которую дает α, равно 0. Наоборот, если исход α полностью
определяет исход опыта β,
максимальна и равна Н(β).
Теорема 1: Справедливы следующие соотношения:
1)
2)
3)
64
Величина
).()(,
HHI
92,0
3
2
log
3
2
3
1
log
3
1
H
004,0
14
9
log
14
9
14
5
log
14
5
3
2
7
5
log
7
5
7
2
log
7
2
3
1
)()()(
i
Aii
HApH
816,0)()(),(
HHI
бар
мут
быр
ара
куд
дал
лаз
дык
при
шаз
0,15
0,15
0,05
0,02
0,07
0,06
0,12
0,14
0,14
0,1
называется условной информацией
и при условии .
Теорема 2: Условная информация обладает следующими свойствами:
─ , причем верхняя оценка достигается тогда и только
тогда, когда опыт целиком определяет ;
─
─
условная информация симметрична;
.
Теорема 3: Формула тройной информации:
Пример: Пусть опыт β состоит в извлечении одного шара из урны,
содержащей 5 черных и 10 белых шаров. Опыт α – в предварительном извлечении
из той же урны (без возвращения) шара. Чему равна информация об опыте β,
содержащаяся в опыте α?
1)
2)
3)
Решение.
бит
бит.
бит
Практическая работа №15
Задание 15.1. В коробке 20 банок краски – 4 синей, 5 зеленой, 2 белой и 9
желтой. Какую информацию о цвете краски во второй банке несет опыт по
определению цвета первой?
Задание 15.2. В коробке 200 лампочек, среди которых 15 дефектных. Какую
информацию о пригодности очередной лампочки несут результаты проверки
первых 2-х лампочек?
Задание 15.3. Что дает большую информацию о случайно выбранном
двузначном троичном числе – сумма его цифр или их произведение?
Задание 15.4. В языке Пара-Но-Я 10 слогов, частота которых задана
таблицей. Подсчитайте, какое количество информации несет о слоге извлеченная
из этого слога буква.
Задание 15.5. Из многолетних наблюдений за погодой известно, что в
деревне Гадюкино 15 июня будет идти дождь с вероятностью 0,4. А вероятность
того, что дождя не будет, равна 0,6. Для 15 октября вероятность дождя равна 0,8, а
вероятность отсутствия дождя в этот день – всего 0,2. Предположим, что
65
определенный метод прогноза погоды 15 июня оказывается правильны в
тех случаев, в которых предсказывается дождь, и в
предсказывается отсутствие осадков; в применении же к погоде 15 октября этот
метод оказывается правильным в
дождь, и в половине случаев, в которых предсказывается отсутствие дождях.
Спрашивается, в какой из двух указанных дней прогноз дает нам больше
информации о реальной погоде в деревне Гадюкино.
тех случаев, в которых предсказывается
тех случаев, в которых
всех
Самостоятельная работа №9.
Вариант 1
1. Какова энтропия опыты, состоящего в извлечении случайным образом
одного фломастера из набора в 32 цвета? Двух фломастеров? (порядок выбора
фломастеров важен).
2. Из многочисленных наблюдений за птицами известно, что ласточки с
вероятностью 0,8 могут предсказывать дождь. А голуби могут предсказать дождь
с вероятностью 0,5. Для какой из этих пород птиц опыт по определению дождя
более не определен?
3. В зоомагазине 5 рыбок, 6 – кошек и 4 – черепашки. Продавец наудачу
выбирает одно животное. Продавец наудачу выбирает одно животное. Опыт В
состоит в определении вида животного. Опыт А – в определении предыдущего
животного. Чему равна информация об опыте В, содержащаяся в опыте А? Какова
энтропия опыта по определению вида второго животного при условии, что
известен результат первого опыта?
Вариант 2
1. Какова энтропия опыты, состоящего в извлечении случайным образом
одного фломастера из набора в 64 цвета? Двух фломастеров? (порядок выбора
фломастеров важен).
2. Из многочисленных наблюдений за рыбками известно, что карп с
вероятностью 0,6 впадает в зимнюю спячку. А лещ впадает в зимний сон с
вероятностью 0,4. Для какой из этих пород рыб опыт по определению характера
поведения рыб зимой более определен?
3. У спортсмена 4 золотых медали, 5 – серебренных и 7 – бронзовых. Наудачу
выбирают одну медаль. Опыт В состоит в определении достоинства медали. Опыт
А – в определении предыдущей медали. Чему равна информация об опыте В,
содержащаяся в опыте А? Какова энтропия опыта по определению достоинства
второй медали при условии, что известен результат первого опыта?
Вариант 3
1. Какова энтропия опыты, состоящего в извлечении случайным образом
одного фломастера из набора в 44 цвета? Двух фломастеров? (порядок выбора
фломастеров важен).
2. Из многочисленных наблюдений за растениями известно, что тюльпаны с
вероятностью 0,9 успешно перенося зиму в открытом грунте. А гладиолусы – с
вероятностью 0,3. Для какого цветка опыт по определению его
морозоустойчивости более не определен?
66
3. На полке 6 стаканов с молоком, 3 – с соком и 4 – с чаем. Наугад берут один
стакан. Опыт В состоит в определении содержимого стакана. Опыт А – в
определении предыдущего стакана. Чему равна информация об опыте В,
содержащаяся в опыте А? Какова энтропия опыта по определению жидкости во
втором стакане при условии, что известен результат первого опыта?
Вариант 4
1. Какова энтропия опыты, состоящего в извлечении случайным образом
одного фломастера из набора в 36 цвета? Двух фломастеров? (порядок выбора
фломастеров важен).
2. Из многочисленных наблюдений за насекомыми известно, что дождевые
черви с вероятностью 0,5 не перенесут летнюю засуху. А гусеницы - с
вероятностью 0,4. Для каких из этих насекомых опыт по определению их
способности переносить жару более определен?
3. В шкатулке 7 катушек белых ниток, 3 катушки – красных и 4 катушки –
синих. Наугад выбирают одну катушку. Опыт В состоит в определении цвета
ниток. Опыт А – в определении цвета предыдущей катушки. Чему равна
информация об опыте В, содержащаяся в опыте А? Какова энтропия опыта по
определению цвета второй катушки ниток при условии, что известен результат
первого опыта?
Вариант 5
1. Какова энтропия опыты, состоящего в извлечении случайным образом
одного фломастера из набора в 32 цвета? Двух фломастеров? ? (порядок выбора
фломастеров не важен).
2. Из многочисленных наблюдений за птицами известно, что ласточки с
вероятностью 0,3 могут предсказывать дождь. А голуби могут предсказать дождь
с вероятностью 0,7. Для какой из этих пород птиц опыт по определению дождя
более не определен?
3. В зоомагазине 3 рыбок, 6 – кошек и 9 – черепашки. Продавец наудачу
выбирает одно животное. Продавец наудачу выбирает одно животное. Опыт В
состоит в определении вида животного. Опыт А – в определении предыдущего
животного. Чему равна информация об опыте В, содержащаяся в опыте А? Какова
энтропия опыта по определению вида второго животного при условии, что
известен результат первого опыта?
Вариант 6
1. Какова энтропия опыты, состоящего в извлечении случайным образом
одного фломастера из набора в 64 цвета? Двух фломастеров? (порядок выбора
фломастеров не важен).
2. Из многочисленных наблюдений за рыбками известно, что карп с
вероятностью 0,8 впадает в зимнюю спячку. А лещ впадает в зимний сон с
вероятностью 0,3. Для какой из этих пород рыб опыт по определению характера
поведения рыб зимой более определен?
3. У спортсмена 2 золотых медали, 5 – серебренных и 6 – бронзовых. Наудачу
выбирают одну медаль. Опыт В состоит в определении достоинства медали. Опыт
А – в определении предыдущей медали. Чему равна информация об опыте В,
67
содержащаяся в опыте А? Какова энтропия опыта по определению достоинства
второй медали при условии, что известен результат первого опыта?
Вариант 7
1. Какова энтропия опыты, состоящего в извлечении случайным образом
одного фломастера из набора в 44 цвета? Двух фломастеров? (порядок выбора
фломастеров не важен).
2. Из многочисленных наблюдений за растениями известно, что тюльпаны с
вероятностью 0,5 успешно перенося зиму в открытом грунте. А гладиолусы – с
вероятностью 0,2. Для какого цветка опыт по определению его
морозоустойчивости более не определен?
3. На полке 5 стаканов с молоком, 3 – с соком и 6 – с чаем. Наугад берут один
стакан. Опыт В состоит в определении содержимого стакана. Опыт А – в
определении предыдущего стакана. Чему равна информация об опыте В,
содержащаяся в опыте А? Какова энтропия опыта по определению жидкости во
втором стакане при условии, что известен результат первого опыта?
Вариант 8
1. Какова энтропия опыты, состоящего в извлечении случайным образом
одного фломастера из набора в 36 цвета? Двух фломастеров? (порядок выбора
фломастеров не важен).
2. Из многочисленных наблюдений за насекомыми известно, что дождевые
черви с вероятностью 0,4 не перенесут летнюю засуху. А гусеницы - с
вероятностью 0,5. Для каких из этих насекомых опыт по определению их
способности переносить жару более определен?
3. В шкатулке 9 катушек белых ниток, 3 катушки – красных и 5 катушки –
синих. Наугад выбирают одну катушку. Опыт В состоит в определении цвета
ниток. Опыт А – в определении цвета предыдущей катушки. Чему равна
информация об опыте В, содержащаяся в опыте А? Какова энтропия опыта по
определению цвета второй катушки ниток при условии, что известен результат
первого опыта?
Вопросы для самоконтроля.
1. Каковы основные требования к функции меры неопределенности?
2. Формула Хартли и ее недостатки.
3. Формула Шеннона.
4. В чем различие формул Хартли и Шеннона?
5. Какие свойства энтропии вы знаете?
6. В каком случае неопределенность опыта наибольшая?
7. Основные единицы измерения энтропии и их связь.
68
Литература
Используемая литература:
1. Аббязова М.Г., Верник А.Н., Верник С.В. Информатика. Пособие для
поступающих. Ульяновск: УлГПУ, 2005. 48 с.
2. Андреева Е.В., Босова Л.Л., Фалина И.Н.. Математические основы
информатики. Учебное пособие, М., БИНОМ, Лаборатория знаний, 2007.
3. Верник А.Н. Теоретические основы информатики. Ульяновск, 2007.
4. Забуга А.А. Теоретические основы информатики. Учебное пособие.
Стандарт третьего поколения. Учебное пособие. СПб: Питер, 2014. 208с.
5. Практикум по информатике: учеб. пособие для студ. вузов / А.В.Могилев [и
др.] М.: Изд.центр «Академия», 2001. 608 с.
6. Стариченко Б.Е. Теоретические основы информатики: учебное пособие для
вузов. – Изд. 2-е, перераб. и доп. М.: Горячая линия – Телеком, 2004. 312 с.
7. Яглом А.М., Яглом И.М. Вероятность и информация. М.: КомКнига, 2007.
511 с.
Рекомендуемая литература:
8. Информатика: учеб. пособие для студ. пед. вузов / А.В.Могилев [и др.], М.:
Изд.центр «Академия», 2000. 816 с.
9. Елепин А.П., Соколова С.В. Компьютерные информационные технологии.
Теоретические основы проф. деятельности. Учебное пособие. М.:
Академкнига, 2005. 160с.
10. Панин В.В. Основы теории информации: учебное пособие для ВУЗов. Изд.
2-е, испр. и доп. М.: БИНОМ. Лаборатория знаний, 2007. 436 с.
69
Подписано в печать 14.11.2017
Усл. печ. л. 4,07
Тираж 100
Формат 60х84/16
Заказ № 428
Отпечатано на участке оперативной полиграфии
при ФГБОУ ВО «УлГПУ им. И.Н. Ульянова»,
432063, г. Ульяновск, б-р Пластова, д. 13, корп. 2
70
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]