
- •“Теория информации”
- •1. Общие методические указания
- •2. Введение
- •3. Энтропия как мера степени неопределенности состояния физической системы
- •3.1. Энтропия сложной системы. Теорема сложения энтропии
- •4. Условная энтропия. Объединение зависимых систем
- •5. Энтропия и информация
- •6. Энтропия и Информация для систем с непрерывным множеством состояний
- •7. Пропускная способность канала. Теоремы Шеннона
- •7.1. Производительность источника дискретных сообщений. Скорость передачи информации
- •7.2. Пропускная способность дискретного канала
- •8. Математические модели сигналов
- •8.1. Понятие сигнала и его модели
- •8.2. Формы представления детерминированных сигналов
- •9. Равномерная дискретизация. Теорема Котельникова
- •10. Кодирование информации
- •10.1. Кодирование как процесс выражения информации в цифровом виде
- •10.2. Определение проверочных равенств
- •11. Введение в криптографию
- •11.1. Шифры замены
- •11.2. Шифры перестановки
- •12. Задания на контрольную работу
- •12.1 Задание1
- •Вариант n 2
- •Вариант n 3
- •Вариант n 4
- •12.2 Задание №2
- •Вариант № 2
- •Вариант № 3
- •Вариант № 4
- •12.3 Задание№3
- •12.4 Задание № 4 Вариант № 1
- •Вариант № 2
- •Вариант № 3
- •Вариант № 4
- •13. Указание для выполнения контрольной работы
- •Задание №2 вариант № 1
- •Вариант № 2
- •Вариант № 3
- •Вариант № 4
- •14. Список литературы
Вариант n 3
1. Определить минимальное число взвешиваний, которое необходимо произвести на равноплечих весах, чтобы среди 12 внешне неотличимых монет найти одну фальшивую, более легкую. Описать алгоритм определения фальшивой монеты.
2. Сравнить неопределенность, приходящуюся на букву источника информации "Г" (алфавит русского языка), характеризуемую ансамблем, представленным в таблице, с неопределенностью, которая была бы у того же источника при равновероятном использовании букв.
Таблица №11
Буква |
Вероятность |
Буква |
Вероятность |
Буква |
Вероятность |
А б в г д е ж з и и к |
0.064 0.015 0.039 0.014 0.026 0.074 0.008 0.015 0.064 0.010 0.029 |
л м н о п р с т у ф х |
0.036 0.026 0.056 0.096 0.024 0.041 0.047 0.056 0.021 0.020 0.090 |
ц ч ш щ ь, ъ ы э ю я - |
0.040 0.013 0.006 0.003 0.015 0.016 0.003 0.007 0.019 0.143 |
3. Заданы ансамбли U и V двух дискретных случайных величин u и v:
U= 4 3 15 10 V= 0.1 0.3 0.5 0.8
0.25 0.25 0.25 0.25 0.3 0.3 0.4 0.1
Сравнить их энтропии.
4. Определить энтропии H(U), H(V), H(U/V), H(U,V), если задана матрица вероятностей состояний системы, объединяющей источники u и v:
0.5 0.4 0.3
P(u,v)= 0.1 0.2 0.1
0.2 0.3 0.4
5. Пусть опыт "В" состоит в извлечении одного шара из урны, содержащей 5 черных и 10 белых шаров, опыт "Ak" - в предварительном извлечении из той же урны (без возвращения обратно) k шаров.
Чему равна энтропия опыта "В" и информация об этом опыте, содержащаяся в опытах "А1", "А2", "А13", "А14"?
Вариант n 4
1. Определить минимальное число взвешиваний, которое необходимо произвести на равноплечих весах, чтобы среди 13 внешне неотличимых монет найти одну фальшивую, более легкую. Описать алгоритм определения фальшивой монеты.
2. Сравнить неопределенность, приходящуюся на букву источника информации "О" (алфавит русского языка), характеризуемую ансамблем, представленным в таблице, с неопределенностью, которая была бы у того же источника при равновероятном использовании букв.
Таблица №12
Буква |
Вероятность |
Буква |
Вероятность |
Буква |
Вероятность |
А б в г д е ж з и и к |
0.064 0.015 0.039 0.014 0.026 0.074 0.008 0.015 0.064 0.010 0.029 |
Л м н о п р с т у ф х |
0.036 0.026 0.056 0.096 0.024 0.041 0.047 0.056 0.021 0.020 0.090 |
ц ч ш щ ь, ъ ы э ю я - |
0.040 0.013 0.006 0.003 0.015 0.016 0.003 0.007 0.019 0.143 |
3. Заданы ансамбли U и V двух дискретных случайных величин u и v:
U= 5 10 15 20 V= O.I 0.3 0.1 0.1
0.1 0.1 0.1 0.7 0.25 0.25 0.4 0.1
Сравнить их энтропии.
4. Определить энтропии H(U), H(V), H(U/V), H(U,V), если задана матрица вероятностей состояний системы, объединяющей источники u и v:
0.6 0.4 0.2
P(u,v)= 0 0.1 0.1
0.2 0.1 0
5. Пусть для некоторого пункта вероятность того, что 15 июня будет идти дождь равна 0.4, а вероятность того, что в указанное время не будет дождя равна 0.6. Пусть, далее, для этого же пункта вероятность того, что 15 октября будет идти дождь равна 0.8, а вероятность отсутствия дождя в этот же день равна 0.2.
Предположим, что определенный метод прогноза погоды 15 июня оказывается правильным в 3\5 всех тех случаев, в которых предсказывался дождь, и в 4\5 тех случаев, в которых предсказывалось отсутствие осадков. В применении же к погоде 15 октября этот метод оказывается, правильным в 9\10 тех случаев, в которых идет дождь и в половине случаев, в которых предсказывается отсутствие дождя.
В какой из двух указанных дней прогноз дает больше информации о реальной погоде?