
- •“Теория информации”
- •1. Общие методические указания
- •2. Введение
- •3. Энтропия как мера степени неопределенности состояния физической системы
- •3.1. Энтропия сложной системы. Теорема сложения энтропии
- •4. Условная энтропия. Объединение зависимых систем
- •5. Энтропия и информация
- •6. Энтропия и Информация для систем с непрерывным множеством состояний
- •7. Пропускная способность канала. Теоремы Шеннона
- •7.1. Производительность источника дискретных сообщений. Скорость передачи информации
- •7.2. Пропускная способность дискретного канала
- •8. Математические модели сигналов
- •8.1. Понятие сигнала и его модели
- •8.2. Формы представления детерминированных сигналов
- •9. Равномерная дискретизация. Теорема Котельникова
- •10. Кодирование информации
- •10.1. Кодирование как процесс выражения информации в цифровом виде
- •10.2. Определение проверочных равенств
- •11. Введение в криптографию
- •11.1. Шифры замены
- •11.2. Шифры перестановки
- •12. Задания на контрольную работу
- •12.1 Задание1
- •Вариант n 2
- •Вариант n 3
- •Вариант n 4
- •12.2 Задание №2
- •Вариант № 2
- •Вариант № 3
- •Вариант № 4
- •12.3 Задание№3
- •12.4 Задание № 4 Вариант № 1
- •Вариант № 2
- •Вариант № 3
- •Вариант № 4
- •13. Указание для выполнения контрольной работы
- •Задание №2 вариант № 1
- •Вариант № 2
- •Вариант № 3
- •Вариант № 4
- •14. Список литературы
12. Задания на контрольную работу
12.1 Задание1
Вариант 1
1. Определить минимальное число взвешиваний, которое необходимо произвести на равноплечих весах, чтобы среди 27 внешне неотличимых монет найти одну фальшивую, более легкую. Описать алгоритм определения фальшивой монеты.
2. Сравнить неопределенность, приходящуюся на букву источника информации "И" (алфавит русского языка), характеризуемую ансамблем, представленным в таблице, с неопределенностью, которая была бы у того же источника при равновероятном использовании букв.
Таблица №9
Буква |
Вероятность |
Буква |
Вероятность |
Буква |
Вероятность |
А б в г д е ж з и и к |
0.064 0.015 0.039 0.014 0.026 0.074 0.008 0.015 0.064 0.010 0.029 |
л м н о п р с т у ф х |
0.036 0.026 0.056 0.096 0.024 0.041 0.047 0.056 0.021 0.020 0.090 |
ц ч ш щ ь, ъ ы э ю я - |
0.040 0.013 0.006 0.003 0.015 0.016 0.003 0.007 0.019 0.143 |
3. Заданы ансамбли U и V двух дискретных случайных величин u и v:
U= 0.5 0.7 0.9 0.3 V= 5 10 15 8
0.25 0.25 0.25 0.25 0.25 0.25 0.25 0.25
Сравнить их энтропии.
4. Определить энтропии H(U), H(V), H(U\V), H(U,V), если задана матрица вероятностей состояний системы, объединяющей источники u и v:
0.4 0.1 0
P(u,v)= 0 0.2 0.1
0 0 0.2
5. Пусть из многолетних наблюдений за погодой известно, что для определенного пункта вероятность того, что 15 июня будет идти дождь равна 0.4, а вероятность того, что в указанное время не будет дождя равна 0.6. Пусть далее для этого же пункта вероятность того, что 15 ноября будет идти дождь равна 0.65, вероятность того, что 15 ноября будет идти снег равна 0.15 и вероятность того, что осадков не будет равна 0.2.
Если из всех характеристик погоды интересоваться лишь вопросом о наличии и характере осадков, то в какой из перечисленных дней погоду в рассматриваемом пункте следует считать более неопределенной?
Вариант n 2
1. Определить минимальное число взвешиваний, которое необходимо произвести на равноплечих весах, чтобы среди 25 внешне неотличимых монет найти одну фальшивую, более легкую. Описать алгоритм определения фальшивой монеты.
2. Сравнить неопределенность, приходящуюся на букву источника информации "В" (алфавит русского языка), характеризуемую ансамблем, представленным в таблице, с неопределенностью, которая была бы у того же источника при равновероятном использовании букв.
Таблица №10
Буква |
Вероятность |
Буква |
Вероятность |
Буква |
Вероятность |
а б в г д е ж з и и к |
0.064 0.015 0.039 0.014 0.026 0.074 0.008 0.015 0.064 0.010 0.029 |
л м н о п р с т у ф х |
0.036 0.026 0.056 0.096 0.024 0.041 0.047 0.056 0.021 0.020 0.090 |
ц ч ш щ ь, ъ ы э ю я - |
0.040 0.013 0.006 0.003 0.015 0.016 0.003 0.007 0.019 0.143 |
3. Заданы ансамбли U и V двух дискретных случайных величин u и v:
U= 0.6 0.4 0.1 0.8 V= 4 15 6 4
0.3 0.2 0.2 0.3 0.25 0.25 0.25 0.25
Сравнить их энтропии.
4. Определить энтропии H(U), H(V), H(U/V), H(U,V), если задана матрица вероятностей состояний системы, объединяющей источники u и v:
0.3 0.2 0.1
P(u,v)= 0.1 0.1 0
0.5 0 0.1
5. Известно, что некоторой болезнью болеют 2 человека из 100. Для выявления больных используется определенная реакция, которая всегда является положительной в том случае, когда человек болен. Если же человек здоров, то она столь же часто бывает положительной, как и отрицательной .
Пусть опыт "b" состоит в определении того, болен или здоров человек, а опыт "а" - в определении указанной реакции. Какова будет энтропия Н(b) опыта "b" и условная энтропия Н(b/а) опыта "b" при условии осуществления опыта "а"?